来源: 发布时间:2022-01-06
——记东南大学电气仪器控制学部主任宋爱国
倪海波
为完成在异星球的资源开采工作,科学家利用杰克·萨利的DNA制造出了克隆纳威人,并将他的意识入驻其中,这个克隆人成为杰克·萨利在潘多拉星球上活动的“化身”。虽然实现《阿凡达》中所描述的“化身”技术还为时尚早,但科学家正朝这个方向迈进。
长期从事机器人力触觉传感技术、人机交互遥操作机器人技术、空间机器人技术、电力机器人技术、助老助残康复机器人技术等研究,东南大学电气仪器控制学部主任、空间科学与技术研究院执行院长宋爱国教授的许多科研成果已成功应用于我国的载人航天与探月工程、核电与电力安全、助老助残康复等领域中。以机器人技术研究的前沿问题为导向,宋爱国有个梦想——脱离力反馈数据手套、力反馈手控器等物理交互装置,以脑电等神经电信号为人机交互信息传递媒介,用意念直接控制机器人并接收机器人的感知信息。近年来,脑机接口技术的迅猛发展为这种超能力的实现提供了可能,未来《阿凡达》中那些令人惊叹的情节将有望实现。
开学一课
——用生命换来的事业
28岁申请到国家原“863”计划项目和国家自然科学基金项目,30岁被评为副教授,32岁晋升为教授并评为博士生导师。从刚毕业的博士迅速成长为独当一面的博士生导师,在宋爱国看来虽有自己的付出,但更有恩师的指引。
受少年百科丛书《飞向星星》的影响,宋爱国从小就对太空、宇宙充满着探索的好奇心。高考时被招生老师“志在蓝天”的宣讲所感染,宋爱国将“南京航空学院”填在了志愿表上,之后在那里完成了本科、硕士学业。为了领略不同学校的学术氛围,他到东南大学仪器科学与工程系攻读了博士研究生,师从黄惟一教授从事机器人技术研究。
宋爱国至今难以忘怀黄老师上第一节课的情形,“机器人传感技术”开课的第一天,黄老师向弟子们讲述了实验室从事机器人研究的历史,回忆起了一段悲痛的往事。他说:“我们实验室的机器人研究事业,是实验室的创始人查礼冠老师用生命换来的!不将东南大学的机器人技术研究发展好,就对不起查老师!”那段话,一直激励着宋爱国。
查礼冠教授是我国机器人事业的开拓者,她1958年就率领师生研制了我国第一台仿人机器人。“文革”结束后的1978年,她敏锐地感觉到,机器人的时代将会到来,她征求了黄惟一等人的意见后,决定以机器人传感技术作为重点,组建实验室及团队,开展机器人的感知、控制和人工智能研究。黄惟一老师作为查老师的主要助手,开始从陀螺仪与惯性导航技术的研究转为从事机器人技术的研究。
1983年,全国第一次机器人大会在华南理工大学召开,查老师作为大会的3个主要发起人之一带领黄老师及两位研究生一起去参加会议。会议刚结束,两人走在华南理工大学校园里,一辆失控的汽车从斜坡上直冲而下,撞倒两位教师。查老师当场身亡,黄老师重伤昏迷。
一年后,康复的黄惟一老师重新回到工作岗位,扛起了建设机器人传感与控制技术实验室的重任。在他的带领下,团队重点开展机器人非视觉传感器的研究。从1986年开始实验室得到国家原“863”高技术计划项目(以下简称“863”计划)的持续支持,并成为“863”计划先进制造领域机器人传感技术网点实验室的副组长单位。黄惟一经常强调:“我们开展科研,要发扬‘863’计划‘顶天立地’的精神,既要瞄准学术前沿、不断创新,又要能够应用落地。”宋爱国一直牢记恩师的教导,将“顶天立地”的科研精神贯彻到每一个科研项目中。
逐梦航天
——新装置助力天宫探索
1993年2月,宋爱国作为博士生刚入学,原准备参加一个即将验收的有关机器人触觉图像处理技术研究的“863”项目,但国际机器人技术研究掀起了新的风潮,他开始进入了一个新的机器人研究方向。
20世纪90年代初,人与机器人的交互技术作为一个新概念开始受到机器人领域的普遍关注。临场感技术是人机交互的核心技术之一,美国、日本、德国等机器人强国竞相开展了临场感机器人技术的研究。所谓临场感机器人就是一种人机高度融合的交互式遥操作机器人,它一方面通过各种传感设备测量人的肢体等运动信息并作为控制指令去控制机器人的运动与操作,另一方面又通过各种机器人传感器将机器人与环境的相互作用信息(包括视觉、力觉、触觉等信息)检测并反馈到操作者端,实现对机器人带感觉的控制。它们可以广泛地应用于空间探测、深海开发和原子能利用等领域,在人难以到达的极限环境下代替人如同身临其境般完成复杂的操作任务。
1992年10月,我国“863”计划先进制造领域机器人技术主题也将临场感机器人技术作为需要重点追踪的高新技术列入研究计划,并将力觉临场感机器人技术的研究项目下达给东南大学和中国科学院合肥智能机械研究所共同完成。
当时黄老师找到宋爱国,他说触觉图像处理的项目快验收了,现在有一个挑战性的新项目,需要尽快开展研究。1993年3月,黄老师将“863”计划项目“力觉临场感机器人基础研究”的内容作为宋爱国的博士课题。当时黄老师提供的资料很少,只有两篇文献。宋爱国马上就开展了查阅资料和调研分析工作。
但如何实现人机交互过程的身临其境,其中的核心技术是什么?黄老师召集大家开展研讨,经过讨论他们认为人机交互的本质是信息的双向交流,不仅要将机器人的感觉反馈给人,也要将人的各种运动意图作为控制指令传递给机器人,其核心技术应该是信息的获取技术即传感器技术,机器人需要安装力觉、触觉、视觉传感器,甚至嗅觉传感器、味觉传感器,同时也需要各种传感器来检测人四肢的运动、眼球的运动、头部的运动等信息。随着认知的深入,他们此后又将力反馈技术、力控制技术也纳入核心技术中。
“经过近半年查阅资料和调研分析,我对临场感人机交互机器人技术有了比较清晰的认识,而且我发现美国、德国和日本主要将临场感人机交互机器人技术应用于航天领域。而我正好从南航来可以面向航天的应用背景来开展关键技术研究。后来与黄老师谈了我的研究计划,他也觉得非常好,以航天领域应用为背景开展临场感空间遥操作机器人技术研究完全体现了863计划‘顶天立地’的精神,虽然当时中国的航天计划还没有公布和实施,但我们认为航天技术作为国家战略性高技术是不可能从国外买来的,一定是依靠独立自主研究来发展的,中国的航天计划一定会有实施的那一天。”宋爱国说。
经过与导师多次讨论,确定宋爱国的博士论文围绕我国未来空间探测任务的重大需求,开展临场感机器人技术的基础研究,重点解决空间通信大时延情况下,临场感遥操作机器人的力感知、力反馈与力控制问题。
1996年3月宋爱国博士毕业,黄老师推荐他跟随我国声呐技术领域的著名专家陆佶人进行博士后研究。宋爱国此前并没有接触过声呐这个领域。“那一阶段的科研很辛苦但收获很大,后来的很多创新性想法就源于当时的交叉性研究。”
机遇总是垂青有准备的人,博士毕业之后,宋爱国赶上了我国开始大力发展自主航天技术与空间机器人的好时机。1996年10月我国“863”计划项目增加航天技术领域,并设置了空间机器人与遥科学主题,航天502所李庚田总师为该主题专家组长,并通过宋爱国他们发表的论文发现东南大学在开展临场感空间遥操作机器人技术的研究,就将这一领域的项目指南发给他们。因此,宋爱国在博士毕业后第一年作为项目负责人承担了国家航天“863”计划项目“力觉临场感空间遥操作机器人关键技术研究”,这也是他负责的第一个“863”项目。瞄准空间机器人技术这一方向,宋爱国从1993年开始一直研究到现在,从基础研究到关键技术攻关,再到型号任务,宋爱国的研究成果与相关技术在我国“嫦娥三号”月面巡视器、空间站大型机械臂等任务中得到。宋爱国说:“只有掌握更多的核心技术,才能打破国际垄断,制造属于中国自己的高端机器人!”
在将近30年的时间里,宋爱国先后负责国家重点研发计划项目1项、国家“863”计划项目10项、国家自然科学基金重点项目3项和面上项目7项、载人航天“921”项目6项、国防预研和国防创新项目6项。其中他主持的“人机交互遥操作机器人的力觉感知与反馈技术”项目更获得2017年度国家技术发明奖二等奖。
宋爱国介绍,“人机交互遥操作机器人的力觉感知与反馈技术”项目一直受到“863”计划的支持。经过20余年的基础研究和技术攻关,项目组先后研制成功高精度的机器人六维力传感器、柔性阵列触觉传感器、无源力反馈执行器、力反馈手控器、力矢量控制器等人机交互遥操作机器人核心元件或装置,并在我国载人航天与探月工程中得到应用。
2016年9月“天宫二号”上天,宋爱国团队研发的安装在“天宫二号”上的小型化多维力传感器和航天员在轨操作力测量装置成功保障了“天宫二号”航天员的在轨训练任务。受航天五院和北京跟踪与通信研究所的委托,宋爱国团队还负责研制了两套地面模拟实验月面巡视机器人,在“嫦娥三号月面巡视器”工程任务中也立下了汗马功劳。2021年空间站核心舱上天,“神舟十二”号载人飞船上天,宋爱国团队负责了核心舱新型太阳能帆板力测量设备及大型机械臂遥操作分系统与航天员在轨操作力测量中传感器和测量装置的研制工作,为航天员常驻天宫贡献了不可或缺的力量。
医工结合
——提高残障者生存质量
机器人不仅要上天,而且还要用在民用领域,这是宋爱国及团队一直以来的目标。在瞄准国家航天重大工程进行科研攻关的同时,他们也把关注点投向了国家重大的民生工程。
在传感器、力反馈、力控制的诸多关键技术均获得突破性科研进展的情况下,如何把这些技术更大范围地进行推广?2000年至2002年,宋爱国进行了深入的思考。通过调研分析,宋爱国发现我国即将会面临人口老年化的严峻社会问题,如何让老年人的生活更加健康?机器人能否发挥作用?宋爱国认为康复机器人研究是一项具有重要社会意义的科研。其一,随着社会老龄化的加剧,我国已成为世界上老年人口最多的国家,也是人口老龄化速度最快的国家之一,而老年人失能占总失能数的一半,其中脑卒中是危害老年人健康的第一杀手。除此,我国是中风病的高发地区,在幸存者中约70%~80%的病人留有不同程度的残疾。
“对于因脑卒中、脊髓损伤等引起的肢体功能障碍者来说,科学合理的康复训练是十分重要和关键的医疗手段。临床研究表明,大量的重复训练对肢体运动功能的恢复非常有益,于是20世纪后期特别是21世纪初,为了帮助肢体运动功能残障者和运动功能退化的老人恢复运动功能、提高生存质量,国外较早进入老龄化的发达国家如日本、瑞士、美国等相关研究机构都开始将机器人技术应用于助老助残康复领域,开展康复机器人技术的研究。”宋爱国说。
在此背景下,宋爱国团队决定将力觉临场感遥操作机器人技术与康复医疗相结合,开展康复医疗机器人技术研究。
2003年4月在东南大学华英基金资助下,宋爱国以访问科学家的身份赴美国西北大学开展联合研究工作。在力触觉、人机交互领域,美国西北大学智能机械系统实验室在世界上处于前沿位置,国际力触觉委员会就挂靠在这个实验室。实验室主任Colgate教授是麻省理工学院Hogan教授的学生,Hogan教授在国际上最早开展康复机器人研究,第一台帮助脑卒中患者进行康复治疗的MIT-MANUS康复机器人就由他负责研制。Colgate作为Hogan教授的学生,博士毕业后到美国西北大学工作,并成为智能机械系统实验室主任,由他领衔的实验室规模越来越大,并与芝加哥康复中心合作开展康复机器人技术的研究,实验室在力触觉交互技术与康复机器人研究方面积累了许多可供借鉴的宝贵经验。
宋爱国说:“在美国西北大学进行合作研究期间,我对康复机器人有了更清晰的认识,其核心技术就是我们的力反馈和力控制技术。另外,那里学科交叉、医工结合很密切,康复中心与机器人实验室的老师互相在两边兼任教授,联合开展研究。实验室学术交流氛围浓厚,国际学术讲座频繁,可以及时了解机器人领域的最新前沿动向。”
2004年4月回国后宋爱国开始投入到康复机器人的研发中,他大力开展医工结合,首先将力反馈遥操作机器人技术用于中风病人的康复医疗领域,进行康复机器人技术的研究。面向我国的实际情况,宋爱国带领团队将网络技术、信息技术和康复机器人相结合,面向社区医院、养老院或家庭自助式康复需求,研究远程康复机器人技术。
2005年科技部委托宋爱国等人负责“863”计划服务机器人专项中助老助残机器人规划的编写工作,在“863”服务机器人规划制订中,宋爱国将康复机器人的研究内容列入发展规划,并起草了康复机器人研究实施方案,后来这个规划得到了科技部批复,并在“863”计划机器人技术主题正式立项资助。此后,康复机器人技术的研究在国内开始得到国家和省部各类科技计划的立项研究,2010年以后康复机器人更引起了学术界、医学界和企业界的广泛关注和产品研发。
“我们以上肢康复机器人为主,病人在医院主要进行早期的被动训练,被动训练阶段结束后病人回到家中或养老院,就以机器人辅助的远程主动训练为主。按照康复医学的理论,病人在康复训练过程中越投入、越积极,肢体运动功能恢复得就越快,因为其本质上是运动神经系统的恢复,因此我们也编写了很多力反馈交互游戏配合康复机器人。”宋爱国介绍,“2006年—2007年我们在南京中大医院进行了一年半的康复机器人临床试验,主要是验证我们研发的桌面式远程康复机器人是否可行。在这一年半的临床试验中,完成了100多例机器人辅助主被动康复训练试验,我们发现力反馈交互式虚拟游戏非常重要,多通道交互的虚拟现实游戏与康复机器人相结合,才能让病人积极有效地进行康复训练。”
在当时的试验中,许多康复训练师希望可以远程控制两到三台机器人,让这些机器人帮助病人进行康复训练,从而提高康复训练师的效率。于是,2006年宋爱国向科技部递交了项目建议指南,研究一对多的远程康复机器人,针对老年人居家康复或在养老院的康复训练。2007年这项建议被“863”计划列为重点项目,宋爱国团队联合多家单位开始研究一对多的远程康复机器人。
按照1个康复训练师远程控制3个不同的康复机器人的思路开展研究,康复训练师可以在康复中心通过网络对3台位于不同养老院的不同类型的康复机器人进行远程设置和控制。2010年,该项目研制的一对三的远程康复机器人分别在北京四季青养老院和上海社会福利院进行示范应用,其中的力反馈情景交互技术和力控制技术在常州钱璟康复器械公司得到产业化应用。
从2002年开始面向医疗领域开展医疗机器人研究至今,宋爱国不仅负责了“863”服务机器人专项康复机器人规划的制订,还负责了《运动康复训练机器人通用技术条件》国家标准的制定,针对康复医疗机器人,他的研究也从助老助残康复机器人拓展到假肢这一领域。与假肢生产厂家联合生产的第一代、第二代假肢已经实现了产业化,第一代假肢在2009年销售,第二代在2012年销售,第二代目前已占据国内60%以上的市场。
宋爱国立足截肢者的实际,不断进行着更加深入的探索。“人类的双眼和双手是与环境交互过程中必不可少的感知系统,对于盲人截肢者来说,如何快速、直观地将环境信息传递给他们?”这个问题宋爱国思考了良久。
受人类本能的声音定位能力的启发,宋爱国带领团队提出了一种基于空间音频渲染的环境信息反馈方法。通过构建与现实环境一致的虚拟场景,并对交互对象进行实时的虚拟声源渲染,受试者可以通过虚拟声源,实现对交互对象的空间信息感知。在此基础上,团队研制了融合力触觉和视觉感知的助盲肌电假肢控制系统,协助盲人截肢者进行日常活动,受试者只需依靠对声音的本能感知,即可完成接近和抓取物体等基本任务。对基于SAR和VP两种环境信息反馈的方法设计了费茨法则实验,结果表明SAR能显著提高反馈信息的传递率。假肢控制实验结果表明,相对于VP,SAR可以缩短一半的完成时间,同时SAR赋予了用户主动感知的能力,受试者能够以更自然的手臂运动轨迹抓取物体。因此,SAR能向用户提供更直观、丰富的环境感知信息,为盲人截肢者再造控制和感觉回路提供了新途径。
2020年6月,这套多模态信息增强环境感知的助盲肌电假肢被军委科技委选用,用于帮助排雷英雄杜国富等残障军人,帮助他们实现生活自理。
随着5G时代的来临,结合5G技术研发云端融合的远程康复机器人,是宋爱国即将要开展的工作,他透露目前相关项目正在启动中。
智能巡检
——电网运维的新模式
黄惟一老师的“做科研一定要顶天立地”这句话,宋爱国一直记在心里,因此他的科研从来都是围绕着国家、民生的重大需求来开展前沿基础与关键技术研究。
随着我国电力系统特别是核电的快速发展,信息化、智能化、远程化的智能电站与电网建设日益迫切,我国政府从“十二五”开始已将电力系统巡检运维机器人作为电网智能化和安全管理的核心技术装备。2011年3月日本福岛核电站的核泄漏灾难给核电安全敲响了警钟。为保障核电站的运营安全,也迫切需要研制适应各种复杂环境、机动灵活、探测能力强、可远程控制的智能巡检运维机器人。而这种适应各种复杂环境的巡检运维机器人一直是机器人研究面临的难题。针对我国核电安全与电网领域复杂环境巡检运维任务的急需,宋爱国在国家杰出青年基金、国家原“863”计划、国家电网公司科技项目等支持下,经过十多年系统深入研究,突破了巡检运维机器人的机构设计与运动控制、环境感知与目标识别、共享控制和多任务检测等关键技术,研制成功5类12种型号的远程巡检运维机器人,填补了国内空白。研制的核化探测机器人装备南京军区防化部队,先后执行了2008年奥运会上海赛区、2010年上海世博会、2013年南京亚青会等重大活动的安保任务。研制的挂轨式巡检机器人在国内20个省市2000多个配电站广泛使用,市场占有率达85%,并应用于北京大兴机场110千伏变电站和2017年天津十三届全运会全部34个场馆配电站的巡检运维。研制的核电站管道巡检机器人在阳江核电站、大亚湾核电站、秦山核电站等九大核电站投入运维使用;该成果还在南水北调工程大型泵站监控等领域得到应用,取得了重大的社会效益和经济效益。相关成果获2018年江苏省科技进步奖一等奖和2019年吴文俊吴文俊人工智能科技进步奖一等奖。
科研助力教学
——培养一流的创新人才
人才培养是高校的根本任务。宋爱国在从事高水平科学研究的同时,将教学工作作为自己的第一任务,25年来一直坚持主讲多门本科生主干课程。
“如果本科生能及早参与教师的科研活动,教师能够将科研成果和资源转化为人才培养的资源,这对本科生创新能力的培养将会是一个巨大的推动。”宋爱国带领科研团队积极开展教学改革,不断将科研资源转化为教学资源,形成了“教师科研与教学相结合、学生课内学习与课外研究一体化”的本科人才培养模式。很多学生参与到相关的科学研究中,萌生了对科研的乐趣。
宋爱国高度重视课堂教学工作。一谈起宋爱国,他的学生个个有话说。“不管有多忙,宋老师从来不会缺一节课。”他的研究生石珂说,2016年10月的一个周三,宋爱国在深圳出差,因为晚上有课,他不时地跟学生们通报行踪:“我这边活动结束了,马上去机场;我上飞机了,尽量准时赶回来;我下飞机了,正在往学校赶……”晚上7点整,宋爱国准时出现在课堂上。
宋爱国注重全过程育人,注重培养学生德智体全面发展,做学生锤炼品格、学习知识、创新思维、奉献祖国的引路人。他不仅将自身的科研与教学相结合培养学生的创新能力,而且将培养学生树立远大理想与课外科技活动相结合,指导学生围绕国家重大工程和社会公益事业开展课外研学活动。他指导学生的科技作品,如航天员力觉交互虚拟训练系统、力反馈空间遥操作机器人、桌面式康复机器人、具有力触觉感知的肌电假肢、核化事故探测与处置机器人等,均在全国大学生“挑战杯”课外科技学术作品竞赛中获得特等奖、一等奖、二等奖等奖励。他经常邀请航天领域合作单位的院士、专家,以及航天员等为大学生开展讲座,帮助大学生树立科技报国的远大理想。
宋爱国不仅科研成果丰硕,而且在教学方面也取得了重要成果,作为第一完成人先后获2009年和2018年国家级教学成果奖二等奖;他带领的教学团队2010年入选国家级教学团队,负责建设的“传感器技术”课程先后入选2009年国家精品课程、2013年国家级精品资源共享课和2019年国家级一流课程;主编的《传感器技术》《测试信号分析与处理》教材被130余所高校选用,并入选国家级规划教材,获2017年宝钢优秀教师特等奖。
专家简介
宋爱国,东南大学首席教授,国家杰出青年基金获得者,国务院特殊津贴专家。现为东南大学电气仪器控制学部主任、空间科学与技术研究院执行院长、生物电子学国家重点实验室副主任、江苏省远程测控技术重点实验室主任、机器人传感与控制技术研究所所长。长期从事机器人力触觉传感技术、人机交互遥操作机器人技术、空间机器人技术、电力机器人技术等研究,先后负责国家重点研发计划项目、国家原“863”计划项目、国家自然科学基金重点项目等重要课题50余项。研制成功我国首台核电站核岛巡检与应急处置遥操作机器人、大型泵站巡检运维遥操作机器人、小型核化侦察遥操作机器人、嫦娥三号月面巡视器地面遥操作实验机器人、月面载人移动车控制系统、航天员在轨操作力测量多维力传感器与测量系统、空间站太阳能帆板伸缩杆内力测量传感器与测量系统、空间站大型机械臂遥操作工效实验系统、力触觉感知型肌电控制假肢等。作为第一完成人曾获国家技术发明奖二等奖、高等学校科学研究优秀成果奖技术发明奖一等奖、江苏省科技进步奖一等奖、吴文俊人工智能科技进步奖一等奖、日内瓦国际发明金奖以及高等学校科学研究优秀成果奖自然科学奖二等奖、国家教学成果奖二等奖等奖项。