——记香港大学工程学院机械工程系副教授张富

杨 洁  文卓君  吕腾波　　

　　它记录美丽，让人看到云海翻腾的壮观景象；它带来便利，令冷链保存的药物几分钟送到病人手中；它探索未知，将幽暗曲折的洞穴构建为三维地图……在过去的几十年里，小型多旋翼无人机在各种应用中显示出了巨大潜力，要使这些应用取得成功，它必须能够在未知环境躲避障碍，自主规划路线。

　　而张富做的，正是提升无人机性能，使用激光雷达实现自主无人机导航。作为香港大学工程学院机械工程系副教授，短短6年，他便领导火星实验室交出了一张亮眼的成绩单：从激光雷达惯性即时定位与地图构建技术（SLAM）FAST-LIVO2到自主导航的单旋翼自旋无人机“脉冲星”，再到学界顶级会议、期刊的优秀论文。在帮助无人机定义自己飞行轨迹的同时，张富和火星实验室也在定义他们自己的科研轨迹。

从自动化到无人机

　　2007年9月，张富走进中国科技大学（以下简称“中科大”）。校园里，桂花的淡淡甜香弥漫在空气中，银杏在湛蓝的天空下闪耀着光芒，梧桐树叶也将与时间一起贡献出绚丽的颜色……这个意气风发的小伙子怀揣梦想走入管理专业，期待着自己的大学生活。

　　大学一年级时，张富想转专业，“管理专业的相关工作多需要与人打交道，相比与人打交道，我更喜欢与客观事物打交道”。但是学什么呢？自动化系吸引了他。“自动化系的课表既有计算机原理、算法、编程软件课程，也有数字电路、模拟电子技术、控制实验等硬件课程。当时，我也没想好今后要做什么，只是觉得多学一些东西总没坏处。”就这样，出于简单而又懵懂的喜欢，他转到了自动化系。

　　说起中科大自动化系，可以追溯到1958年。当年9月，中科大成立，自动化系由中国科学院负责筹建，这也是我国最早创办的自动化系。几十年间，自动化系从专注于火箭和卫星的自动控制，逐步覆盖工业控制、交通、网络、模式识别及物联网等多个领域，已成为我国培养高新技术领域各层次高级专门人才的摇篮。

　　在中科大读书期间，张富收获颇丰。“学校开了很多数学、物理方面的课程，为我们打下了深厚的数理基础，这对理解工程概念、解决工程问题、训练思维方式、培养科学素养至关重要。我想，这是我最大的收获。中科大的氛围自由而纯粹，学生有很多课外时间，大家可以根据自己的喜好去发展。我会去图书馆看书、查资料，总能学到很多新东西，感觉人就像海绵一样。如今回想起来，这种氛围是促进或激励我自发学习的非常重要的因素。”

　　在这里，张富也遇到了很多良师。他的本科导师周荷琴，1973年开始在中科大任教，主要研究磁共振成像系统、医学图像处理、智能交通系统等。“在做毕业设计时，周老师给了我很多关心和帮助。由于本科即将毕业时，我便在老师的实验室做过一年项目，研究核磁共振成像，所以她对我的研究课题、研究态度、研究方法都比较清楚，更能针对性地进行指导，也关注我的生活和情绪，在各方面都给予了我极大的支持和理解。”

　　2011年，张富赴美国加利福尼亚大学伯克利分校求学，4年后获得控制专业博士学位。“伯克利和中科大一样，有着自由开放的学术环境。我的导师从来不会告诉我具体该怎么做，而是通过讨论来引导我寻找方向，还经常鼓励我按照自己的方式去探索、去研究。我们的课程设置也很棒，从基础数学到现代工程学科，系统而且覆盖全面。”

　　除了专业上的成长，张富的独立能力也得到了训练。“过去，我的衣食住行都可以在学校里解决，但在伯克利，你要去租房子，你得学会适应新的文化环境。我的心态也有了转变，从一个学生成为一个生活在社会上的人。”

　　“我在伯克利学的是控制理论和控制工程，这很有意思，但我还想做点更酷的东西。”2014年，机器人开始成为张富的关注对象。

　　这其中还有一段故事。2013年年底，张富回国度假，但打算返美时学生签证没有获批，“可能觉得我的博士项目比较敏感吧”。虽然撰写博士论文可以通过远程方式和导师沟通，但精力充沛的张富还想开拓些新的研究方向。就在这时，他遇到了香港科技大学电子与计算机工程学系教授李泽湘。李泽湘是著名的机器人与自动化领域专家。1979年，他作为中国首批公派本科生赴美留学，也曾在加利福尼亚大学伯克利分校学习，1992年开始任香港科技大学电子工程系教授，创办了自动化技术中心和机器人研究所。他开辟与发展了机器人在非完整约束环境下的运动规划这一重要学术领域，深圳市大疆创新科技有限公司、东莞市李群自动化技术有限公司、广东逸动科技有限公司等享有盛名的公司皆由其学生创立。

　　此后，张富在香港科技大学机器人研究所做研究助理教授，帮李泽湘教授带垂直起降无人机项目。“自动化控制和无人机虽然有相通之处，但还是有很多新的东西需要学习。我从零开始学习无人机工作原理，从电机到螺旋桨再到驱动。”

FAST-LIVO2如何实现高效准确

　　2018年8月，张富入职香港大学机械工程系任助理教授，开始组建自己的研究团队——火星实验室。同时，他也在谋划研究方向，一方面是此前自己比较熟悉的无人机领域，另一方面是激光雷达。“激光雷达行业正经历着快速而深刻的变革，我认为，激光雷达传感器不久之后将会成为无人机乃至整个机器人领域非常重要的传感器。”

　　传感器技术从根本上决定着机器人环境感知技术的发展，目前主要有激光雷达、摄像头、毫米波雷达、超声波传感器、GPS五类传感器。其中唯有激光雷达可以获取周围物体精确位置信息，能够实时重建3D世界，相当于机器人的“眼睛”。激光雷达发出一个红外光电，这个光电反弹回来，被激光雷达的接收器捕捉，由于光速是一定的，只要记录接受反射光用的时长，就能计算出障碍物的距离。向不同的方向发射光电，就能算出各个方向上障碍物的距离，并勾勒出它的形状。当光电变成连续的光束，就能判断物体是静还是动，动得是快还是慢。由于光速极快，所以这个判断过程几乎是实时的。激光雷达最多可以发出数百道光束，当这些光束旋转起来，每秒能发出数百万个光电，就能360度探测周围环境，无论是距离数百米的物体，还是突然冒出来的小动物，它都能识别。

　　如何利用激光雷达传感器获取的海量数据，还需SLAM让机器人在未知环境中进行自主导航。由于SLAM能够实时估计位姿并重建地图，它也成为各种机器人导航任务中不可或缺的工具。

　　2019年，张富带领团队开始研究激光雷达传感器，尤其是激光雷达SLAM系统，但这并不容易。视觉和激光雷达SLAM在各自领域表现出良好的潜力，但它们各自固有的局限性在不同场景中限制了其性能。FAST-LIVO是一种快速激光雷达（LiDAR）惯性-视觉里程计系统，它建立在两个紧耦合的直接里程计子系统之上：LiDAR-惯性里程计（LIO）子系统和视觉-惯性里程计（VIO）子系统，但高效且准确的LiDAR-惯性-视觉里程计（LIVO）和建图仍然是一个具有挑战性的问题。

　　张富认为，挑战主要表现在4方面。“一是整个LIVO系统需要处理LiDAR测量数据（每秒数百到数千万个点）及高频率、高分辨率的图像。为了充分利用这些大量数据，特别是在有限的机载资源下，需要极高的计算效率。二是许多现有系统通常采用LiDAR-惯性里程计（LIO）子系统和视觉-惯性里程计（VIO）子系统，各自需要从视觉和LiDAR数据中提取特征以减少计算负荷，然而，在缺乏结构或纹理的环境中，这一特征提取过程往往导致特征点的不足。此外，为了优化特征提取，还需要进行广泛的工程调整，以适应LiDAR扫描模式和点密度的变化。三是为了减少计算需求并实现相机和LiDAR测量的更紧密集成，需要一个统一的地图来同时管理稀疏点和观察到的高分辨率图像测量。然而，设计和维护这样一个地图是一个特别具有挑战性的任务，需考虑到LiDAR和相机的异构测量数据。四是为了确保重建的彩色点云的准确性，姿态估计需要达到像素级的精度。实现这一标准带来了相当大的挑战：精确的硬件同步、LiDAR和相机之间外部参数的严格预校准、曝光时间的精确恢复，以及能够在实时中达到像素级精度的融合策略。”

　　2021年，张富团队提出了FAST-LIVO2。“这是一个高效的LIVO系统，它通过惯序更新的误差状态迭代卡尔曼滤波器（ESIKF）紧耦合了激光雷达、图像和IMU测量。在IMU传播的先验信息基础上，系统状态按顺序首先通过激光雷达测量进行更新，然后通过图像测量进行更新，两者都基于单一的统一体素地图，并采用直接法。具体来说，在激光雷达更新中，系统将原始点配准到地图中以构建和更新其几何结构；在视觉更新中，系统重用激光雷达地图点作为视觉地图点，而无需从图像中提取、三角测量或优化任何视觉特征。在地图中选择与先前观察到的参考图像块相关联的视觉地图点，然后投影到当前图像上，通过最小化直接光度误差（稀疏图像对齐）来调整其姿态。为了提高图像对齐的准确性，FAST-LIVO2动态更新参考图像块，并使用从激光雷达点获得的平面先验。为了提高计算效率，FAST-LIVO2使用激光雷达点来识别当前图像中可见的视觉地图点，并在没有激光雷达点的情况下进行按需体素射线投射。FAST-LIVO2还实时估计曝光时间以处理剧烈光照变化。”

横空出世的“脉冲星”

　　在未知而黑暗的洞穴中，两颗小球从一位飞船组员的手中一跃而起，开始自动为整个洞穴建立3D模型……这是科幻电影《普罗米修斯》中的一幕。无人机在很大程度上依赖视觉传感器来感知障碍物和探索环境。现实中，由于传感器视场较小，无人机在感知能力和任务效率方面都受到限制。如今，香港大学火星实验室设计的“脉冲星”（PULSAR）无人机将电影变为现实。

　　“脉冲星”配备了微型机载计算机和激光雷达，实现了完全自主的感知、建图、规划和控制，无论在室内还是室外环境都不需要外部设备辅助；而且利用动力飞行，不需要驱动雷达传感。张富说：“无人机通常需要从上下、前后、左右3个方向去控制，这样听起来需要3个方向独立的执行器，但‘脉冲星’是单执行器，那么如何用一个电机去控制无人机在3个方向的移动，就是一个很大的挑战。我们引入了一种特殊机构——无协盘机构。它最初是宾夕法尼亚大学提出来的，我们对它进行了改进。”在每次螺旋桨旋转时通过改变电机速度来调整一次，从而实现高控制率，提高了无人机的整体敏捷性和控制精度。同时，电机反扭矩自然地驱动无人机机身旋转，利用这个自旋运动来扩展传感器视场，而无需添加额外的动力执行器，有效地减少了执行器引起的能量损失和组件重量，这些都有助于降低整体功耗。

　　为什么被命名为“脉冲星”，张富解释道：“它的自旋运动和激光雷达光束的扫描模式，与天文学上的脉冲星在直觉上十分相似。”

　　在环境探索和多方向动态避障方面的实验，结果显示“脉冲星”可以在不依赖任何外部设备辅助的情况下，在未知环境中执行自主导航并且实时探测环境中的静态和动态障碍物。它还可以在夜间进行全自动导航，展现了其航行性能不受光照条件的影响。此外，它能应对外部风扰。即便在最大风速4.5米/秒的风扰下，“脉冲星”仍然能够维持它的悬停位置于一个小范围内。这些特性使飞行器在野外环境中更加安全及稳定。

　　除了上述能力外，传感器亦能通过其固有的自旋运动以拓展其视场大小，这能提升无人机的感知能力和任务效率。目前，主要有两种方法用于拓展传感器视场，它们的共同点是整体功耗大。其中一种方法是使用大视场的传感器，如鱼眼相机、自反射相机或360度激光雷达。然而鱼眼相机和自反射相机往往会存在显著的变形，360度激光雷达在竖直方向上的视场仍然较窄且分辨率较低。另一种方法是同时使用多个传感器，如多相机系统或多激光雷达系统，可是多传感器系统会带来额外的成本和较长的数据处理时间。同样，采用云台系统去拓展视场也会带来相似的问题。

　　“脉冲星”与具有相同桨叶面积和载荷的四旋翼无人机相比，能够节省26.7%的能量消耗，同时保持良好的灵活性。由于使用了单执行器，“脉冲星”的动力系统具备了更高的能量转化效率，使整体效率达到了每瓦6.65克。仅凭借直径只有37.6厘米的螺旋桨和容量为41瓦时的小容量电池，这个重达1234克的无人机实现了超过12分钟的悬停时间。如果卸下激光雷达并安装更大的桨叶和电池，“脉冲星”的悬停时间更能超过40分钟。

过往与未来

　　十几年一路走来，对张富而言，是求索，是成长，是脚踏实地。

　　十几年的求索，张富在不同的研究课题中寻找自己的方向。“博士阶段我做了两个课题，一是硬盘读写磁头的伺服控制，二是积分式陀螺仪的标定和控制。在香港科技大学，我做垂直起降无人机的设计和控制。在香港大学我主要是做两个方向的研究，一是无人机，包括设计、导航、规划、控制等；二是基于激光雷达的定位和建图算法研究。”

　　这些看似不同方向的背后，又有着相同。“学科之间有很多共通共融之处，学习新的学科，不需要花太多时间。它背后的思考逻辑和方式方向是一样的，只是解决的问题不同而已。”相同的，还有一如既往的兴趣、尊严与责任。“一是兴趣，我很幸运，能把兴趣变成事业。二是2013年签证被拒，我们在这方面的技术是不如美国，但求学被怀疑为偷技术，这让人无法理解，也很不甘心。所以，我想在这个领域做点有意义的事。三是科研人员的责任感，我们做的工作不能仅停留在发文章上，还需要真正跟国家需求结合起来，为国家发展贡献一份力量。”

　　十几年的成长，曾经孜孜以学、难忘师恩的学生成为诲人不倦的教师、攻坚克难的团队负责人。“作为老师，面对科研，我要求有点高，也比较严厉，所以，我的学生可能并不轻松。其实每个能进入实验室的学生，对自己的要求都很高。有些学生对自己要求之高，可能远超老师对他的要求，我反而需要引导他们：不要给自己太大压力。学习以外，我也能够跟大家打成一片。”遇到困难时，他则从严师转变为引导者。“我会讲述自己对这些问题的认识，跟学生充分讨论，然后一起制订行动方案。同时，给他们更大的自由度，让他们去尝试、去发挥。目前，我们遇到很多的问题基本可以迎刃而解。”

　　张富带领火星实验室获得了2023年智能机器人与系统国际会议（IROS）机器人机制与设计最佳论文奖，并入选《IEEE/ASME机械电子学汇刊》2023年最佳论文奖提名，两次获得2023年IROS最佳论文奖提名，以及2023年国际机器人与自动化会议（ICRA）杰出导航论文提名。他还主持过多项和大疆、华为、中国电科等企业的合作项目，并在这个过程中受益颇多。“在跟工业界合作过程中，我们能够去一线了解工业界面临的现实问题是什么、需要什么，用以指导我们的学术研究方向。”

　　十几年的脚踏实地，让张富在忙碌中依旧保持着平和从容的心态。“平时工作确实挺忙的，但我没觉得科研压力太大。我很享受和大家一起探讨问题、头脑风暴，共同努力解决问题，一旦有进展会特别有成就感和愉悦感。研究过程中的点滴，都让我觉得很充实、很有意义。平台、经费，是一个水到渠成的事情，工作做出来了，大家自然会认可。”科研中有困难吗？有。他说最难的是找无人机飞行实验场地。“需要人少的开阔处，这样的地方在香港比较难找。”他说，“有时要去元朗山里，不但要扛着设备爬山，还要忍受蚊虫的叮咬。”所幸，热爱所系，山海可平，成果总能一次又一次燃起张富的自信。就在最近，他还带领团队在《科学·机器人技术》（Science Robotics）上发表了最新的阶段性科研成果，他们勠力同心，实现了无人机的高速避障导航，为我国未来在此领域的发展进一步指明了航向。