欢迎您登录科学中国人官方网站!!
新浪微博|网站地图|联系我们
织梦视觉技术 感知多维世界

    发布时间:2024-12-10

——记华中科技大学电子信息与通信学院副院长杨铀

   杨 洁  

  

  1999年,电影《黑客帝国》(The Matrix)上映。在这部电影中,制作组采用了360度旋转的视角来全方位呈现男主角尼奥仰身躲子弹的场景。这一被命名为“子弹时间”的经典慢动作镜头,不仅给予了当时的观众“从平面到立体”的新鲜观影感受,也激发了视觉、计算光场及多媒体通信等相关行业从业者和专家的持续思考。“被拍摄的人、事物或场景本质上都是三维的,然而当它被拍摄后,呈现出的却是二维图像。换言之,在拍摄的过程中,被拍摄主体发生了一次‘降维’的过程,这会导致我们在观看这些视频内容时无法全面完整地看到被拍摄主体的全貌,造成了视觉信息的缺失。‘子弹时间’的出现,无疑为补全图像的信息缺失提供了一种新的方案。”提及这番由影视作品引发的技术升级,华中科技大学电子信息与通信学院副院长杨铀如是介绍道,而他目前所从事的以视觉感知与计算为核心的计算光场、计算机视觉、立体视频系统等方面的研究工作,也正与此密切相关。“我的工作就是实现更高维度的视觉信息获取,给予平面视频或图像更全面的三维信息,使观众对目标场景有更深层次的理解,让‘观看’这件事不止停留于‘我看到’,更要‘看得清’‘看得懂’‘看得更好’,并将相关技术应用于越来越多的应用场景,这就是我们为之奋斗的目标。”


打破视限,“还原”立体世界

  为了获得光场fxyz,θ,φ,λ,t)的信息,将空间(xyz)、角度(θ,φ)、光谱(λ)和时间(t)等多个因素引入其中,杨铀及其团队尝试了很多办法,并在研究过程中不断探索着影响视觉信息呈现的要素。以视觉信息的获取为开端,人的双目视觉给予了他们灵感——“虽然单相机的视觉获取只能得到平面图像,但是仿照人眼的双目视觉系统,只要能够利用2个及以上的相机进行多视点同步采集,就能够在得到的多视点图像基础上进行立体匹配,从而得到深度z的信息。”基于这一认识,杨铀以多视点解决多维度视觉问题为切入点,针对离散的多视点数据的结构化、可计算、可优化、可传输这4个主要问题,开展了多学科联合攻关,形成了多视点多模态视觉信息的采集、处理与传输关键技术。在内容的采集和预处理层面,他提出了相位信号时域差分校正、像素光流时域传播、递进式多视点视频配准等方法,实现了三维空间任意位姿大规模相机阵列数据的多模态标定与结构化表示;发明了模型与数据联合驱动的耦合计算方法,研制联合计算系统,实现了多视点多模态数据的混合计算;并突破性地提出了时域上采样法和时域校正法等多种方法,为运动场景的立体感知提供了丰富的工具集。而在编码压缩与传输优化,以及交互与呈现等方面,他发明了多视点视频优化编码方法、多视点视频数据的筛选优化模型、时-角维差值技术等,降低了多视点多模态混合计算资源代价;并基于直接利用编码参数(如运动矢量、块模式等)来进行深度图滤波的方法、跨视点多边滤波的方法,以及新型局部双边滤波器等方法,着力提升视频的绘制质量。


抗灾救困,彰显“天眼”实力

  在自然灾害、事故灾难、公共卫生、社会安全等突发性公共安全事件中,往往会出现因电力、通信设施损毁导致通信中断的情况,这不仅给受灾区域内人民群众生命财产安全带来巨大威胁,也会为后续救援和指挥调度工作造成严重阻碍。在这样的极端情况下,现有的应急通信系统仅能在小范围内为持有专用设备的人员提供窄带传输业务,无法满足灾区态势感知、现代化救援对宽带应急业务的重大需求。如何快速构建灾害现场与后方之间的信息通路,并对灾害现场态势进行全方面、多角度感知,是当前突发公共事件应急处置、现代化应急救援所面临的共性难题。而杨铀团队基于多视点视觉系统的研究成果,就在这样断电、断网、断路的“三断”环境中,在灾区态势感知上找到了一处全新的“用武之地”。

  以“天--地”全覆盖的广电专网体系为依托、公网为补充,杨铀团队整合“专-公”多网信道资源打造了多体制大容量融合通信信道,在揭示分布式多模态感知耦合机制与传递规律的基础上,发明了多模态视频时间-角度-尺度关联技术,就此研究的关联感知系统,在国际上首次实现了60个视点、3个模态的分布式关联感知,视点数提升1个数量级,克服了广、散、多的分布式感知抓立视点顽疾,并突破了相关领域的国际技术壁垒与欧美技术禁运;基于关联机制下的多模态视频预测与编码方法,以及多模态协同的视频筛选优化技术,编码能耗大幅度降低,同步研发的灾区小队协同计算系统则实现了极端通信下的窄带高清,被欧盟第七框架技术咨询报告评价为“多视点视频编码领域最为重要的进展”;其所建立的多模态视频模型-数据联合驱动的协同机制,跨模态、跨视角协同的场景高质量重建技术,以及分布式多模态协同计算系统,突破了深度场角频率感知全向同频干扰的物理制约,重建质量打破了保持24年的国际纪录;自主研发的应急融合通信传输系统与通信车,更是首次实现了通信空洞下灾区的“广电-公网-卫星”三网融合通信。杨铀团队形成了以灾区态势感知和灾害救援为核心,涵盖安防监控、广播电视、通信装备等十多个行业的100余型新产品与新服务,服务南水北调、雄安新区建设等重大工程,冬季奥运会、全国高考等重大活动,以及贵州、山东、吉林等省的应急演练与系统检验。目前,这一成果在中国国家应急广播中的应用,已覆盖72%的国土面积、服务全国62.8%的人口,真正落实了我国应急救援“以防为主,抗救结合”的战略使命。

  应急救灾事关人民生命财产安全、社会安全、国家安全,可谓牵一发而动全身。而通过面向灾害现场的多视点视频采集、处理与传输方法及装置将灾区情况传递给后方指挥,可以有效提升后方指挥对于灾区全貌及细节的把控程度,进而做出更为精准的调度指挥,这对我国应急救援及相关行业的技术和管理体系进步都有积极意义。不唯如此,杨铀团队此次在应急领域的开拓,也为相关技术应用于自动驾驶、车路协同、智慧家庭、服务机器人、远程视频会议、高端工业视觉监测、远程医疗和专用医疗装备等多个场景打开了局面。“经由这个项目,我看到了这项技术更广阔的应用场景,也更深刻地意识到尚有无数的科研山峰正等待着我们。”而曾经有良师为引、不断成长的杨铀,现在也已成为新的引路人,带领更多的年轻人不辍攀登。


行稳致远,建设创新高地

  1990年,就读于广东培英中学的杨铀,在初一时就早早地接触了计算机相关课程。这段经历让他在高考时义无反顾地报考了计算机专业,而随后面向图网络和立体视频等细分方面的研学之路,也为他日后涉足交叉领域打下了坚实的基础。据了解,在杨铀攻读博士期间,彼时数字电视在国内尚未完全普及,“大家用的还都是那种‘大块头’的显像管电视”;而他已经在导师蒋刚毅老师的指导下,开始接触立体视频的处理编码工作。“我日后从事的视觉感知与计算工作即以此为始,蒋老师高瞻远瞩的科研视野、全面了解行业发展前沿的钻研精神和严谨认真的工作态度也深深地影响了我。”而在开展博士后研究时,合作导师戴琼海放眼未来的战略大局观、博采众长的交叉学科的思维模式、敏锐的学术触觉和提纲挈领的总领能力,以及始终保持思考的习惯,都让年轻的杨铀受益匪浅,并沉淀为他日后走上工作岗位、带领团队的不竭养料。

  作为领域内较早开展计算光场研究与应用的科研人员之一,创新是杨铀科研生涯中最亮眼的底色;如今担任华中科技大学电子信息与通信学院副院长,他仍坚持以实际需求为导向,积极推进技术创新和系列成果落地,全面奠定团队的行业影响力和学科影响力。在培养行业后来人时,他首先强调了思想导向的重要性。“要目光长远,要思考所学所研能帮助国家解决怎样的问题”,是他教导学生时常说的话。与此同时,他始终坚持产教融合、科教融汇的人才培养方法,“我们所在的电子信息行业,是非常接地气的行业。想要解决实际的问题,就不能纯粹以发论文为导向,而是要到产业的第一线去,将产业、科研与教学有机融合起来”。为此,他积极开拓课堂和产业一线的“对接”通道,通过学生深入企业一线、产业专家到校讲课等有效交流形式,杨铀团队成员及学生得以真切了解到行业发展的现状和前景,为科研工作提供更加“有的放矢”的发力靶点。此外,杨铀也沿袭了恩师的习惯,从写作逻辑、写作方法、结构布局乃至标点细节入手,亲自执教学生的写作课程。“如果科研成果不能够被很好地传达出去、不能够被普罗大众所接受,这样的科研是没有任何用处的。”他强调道,“写作的过程,也是对成果进行梳理的过程。通过提升写作技巧,他们的成果将得以更好地推广传播,这也将提振他们的科研信心,并以更加清晰的思路进入后续的工作中。”

  “立大志、入主流、上大舞台、成大事业”,杨铀以此为自己团队的精神内核作注,也以此描绘了他与团队的未来图景。“未来,我们将继续坚持‘四个面向’,脚踏实地、补全完善相关技术在应急救灾领域短板的同时;更要持续探索学科前沿、进一步拓宽相关技术的应用场景。”以科研凝结核心竞争力、以应用增进人民福祉,杨铀及其团队将继续前行、不畏寒暑。
分享到:
资讯