发布时间:2021-10-14
李明丽
“在时代的巨浪下,deep learning(深度学习)未来将向哪里发展?我不知道。我只能带着一颗敬畏的心,摸着石头过河,边走边瞧。”这是上海交通大学张拳石初次接触深度学习时的心境,如今,深度学习的方向他已经找到,但是敬畏之心一直未变。
抉择时刻
弗罗斯特在《未选择的路》中写道:一片树林里分出两条路,而我选择了人迹更少的一条,从此决定了我一生的道路。这句话可以算作张拳石科研生活的真实写照。
2012年,张拳石在日本东京大学攻读博士学位,那一年,国际著名深度学习专家——辛顿带领团队参加了世界著名的ImageNet 图像识别大赛,将错误率大幅下降到15.3%,而排名第二的模型,错误率则高达26.2%,这个对比让整个人工智能领域都为之沸腾。此后一段时间内,学术界和工业界都开启了深度学习的浪潮。
2015年,深度学习研究如火如荼,然而,他的博士后合作导师朱松纯的一句话,却让张拳石感觉当头棒喝,朱松纯说:“深度学习已死。”尽管很多人对深度学习有种种担心,但是在2015年深度学习风头正劲的年代,不是每个人都敢说这样的话的,因为无论是从深度学习2015年前的势头还是2015年之后的辉煌来看,深度学习都绝对和“死亡”沾不上边。
外行看热闹,但身处洪流之中,张拳石却比常人更清楚表面背后的危机——首先,深度学习的出现,可以实现用一个简单的算法解决所有不同难题的愿景。从整个AI发展历史来看,确实是一个了不起的进展,但是,技术手段的单一化,也让学科发展受到很大的限制,学科研究进入瓶颈。其次,理论和应用严重脱节,很多传统理论对深度学习的解释,建立在不切实际的假设上,这就让传统理论研究进入一个非常尴尬的境地。传统的理论在解释深度学习方面陷入了极大的困境,无论从知识表征角度,还是从表达能力的角度,深度学习都缺乏可靠的解释。深度学习的巨大成功带给人的是更大的迷茫:没有系统性解释和建模,只有经验,未来何去何从。
张拳石认为,必须改变研究方向,否则,深度学习的边界一定会到来。“从2012年到2015年,深度学习的论文迎来大爆发,整个领域研究非常火热,而且不断有重大的突破和惊艳的方法涌现,但是对很多问题的理解本质上没有突破2012年的认知范畴。你今天可以在这个层面发文章,但如果5年、10年后还是在这个层面发展,那整个领域就止步不前,看不到希望了。”
“希望人工智能应该像过去一样,持续指数爆炸地发展,而不是像物理化学等传统学科渐渐平淡下去。”这句话本身没有什么科学道理,但这是这一代学者的寄托和追求。
然而,放弃一个如火如荼的领域,也并不容易。最明显的阻碍比如说,热门领域的研究论文中稿率很高,这对未来的职位晋升有好处,但是继续在深度学习内注水发论文,也意味着放弃自己的职业道德。所以,这不仅是一个智商层面的考虑,还有一个道德上的让步。
也许有人说,转入新领域,耕耘无人区,不是更容易出成果吗?然而事实却并非如此。张拳石不无感慨地说:“从2015年至今,很多人立足当下往后看,发现举目四望,没有方向,深度学习未来的突破口在哪,根本不知道。”重重的难题摆在面前,到底是选择留在舒适区,还是突破自己,为行业考虑,张拳石选择了后者,从此在人迹更少的那条路上,开启了探索征程。
拓荒前行
深度学习当前处于百家争鸣没有定论的阶段,想找一条适合研究的路并不容易。博士后研究期间,张拳石花费了两年时间,最终找到了可解释性方向。为什么要研究这个方向?
张拳石说:神经网络就像一个黑盒模型,解释性较弱,算法无法对特定任务给出清晰的概括,而在诸如自动驾驶、医疗和金融等决策“高风险”领域,利用深度学习进行重大决策时,往往需要知晓算法所给出结果的依据,因此,透明化深度学习的“黑盒子”,使其具有可解释性,具有重要意义。
尽管有重大意义,但是目前可解释性领域的研究,依然停留在表面,其深度远远不足以支撑起“改造深度学习”的愿景,而且这个研究方向充满风险。在可解释性研究这个大方向里,研究人员很少,而且根本没有参考经验,所有研究者都在蹚路。有业内人士称:这个方向有可能5年、10年后能走通,但是走不通,也有可能。
在知乎“深度学习可解释性方向的研究是不是巨坑?”的问题下,张拳石认真地回答说:“或许跳坑是科研的本分吧。从学科发展来看,只有这些坑才是真正值得去做的问题。”
在确定深度学习的出口后,张拳石开始在可解释性方向上策马狂奔,并试图在深度学习可解释性方向上搭起框架。在对神经网络进行语义层面的解释、解构和建模方面,他尝试打通神经网络表达与符号化语义图模型表达的壁垒,在没有额外语义标注的前提下,将面向视觉任务的神经网络中的层次化信息处理结构,转化为可解释的语义图模型。在对神经网络表达能力的解释和建模层面,他提出对神经网络单词/像素信息遗忘的统一量化标准,实现对神经网络表达能力的跨层、跨网络、跨应用的公平比较;提出对神经网络中层特征中所建模的概念的一般性定义和中层概念量化算法,实现了在概念层面对神经网络表达能力的解释;定义并量化了两个神经网络中层表征的知识同构性,并基于知识同构性指标,提出解释神经网络表达能力的一般性算法。
最终,张拳石发展了博弈交互理论,沿着可解释性方向,做出了一系列工作,试图将“知识意义层面对神经网络的解释”和“对神经网络表达能力的分析”在同一个框架下统一起来。另一方面,针对深度学习领域中“神农尝百草”式直觉性算法的各自为战的现状,张拳石希望挖掘不同算法中公共成分,去芜存菁,提炼出其内在真正有效的算法机理。
今天的人工智能能够取得如此辉煌的进步,在很大程度上要归功于深度学习对传统任务的性能提升。但是,可解释性也是捆绑深度学习发展的一道“枷锁”,所以,要想加快人工智能的发展,必须先重视深度学习可解释性方向,解决其面临的难题。张拳石说:“我们的最终目标,就是尽量让深度学习变成一门科学,而不是一项经验性的技术,未来也许我不一定能做出来,但是我会朝着这个目标,一年一年地努力。”
专家简介
张拳石,上海交通大学约翰·霍普克罗夫特计算机科学中心长聘教轨副教授,博士生导师,ACM China新星奖获得者,2014年获得日本东京大学博士学位,2014—2018年在加州大学洛杉矶分校(UCLA)从事博士后研究,主要研究方向包括机器学习和计算机视觉。其研究工作主要发表在计算机视觉、人工智能、机器学习等不同领域的顶级期刊和会议上(包括IEEE T-PAMI、ICML、ICLR、CVPR、ICCV、AAAI、KDD、ICRA等)。近年来,张拳石在神经网络可解释性方向取得了多项具有国际影响力的创新性成果,承担ICPR 2020的领域主席,CCF-A类会议IJCAI 2020和IJCAI 2021的可解释性方向的Tutorial,并先后担任了AAAI 2019、CVPR 2019、ICML 2021大会可解释性方向的分论坛主席。
- 资讯
-
-
《科学中国人》杂志社记者证2024年换证人员公示
根据《国家新闻出版署关于开展2024年第七版新闻记者证全国统一换发...
-
“一猪两用-食用猪和医用猪”专场报道
2024年7月,正值夏季火热时节,各界专家齐聚科技创新之城——深圳,参加...
-
“2024前沿科学创新大会”在深圳召开
科技改变世界,创新引领未来! 2024年7月12—14日,“2024前沿科学创新...
-
当年累得坐马桶就睡着的科学家,成为今年国家最高科学技术奖得主
里程碑 笔者第一次见到薛其坤院士是在2019年年初,他领导团队完成的“量...
-
45岁用一篇论文解百年难题,85岁他站上国家最高科技领奖台
从跋山涉水扛着机器测量,到航空遥感再到卫星遥感,测绘遥感学科领域随...
-
这些科学家和标志性成果获得国家科技奖励!了解奖项分布与获奖特点→
2023年度国家科学技术奖今天揭晓。一大批贡献卓越的科学家和标志性成果...
-
《科学中国人》杂志社记者证2024年换证人员公示