微软亚洲研究院是跨界产学研结合的特殊性组织,在基础研究方面,微软让人工智能在语音识别、图像识别、机器翻译和阅读理解等方面的能力都实现了质的提升。2017年我们成立了微软亚洲研究院创新会,希望通过微软的智库帮助亚太地区的所有传统企业实现数字化和智能化转型。
实际上人工智能基础研究和产业需求之间是有着巨大鸿沟的,我们只有完成最后一公里创新,才能够把这个鸿沟弥补起来。下面我要和大家展示四个方面的研究工作。
第一个方面是对偶学习。对偶学习要解决的问题是什么?就是在没有足够数据、没有标识数据的情况下,人工智能还能不能完成学习过程,这是一个非常重要的问题,因为近几年来,无论是在语音识别、图像识别、阅读理解,还是在机器翻译方面人工智能算法成功的背后必然是大量数据的支撑。任何人工智能应用领域都要实现双向交流,比如说在语音领域里,我们既关心从语音到文字识别的过程,也关心从语音到文字生成的过程,这样才能形成一个闭环的人机交流。依据这样的闭环模式,我们提出了一个对偶学习框架,利用信息交流的闭环,即便没有人工干预,没有人工标识数据,也可以获得有效信息。
以机器翻译为例,假设我们有两个初始模型,可以完成从英文到中文的简单翻译,再将翻译出来的中文转译成英文,形成闭环后就可以做两个比较。第一个比较过程是将翻译出的中文句子与正确的中文句式的比较,如果不相符的话就说明所使用的翻譯模型是无效的,或者有待提高。另一个比较过程是将原来的英文句子和经过闭环翻译出来的英文句子做的比较,判断其语义是否一致,如果不一致就会获得一个学习信号,这是两个对偶任务之间的双向互动,是对偶学习的基本思想。
借助对偶学习技术,2018年3月微软公司在中英新闻翻译领域首次达到人类专业翻译水平,比同声传译还高出一个水准。我们在2019年4月份世界级大规模机器翻译大赛的19项任务里面获得8项冠军,背后主要的核心技术就是前面提到的对偶学习。
对偶学习不仅在机器翻译上面有很好的表现,在语音识别方面也发挥了很大的作用。语音质量的提高,使合成的语音以一种可理解的方式传递到我们耳朵里,这就是对偶学习的效果。
第二个方面是动态学习。对偶学习解决了数据不足的问题,但数据还有动态性的问题。标准的人工智能会假设数据分布是不变的,所以我们在训练集获得的知识可以无缝推广到将来未知的测试样例上,但实际情况往往不是这样。这个问题催生出了一系列算法,比如注意力机制算法,把原来传统人工智能模型里面各种特征组合而成的确定性参数变成动态的参数,这些参数可以根据环境变化调整,这就是智能化的算法,区别于以前的固定算法。
同时我们还将基于数据的机器学习和博弈论相结合,传统博弈论关心理性的智能体之间的博弈问题,忽略了数据里面的动态性。而机器学习关心基于数据的决策,忽略了人或者智能体的二阶效应。我们把这两者进行结合,推出了一个新的研究方向—数据驱动的博弈机器学习。博弈机器学习的一系列思想可以应用到对数据动态性非常敏感的领域,比如股票投资。
第三个方面是竞合学习。我们的思想是化整为零,通过分布式训练解决问题。竞合学习是建立在分布式的智能体之间的互动机制。竞合指的是分布式智能体之间对共有资源的竞争。我们和世界顶级的航运公司进行合作,用竞合学习解决整个航运网络里集装箱的调度问题,各个港口的集装箱都需要竞争船上的空位,这是典型的智能体之间进行资源竞争的例子,在同一条航线运输集装箱的情况下,各个港口的集装箱库存在时空网络上都要进行广泛竞争和合作。竞合学习帮他们将原来基于运筹学的方法,替代为新的人工智能解决方案,在短时间内节省了上千万美元的运营成本。
第四个方面是轻量学习。最近在学术界很流行的一件事情是用大量数据做自然语言预训练,有了预训练模型的话,自然语言处理任务的执行效果就可以得到提升。这听起来像是在探索科学边界,但是实际是一种大力出奇迹的做法,这让我们的研究被极大地限制了。我跟我们研究团队达成的共识有两点:第一,不随波逐流做所谓大力出奇迹研究。第二,希望帮助学术界和产业界探索轻量级的处理方法,用少量计算资源就可以实现比别人用海量计算资源效果更好的研究成果。
人工智能基础研究非常重要,虽然近几年取得了很大的进展,但是想让人工智能研究真正对产业产生影响,必须进行最后一公里的研究,我们需要能弥补基础研究和实际应用鸿沟的重量级研究成果出现。
以上的四个研究方向希望能给大家带来启发,我们呼吁更多同仁一起去做进一步的创新,推进人工智能和大数据产业共同的繁荣发展,创建一个新的生态。
(根据演讲内容整理,未经本人审核)
扩展阅读文章
推荐阅读文章
花田文秘网 https://www.huatianclub.com
Copyright © 2002-2018 . 花田文秘网 版权所有