百度全面解析机器同传挑战、前沿与展望

翻译为人类重新建立交流的巴别塔，机器翻译则让无障碍沟通的门槛降得更低。5月26日，2019自然语言处理前沿论坛上百度人工智能技术委员会主席何中军博士带来“机器同传：进展与展望”的主题演讲，并现场使用了“百度翻译AI同传”这一语音到语音的全新同传产品。

据介绍，全新百度翻译AI同传小程序仅需扫码即可使用，同传直播页支持边听边看，体验更实时、流畅。采用云端接入方式，无需传统的同传设备，降低会议成本。此外，会后同传记录还可以一键同步网盘，方便随时查看。

机器同传：机遇与挑战并存

机器同传成为人工智能领域前沿研究方向之一。随着语音和机器翻译技术的进步，机器同传取得了较大进展，也面临着一系列挑战:

挑战一： 语音识别错误。 由于演讲者的口音、语速以及会场的噪声影响，语音识别通常会存在一定的错误率，这错误会在翻译中进一步放大。解决这一问题，需要从两方面下功夫，一是高质量的语音识别系统，二是具有容错能力、高鲁棒性的翻译模型。

挑战二：质量与时延的平衡。 同传最具魅力的地方在于其低时延，但高质量翻译和低时延之间存在天然矛盾。要想获得高质量的翻译，需要等待演讲者更多的信息，时延就会变长。目前，几乎所有的“实时”翻译系统仍然使用传统的全句（即，非同时的）翻译方法，造成至少一个句子的延迟，使得译文与说话者不同步。

挑战三：翻译的连贯性和一致性。 目前，几乎所有的翻译系统都是以句子为单位进行翻译的，句子与句子之间连贯性较差。同传的主要场景是对演讲者的内容，进行实时翻译，需要保证翻译前后内容的连贯和一致。

挑战四：训练数据不足。 在语音领域，有数十万小时的训练数据；在机器翻译领域，有数十亿句对的训练数据。然而，面向真实场景的同传数据，只有几十到几百个小时，远远不足以训练高质量的同传系统。

挑战五：评价指标的挑战。 在文本翻译任务中，一般根据翻译句子的流利度（语序）和忠实度（完整翻译）对结果进行评价。同传不同于笔译，可以足够的时间去构思、推敲，同声传译要求译员在极有限的时间内对接受到的信息进行重组，使目的语听众了解原语发言人的讲话内容。因此，会采用“顺句驱动”“合理简约”等方法。传统的评价文本翻译的指标不适用于评价同传的结果。

百度翻译AI同传：多项创新技术取得突破进展

百度翻译AI同传集成了百度在同传上的最新技术，在语音容错、可控时延、篇章翻译、端到端模型等方面都提出了创新的解决方案。

在语音容错方面 ，为提高翻译的准确度和鲁棒性，百度提出了“联合文本和拼音编码”的语音翻译模型（Robust Neural Machine Translation with Joint Textual and Phonetic Embedding）。这一模型的创新之处在于对文本和拼音进行联合编码，缓解语音识别带来的错误。比如，发音都是“datang”的“大堂”和“大唐”很容易令语音识别系统混淆。传统的翻译模型只使用了文本信息进行编码，百度提出的模型在编码端加入了音节信息，使得模型具有容错能力。

在实时性方面 ，人工同传可以很好的处理质量与时延的平衡。从人类译员那里获得灵感，百度提出了具有预测和可控时延的翻译模型（STACL： Simultaneous Translation with Integrated Anticipation and Controllable Latency）。在这个模型中，在等待讲话者开始后的第K个词，就开始翻译。模型在每个步骤使用源语句的可用前缀，以及到目前为止的翻译来决定翻译中的下一个单词。该模型一个显著的优点是其具有可调节性，实际使用中可以根据需要调节K值，以平衡翻译质量和时间延迟。

在语篇翻译方面 ，百度提出了基于多轮解码校对网络的篇章翻译模型（Modeling Coherence for Discourse Neural Machine Translation），用于解决篇章翻译过程中的一致性和连贯性问题。该模型首先进行第一轮解码根据单个句子生成初步的翻译结果，其后根据已经生成的上下文信息，对翻译结果进行第二次解码，重新调整翻译内容。并且利用深度增强学习的技术，调整当前句子的译文和已经生成的译文保证良好的连贯性和一致性，在译文的整体流畅性上取得显著提高。

在端到端机器同传模型方面 ，百度提出基于知识蒸馏的同传模型（End-to-End Speech Translation with Knowledge Distillation）。首先利用大规模文本翻译语料训练一个教师模型，然后利用端到端语音翻译训练语料中的源语言转录文本和目标语言翻译文本对教师模型进行微调（fine-tune）。在微调的过程中，利用知识蒸馏技术（Knowledge Distillation）对端到端语音翻译的学生模型（Student Model）进行预测分布修正。该模型可以有效克服数据稀疏问题，显著提升翻译质量。

“未来，机器同传可以从以下三个方面开展工作，在模型方面，研究高鲁棒、低时延的同传模型；在数据方面，建设大规模面向真实场景的同传数据；在评价方面，建立面向同传的评价体系和标准。” 何中军表示。

层出不穷的网络新词，难以理解的语境，让机器翻译还不能做到“信达雅”，但随着技术的发展，机器翻译也在不断进化。

为推动机器同传技术发展，百度翻译联合CCMT2019（全国机器翻译研讨会）推出 全球首个面向真实场景的中英同传评测任务 (http://ccmt2019.jxnu.edu.cn/page/main1923/pctz.htm)，同时发布了 首个真实演讲场景的中英同传数据集CCMT2019-BSTC (http://ai.baidu.com/broad)，两项工作都将极大地推动同声传译的相关研究和发展。

“有一天，当你在北京人民大会堂和世界各国友人聚会的时候，你会发现，无论哪个国家的人在台上讲话，与会者都能从耳机里听到自己国家的语言……” 这是54年前，刘涌泉、高祖舜、刘倬合著的《机器翻译浅说》里对未来的机器翻译发展和应用的畅想和展望。而今天，随着技术的进步，畅想正在逐步走向现实。百度翻译AI同传解决方案的提出，提供了一种更方便、成本更低的服务选择，而未来，随时随地自由沟通的梦想也将离我们越来越近。

百度自然语言处理（Natural Language Processing，NLP）以『理解语言，拥有智能，改变世界』为使命，研发自然语言处理核心技术，打造领先的技术平台和创新产品，服务全球用户，让复杂的世界更简单。