Posts /

GNMT(Google’s Neural Machine Translation System) 阅读笔记

Twitter Facebook
29 Sep 2016

Background

几年前,人们开始使用RNN(Recurren Neural Networks)来直接学习如何将一个输入单词序列映射为输出序列。

Phrase-based机器翻译方法将一个输入语句分解未几个单词block或者phrase,再独立地翻译它们。作为对比, NMT则是将整个输入语句作为一个整体来看待。这就使得与PBMT相比,NMT需要更少的engineering design。在NMT刚问世时,它就已经达到了和PBMT相同的精准度。

在那之后,虽然NMT模型也在不断被改进,但是一只没有达到应用与生产的要求。而在GNMT中,Google成功克服了NMT的诸多问题,达到了足够令人满意的翻译效果,并将其应用在了Google Translate中。

Data from side-by-side evaluations, where human raters compare the quality of translations for a given source sentence. Scores range from 0 to 6, with 0 meaning “completely nonsense translation”, and 6 meaning “perfect translation.”

基本原理

先用一幅图来展示GNMT工作的具体流程:(以中译英为例)

效果对比

An example of a translation produced by our system for an input sentence sampled from a news site. Go here for more examples of translations for input sentences sampled randomly from news sites and books.

目前,GNMT已经完全应用于汉译英,这是众所周知最难翻译的之一。其他的翻译将会陆续采用GNMT。当然,Google在其自家的TensorFlow上完成了这一系列的实验和商业部署。

Paper细节

1. Introduction

3.Model Architecture

<未完,阅读中>


Twitter Facebook