自然语言处理领域有很多难题，此前研究者费了好大劲去解决的问题，深度学习方法出现以后，一些问题被很好地解决了，或者虽然还没有彻底解决，但是提供一个很好的框架。这些问题主要包括：词语形态问题、句法结构问题、多语言问题、联合训练问题、领域迁移问题以及在线学习问题。这里我主要讲下前四个问题，不对后两个问题进行展开。 词语形态问题 词语形态问题，即 Morphology，研究的是词的构成。在中文中，它体现在词的切分上，在英语等大部分其他语言中则主要体现在形态的分析上。其中词语切分在包括机器翻译在内的中文信息处理中，曾是一个非常令人头痛的问题，我们也花了很多精力去解决。 在基于规则和基于统计的机器翻译方法下，词语形态分析是机器翻译首先需要解决的问题。 对于中文而言，由于基于汉字的翻译效果很差，因而分词是必须解决的问题，也就是说如果不做分词或分词做得不好，即便用统计方法，效果也会很糟糕。然而分词本身又面临很多问题，因为中文词语本来就不是一个定义很明确的单位，导致分词缺乏统一的规范，分词粒度难以把握。 而中文以外的很多语言都存在形态问题，其中英文的形态问题比较简单，因为英语词的变化比较少。而很多其他语言的变化是很多的，例如法语有四五十种变化，俄语则更多。另外以土耳其和波斯语为例的黏着语，一个词可能有上千种变化，即一个词后面可以加很多种词缀，这对于自然语言处理尤其是机器翻译而言，是非常棘手的。 而且对于这些形态丰富的语言而言，分析的难度也很大，一般只有语言学家才能把词语的形态说得比较清楚。同时，形态本身其实是一层结构，所有统计机器翻译都建立在某种结构的基础上，例如词语层、短语层、句法层，或者说基于词的、基于短语、基于句法的方法，那如果想在这些结构中再加入一层形态结构，统计机器翻译的建模就会变得非常困难。 在统计机器翻译时代，复杂形态的语言处理非常困难，对此有一个比较著名的方法叫做 Factored statistical machine translation，即基于要素的翻译方法，就是将一个词分成很多要素，然后分别翻译每个要素，最后汇总起来。不过我很不喜欢这个方法，因为我认为它不够优雅，且非常冗余，效果也不是很好。 然而语言形态这个问题在神经网络框架下就基本不成问题了，这个领域的研究者对中文分词的讨论也不太多了，虽然也有一些关于如何在神经网络框架下将词分得更好的探索，我也看到过几篇挺有意思的相关文章，但是对于机器翻译而言，中文分词已经构不成根本性挑战了，因为现在机器翻译基本上可以不做分词了，大部分中文机器翻译系统基本上基于汉字来实现，性能跟基于词的系统比没有太大区别。 针对形态复杂的语言，现在提出了一种基于subword（子词）的模型或基于character（字符）的机器翻译模型，效果也非常好。我认为这是一个统一且优雅的方案。 自动化所张家俊老师，他们的一篇论文就介绍了基于子词的模型方案的解决思路，如下图所示，第一行是标准的中文，第二行是做了分词以后的。现在一般系统基于汉字即可，就是第三行，但是我们也可以做分词，比如第五行做BPE，将“繁花似锦”分成“繁花”、“似”、“锦”这三个子词部分。 基于字符的模型则是从字母的层面来做，对英文一个字母一个字母地建模和翻译，翻译效果也非常好。所以我认为在神经网络框架下，形态问题基本上不是什么太大的问题。 句法结构问题 下面看句法结构问题。 无论是在基于规则还是基于统计的机器翻译框架下，句法分析对机器翻译的质量都起着重要的影响作用。其中在基于统计的机器翻译中，基于短语的方法获得了很大成功，因此现在大部分统计方法都不做句法分析。 但是对于中英文这种语法结构相差较大的语言而言，做句法分析要比不做句法分析的结果好很多，所以句法分析还是很重要的。不过句法分析难度很大，一方面会带来模型复杂度的增加，另一方面句法分析本身存在的错误会影响翻译的性能。 而目前在神经网络机器翻译框架下，神经网络可以很好地捕捉句子的结构，无需进行句法分析，系统可以自动获得处理复杂结构句子翻译的能力。 大概 2005-2015 年期间，我一直在做基于统计的机器翻译，也就是研究如何在统计方法中加入句法方法，在这么多年的研究中，我们提出了很多种方法也写了很多篇论文，下图中的这些模型概括了我们之前提出的那些方法。 我们的工作主要聚焦于树到树、树到串的方法。美国和欧洲很多学者在做串到树的方法，树到树的方法做得都比较少。另外我们还做了一些森林方法的研究，即如何避免句法分析错误。不过，这些问题在神经网络框架下基本上也不存在了。 举例来说，“第二家加拿大公司因被发现害虫而被从向中国运输油菜籽的名单中除名”是一个好几层的嵌套结构，但是机器翻译的结果“The second Canadian company was removed from the list of transporting rapeseed to China due to the discovery of pests”在结构上翻译得很好。下面一个例子在结构上也没有什么错误。 神经网络机器翻译方法是没有用到任何句法知识的，仅凭从网络中学到的复杂结构就能实现这么好的效果，这样的话，对机器翻译来说做句法分析就没有太大意义了。当然句法结构并不是完全没有意义，现在也有不少人在研究，但是我认为这已经不再是机器翻译的一个主要难点了。 多语言问题 曾经，我们机器翻译研究者的一个理想，就是在基于规则的时代实现多语言翻译。当时很多人都在做多语言翻译，甚至是中间语言翻译，如下图，中间语言翻译其实是一个理想的方案，因为多语言的互相翻译通过某个中间语言来实现，是能够节省很多成本的：如果使用中间语言，开发系统的数量随翻译语言的数量呈线性增长；否则，开发系统的数量随翻译语言的数量呈平方增长。 但在基于规则方法的机器翻译时代，中间语言的方法是不可行的，正如日本机器翻译专家 Makoto Nagao 教授曾经说过的一句话，“当我们使用中间语言的时候，分析阶段的输出结果必须采用这样一种形式：这种形式能够被所有不同语言的机器翻译所使用。然而这种细微程度实际上是不可能做到的。” 在基于统计方法的机器翻译时代，普遍采用的是 Pivot 方法，即在两个语言的互译中，先将所有语言翻译成英语，再翻译成另一种语言。这样的话就能够使得多语言机器翻译成为可能。 但是这种方法也存在一些问题，即会导致错误传播和性能下降。另一方面，我们做多语言翻译的另一个想法是希望能够利用多语言之间互相增强的特点，即很多语言有相似的特点，因而如果无法利用上这种增强的话，这种方法就并非那么理想了。 在神经网络机器翻译时代，谷歌就直接利用中间语言的方法做出了一个完整且庞大的系统，将所有语言都放在一起互相翻译以及将所有文字都放在一起编码。虽然这个系统目前还不是很完美，但是距离理想的 Interlingua 已经很接近了。 之后,谷歌又推出了Multilingual BERT，将104种语言全部编码到一个模型里面，这在原来是不可想象的。 虽然这两个方法现在还无法彻底解决多语言问题，但是它们整个框架非常漂亮，效果也非常好，所以我觉得针对这两个方面，我们还有很多事情可以做。 联合训练问题 在统计机器翻译时代，因为各模块都是互相独立训练的，导致错误传播的问题很严重，所以联合训练也成为了提高性能的有效手段。 维护变得困难。同时由于搜索范围急剧扩大，系统开销也严重增加。不仅如此，由于模块太多，只能有限的模块进行联合训练，所以不可能将所有模块都纳入联合训练。 而在神经网络机器翻译框架下，端到端训练成为标准模式，所有模块构成一个有机的整体，针对同一个目标函数同时训练，有效避免了错误传播，提高了系统性能。
