[数学之美]吴军

内容简介 也许大家不相信，数学是解决信息检索和自然语言处理的最好工具。它能非常清晰地描 述这些领域的实际问题并且给出漂亮的解决办法。每当人们应用数学工具解决一个语言问 题时，总会感叹数学之美。我们希望利用 Google 中文黑板报这块园地，介绍一些数学工 具，以及我们是如何利用这些工具来开发 Google 产品的。 声明 此中内容，版权归属原创作者所有。 所归结成册，仅限于个人阅读便利与学习之用，系个人行为，与书仓网 （shucang.com）并无关联。 如若有任何问题，请在书仓网直接与编辑成册者联络。 也许大家不相信，数学是解决信息检索和自然语言处理的最好工具。它能非常清晰地描 述这些领域的实际问题并且给出漂亮的解决办法。每当人们应用数学工具解决一个语言问 题时，总会感叹数学之美。我们希望利用 Google 中文黑板报这块园地，介绍一些数学工 具，以及我们是如何利用这些工具来开发 Google 产品的。 系列一： 统计语言模型 (Statistical Language Models) Google 的使命是整合全球的信息，所以我们一直致力于研究如何让机器对信息、语言做 最好的理解和处理。长期以来，人类一直梦想着能让机器代替人来翻译语言、识别语 音、认识文字（不论是印刷体或手写体）和进行海量文献的自动检索，这就需要让机器理 解语言。但是人类的语言可以说是信息里最复杂最动态的一部分。为了解决 这个问题， 人们容易想到的办法就是让机器模拟人类进行学习 - 学习人类的语法、分析语句等等。尤 其是在乔姆斯基（Noam Chomsky 有史以来最伟大的语言学家）提出 “形式语言” 以后， 人们更坚定了利用语法规则的办法进行文字处理的信念。遗憾的是，几十年过去了，在计 算机处理语言领域，基于这个语法规则的方法几乎毫无突破。 其实早在几十年前，数学家兼信息论的祖师爷 香农 (Claude Shannon)就提出了用数学的办 法处理自然语言的想法。遗憾的是当时的计算机条件根本无法满足大量信息处理的需要， 所以他这个想法当时并没有被人们重视。七十年代初，有了大规模集成电路的快速计算机 后，香农的梦想才得以实现。 首先成功利用数学方法解决自然语言处理问题的是语音和语言处理大师贾里尼克 (Fred Jelinek)。当时贾里尼克在 IBM 公司做学术休假 (Sabbatical Leave)，领导了一批杰出的科 学家利用大型计算机来处理人类语言问题。统计语言模型就是在那个时候提出的。 给大家举个例子：在很多涉及到自然语言处理的领域，如机器翻译、语音识别、印刷体或 手写体识别、拼写纠错、汉字输入和文献查询中，我们都需要知道一个文字序列是否能构 成一个大家能理解的句......