人工智能之自然语言处理(NLP)

人工智能是一个很牛B的东东（看看那些科幻片），那么如何判断人工智能已经成功了呢？当一个人跟机器交流或者跟人交流，已经无法区分对方是人还是机器的时候，那么人工智能也就成功了。既然这样，那就说明要让机器理解人类的语言就非常重要了。

NLP (Natural Language Processing) 是人工智能（AI）的一个子领域。自然语言是人类智慧的结晶，自然语言处理是人工智能中最为困难的问题之一，而对自然语言处理的研究也是充满魅力和挑战的。

按照我的理解，给大家讲讲机器怎么理解人类的语言。

要让机器理解人类的一句话，首先它得提取语言中所有的词并且分析其含义，还需要分析每个词所处句子的位置，以便提取出人类的意图。这样说来，第一步我们得先要对句子进行分词。英文分词是通过空格来区分，那么中文分词呢？

最早的时候，有语言专家通过词典的方法来分，确实这种方法能够解决很多句子，只要词够多分析正确性还行，可是这个方法连一个”北京大学生”都解决不了，因为查字典的方法一般来说都是按照最长词匹配来做的，那么”北京大学生”就变成了”北京大学”和”生”，毫无疑问这样的结果很不令人满意。于是部分专家开始往语法分析方向发展，试图通过对句子进行语法分析来解决，但是当一个句子很长的时候，语法分析的复杂度令人难以想象，而且很多时候都会有多种结果，无法取舍。这样中文分词就被卡主了，所有的科学家都向着语法分析，悲催啊！！！

几十年后，终于有人提出了一个新的思路—统计分析。

统计分析竟然可以用来分词，好神奇，原来统计系统以已有的很多报纸，网络新闻等为样本进行人工分析标注，一般来讲一个字能成为一个词都跟其前面几个字相关，于是就分析这个字和其前面几个字分别作为词的概率，如果达到一定概率，就说明是一个词。并且通过统计分析还可以得到某个字很其前面的几个字出现的概率很高，而词库里没有这个，就说明这是一个新词。

         得到了分词，就需要分析句子结构，也就是词性分析，句法分析。接下来怎么做呢？等你来教我！

欢迎投稿 职场/创业方向. 邮箱wangfzcom(AT)163.com：王夫子社区 » 人工智能之自然语言处理(NLP)

标签：