院士陆汝铃：六问机器学习pdf，txt教程

来源：大数据文摘 作者：陆汝铃（中国科学院数学与系统科学研究院数学研究所研究员、复旦大学教授

在知识工程和基于知识的软件工程方面作了系统的、创造性的工作，是中国该领域研究的开拓者之一

1999年当选为中国科学院院士

） 在人工智能界有一种说法，认为机器学习是人工智能领域中最能体现智能的一个分支

从历史来看，机器学习似乎也是人工智能中发展最快的分支之一

在二十世纪八十年代的时候，符号学习可能还是机器学习的主流，而自从二十世纪九十年代以来，就一直是统计机器学习的天下了

不知道是否可以这样认为：从主流为符号机器学习发展到主流为统计机器学习，反映了机器学习从纯粹的理论研究和模型研究发展到以解决现实生活中实际问题为目的的应用研究，这是科学研究的一种进步

平时由于机器学习界的朋友接触多了，经常获得一些道听途说的信息以及专家们对机器学习的现状及其发展前途的评论

在此过程中，难免会产生一些自己的疑问
借此机会把它写下来放在这里，算是一种“外行求教机器学习”

一问：符号学习该何去何从 ▼ 问题一： 在人工智能发展早期，机器学习的技术内涵几乎全部是符号学习

可是从二十世纪九十年代开始，统计机器学习犹如一匹黑马横空出世，迅速压倒并取代了符号学习的地位

人们可能会问：在满目的统计学习期刊和会议文章面前，符号学习是否被彻底忽略？它还能成为机器学习的研究对象吗？它是否将继续在统计学习的阴影里生活并苟延残喘？ 对这个问题有三种可能的回答： 一是告诉符号学习：“你就是该退出历史舞台，认命吧！”二是告诉统计学习：“你的一言堂应该关门了！”单纯的统计学习已经走到了尽头，再想往前走就要把统计学习和符号学习结合起来

三是事物发展总会有“三十年河东，三十年河西”的现象，符号学习还有“翻身”的日子

第一种观念我没有听人明说过，但是我想恐怕有可能已经被许多人默认了

第二种观点我曾听王珏教授多次说过

他并不认为统计学习会衰退，而只是认为机器学习已经到了一个转折点，从今往后，统计学习应该和知识的利用相结合，这是一种“螺旋式上升，进入更高级的形式”，否则，统计学习可能会停留于现状止步不前

王珏教授还认为：进入转折点的表示是 Koller 等的《概率图模型》一书的出版

至于第三种观点，恰好我收到老朋友，美国人工智能资深学者、俄亥俄大学 Chandrasekaran 教授的来信，他正好谈起符号智能被统计智能“打压”的现象，并且正好表达了河东河西的观点

全文如下：“最近几年，人工智能在很大程度上集中于统计学和大数据

我同意由于计算能力的大幅提高，这些技术曾经取得过某些令人印象深刻的成果

但是我们完全有理由相信，虽然这些技术还会继续改进、提高，总有一天这个领域（指 AI ）会对它们说再见，并转向更加基本的认知科学研究

尽管钟摆的摆回还需要一段时间，我相信定有必要把统计技术和对认知结构的深刻理解结合起来

” 看来 Chandrasekaran 教授也并不认为若干年后 AI 真会回到河西，他的意见和王珏教授的意见基本一致，但不仅限于机器学习，而是涉及整个人工智能领域

只是王珏教授强调知识，而 Chandrasekaran 教授强调更加基本的“认知”

二问：“独立同分布”条件对于机器学习来讲必需吗 ▼ 问题二： 王珏教授认为统计学习不会“一帆风顺”的判断依据是：统计机器学习算法都是基于样本数据独立同分布的假设

但是自然界现象千变万化，王珏教授认为“哪有那么多独立同分布？”这就引来了下一个问题：“独立同分布”条件对于机器学习来讲真的是必需的吗？独立同分布的不存在一定是一个不可逾越的障碍吗？ 无独立同分布条件下的机器学习也许只是一个难题，而不是不可解决的问题

我有一个“胡思乱想”

认为前些时候出现的“迁移学习”也许会对这个问题的解决带来一线曙光

尽管现在的迁移学习还要求迁移双方具备“独立同分布”条件，但是不能分布之间的迁移学习，同分布和异分布之前的迁移学习也许迟早会出现？ 三问：深度学习代表了机器学习的新方向吗？ ▼ 问题三： 近年来出现了一些新的动向，例如“深度学习”、“无终止学习”等等，社会上给予了特别关注，尤其是深度学习

但它们真的代表了机器学习的新的方向吗？包括周志华教授在内的一些学者认为：深度学习掀起的热潮也许大过它本身真正的贡献，在理论和技术上并没有太多的创新，只不过是由于硬件技术的革命，计算机速度大大提高了，使得人们有可能采用原来复杂度很高的算法，从而得到比过去更精细的结果

当然这对于推动机器学习应用于实践有很大意义

但我们不禁要斗胆问一句：深度学习是否又要取代统计学习了？ 事实上，确有专家已经感受到来自深度学习的压力，指出统计学习正在被深度学习所打压，真如我们早就看到的符号学习被统计学习所打压

不过我觉得这种打压还远没有强大到像统计学习打压符号学习的程度

这一是因为深度学习的“理论创新”还不明显；二是因为目前的深度学习主要适合于神经网络，在各种机器学习的方法百花盛开的今天，它的应用范围还有限，还不能直接说是连接主义方法的回归；三是因为统计学习仍然在机器学习中被有效的普遍采用，“得到多助”，想抛弃它不容易

四问：只有统计方法适合于在机器学习方面应用吗？ ▼ 问题四： 机器学习研究出现以来，我们看到的主要是从符号方法到统计方法的演变，用到数学主要是概率统计

但是，数学之大，就像大海，难道只有统计方法适合于在机器学习方面应用吗？ 当然，我们也看到看了一些其他数学分支在机器学习上的应用的好例子，例如微分几何在流形学习上的应用，微分方程在归纳学习上的应用

但如果和统计方法相比，它们都只能算是配角

还有的数学分支如代数可能应用得更广，但是在机器学习中代数一般是作为基础工具来使用，例如矩阵理论和特征值理论

又如微分方程求解最终往往归结为代数问题求解

它们可以算是幕后英雄：“出头露面的是概率和统计，埋头苦干的是代数和逻辑”

是否可以想想以数学方法为主角，以统计方法为配角的机器学习理论呢？在这方面，流形学习已经“有点意思”了，而彭实戈院士的倒排随机微分方程理论之预测金融走势，也许是用高深数学推动新的机器学习模式的更好例子

但是从宏观角度看，数学理论的介入程度还远远不够

这里指的主要是深刻的、现代的数学理论，我们期待着有更多数学家参与，开辟机器学习的新模式、新理论、新方向

五问：符号机器学习时代和统计机器学习时代的鸿沟在哪里？ ▼ 问题五： 上一个问题的延续，符号机器学习时代主要以离散方法处理问题，统计学习时代主要以连续方法处理问题

这两种方法之间应该没有一条鸿沟
流形学习中李群、李代数方法的引入给我们以很好的启示

从微分流形到李群，再从李群到李代数，就是一个沟通连续和离散的过程

然后，现有的方法在数学上并不完美

浏览流形学习的文献可知，许多理论直接把任意数据集看成微分流形，从而就认定测地线的存在并讨论起降维来了

这样的例子也许不是个别的，足可说明数学家介入机器学习研究之必要

六问：大数据给机器学习带来了本质影响吗？ ▼ 问题六： 大数据时代的出现，有没有给机器学习带来本质性的影响？ 理论上讲，似乎“大数据”给统计机器学习提供了更多的机遇，因为海量的数据更加需要统计、抽样的方法

业界人士估计，大数据的出现将使人工智能的作用更加突出
有人把大数据处理分成三个阶段：收集、分析和预测

收集和分析的工作相对来说已经做得相当好了，现在关注的焦点是要有科学的预测，机器学习技术在这里不可或缺

这一点大概毋庸置疑

然而，同样是使用统计、抽样方法，同样是收集、分析和预测，大数据时代使用这类方法和以前使用这类方法有什么本质的不同吗？量变到质变是辩证法的一个普遍规律

那么，从前大数据时代到大数据时代，数理统计方法有没有发生本质的变化？反映到它们在机器学习上的应用有无本质变化？大数据时代正在呼唤什么样的机器学习方法的产生？哪些机器学习方法又是由于大数据研究的驱动而产生的呢？ 本文是陆汝铃院士为周志华《机器学习》一书撰写的序言 清华大学出版社 推荐阅读 通过计算一个句子的音节总数证明给你看机器学习的重要性 ▼ 对信息时代的大多数人来说，如果想通过电脑编程解决一些难题，你只有两种方法：查找式和启发式

现在，便利的机器学习算法的出现提供了新的有力选择，我们可以用它来解决一些以前无法解决的问题

我们用这个看似简单实则困难的例子，计算一个句子里面音节的总数来说明机器学习的强大

计算一个句子里面音节的总数 解决这个难题的一个方法是从现有的列表里去寻找答案

似乎我们可以通过简单地查字典，找出每一个词的音节数，然后把所有的词加起来就得到了总数

这个非常直接的方法在实践中很快就失效了

因为实际的句子中包含出乎意料之多的没有收录在普通字典里的单词，如外来词，姓名，拼写错误，流行文化词，俚语等

字典通常不包含一个单词的所有变异体，也不包含所有单词的音节数

如果一个句子中即使只有一个单词我们找不到，使用这种查找的办法就解决不了问题

因此，这种方法非常局限，很多情况下不能使用
作为替代，多数软件使用启发式的或者称作“聪明的算法”

这种方法汇总一套用某种编程语言写下来的算法，或一系列的指令让计算机去遵从

只要你对问题了解得足够好，能够写下来这些算法，启发式算法则能非常有力地解决问题并能得到很好的结果

不幸的是，它们很脆弱——计算机只会照着指令执行

如果你的问题有许多特例，你必须不断地在算法里面增加特殊的逻辑，当问题变得越来越微妙时，比如检测自然语言（examing nature langguage）——启发式就会失败，而且超过一定阈值，则没有办法再改进

超过某个点，启发式在一堆相互矛盾的特例中纠结成一团乱麻，顾此而失彼

而机器学习会采用一个完全不同的方法 程序员不再需要写算法，只要选择一个机器学习的模型应用于训练数据就可以了

基于反馈机制，模型会进行自调节来得到理想的结果

一个好的模型可以学习到数据中潜在的规则，即便这些规则是复杂的，例如我们自己写程序时，因为没有完全理解问题而写出的不够明确的规则，但只要反馈机制是扎实可靠的，模型就可以对自身进行动态的调整，并可学习在这个系统建立最初培训中没有学到的数据中的变化

如果能够建立一个比较好地查出实际句子中音节数的机器学习模型，并且定期的给它反馈，我们就可以期望随着时间的推移，它变得越来越来好– 即使有从不同来源的新词加入

启发式和机器学习有相反的特征

一个启发式可以很快地提供非常好的结果，但是当数据量增加、或一些之前没有料到的特例出现时，它的质量就会变得不可靠

想要提高启发式则需要不断地修改它的代码，而且会逐渐变得复杂和昂贵

一旦错过了某些时机，想要改良启发式也会变得几乎不可能

相比之下，虽然一个机器学习模型在最初的阶段需要更多的功夫来创造和训练，但是之后它就可以通过学习来不断提高它自己

这种提高是通过从更多的数据中学习得来的，而不是通过重新设计算法

最终，这个机器学习模型可以通过学习处理一些连我们都无法清晰表述的微小的规则

这是一个从根本上与我们所了解的查找或启发式方法都不同的功能，它帮我们创造出的软件解决方案是之前通过查找和启发法所无法达到的

机器学习本身并不是一个新的方法，但它的使用已经开始大爆发

这种爆发是通过多种因素综合作用驱使的，如提高了的训练方法、逐渐增长的电脑的计算能力、巨大型“大数据”数据集中启发式显露出的缺陷、以及机器学习工具包的可用性的不断改善

机器学习的真正价值在于它为我们开辟了一个全新的技术能力，可以很好地解决基于查找或是启发式无法处理的棘手问题

我们现在可以重新审视以前觉得遥不可及的挑战，并期待着有更多的新一代产品能够应用这个强大的新方法

素材来源： https://medium.com/generally-intelligent/machine-learning-why-it-s-important-482cf7162d50#.dqz67je8h

欢迎投稿 职场/创业方向. 邮箱wangfzcom(AT)163.com：王夫子社区 » 院士陆汝铃：六问机器学习pdf，txt教程

标签：