人工智能简史（--2016年底） 序言人工智能开始脱离抽象的文学作品、炫酷的电影特技，逐渐在可感官的现实生活中生存、进化，成为生活必需品。只是人工智能还无法像《西部世界》描述的那样，能够获得对自身和外界更为深刻的认知、智慧积累和情感表达。!请输入图片描述请输入图片描述请输入图片描述1111956 年举行的达特茅斯会议，被认为是人工智能的起步标志。但在 60 年代和 80 年代爆发的人工智能，都高调出场，期待落空谢幕。随着深度学习算法的突破、互联网时代海量数据的积累、以及芯片强大计算能力提升，人工智能进入第三次爆发阶段。只是国内人工智能研究从 80 年代才开始起步，一直是被动的追赶者、学习者。在前两次轰轰烈烈的人工智能浪潮中，基本没我们什么事，一直在努力缩短与发达国家之间的差距。作为继蒸汽技术、电力技术、计算机及信息技术革命之后的第四次科技革命核心驱动力，人工智能将形成新的「生产力」。在与「第四次科技革命」的「贴身肉搏」中，中国市场基于过去几十年的技术积累开始力量爆发，成为这波人工智能浪潮中颇具实力的参与者。掌握人工智能技术意味着几百年前与工业革命失之交臂的遗憾，将有可能因此终结。可是回顾过去 40 年国内人工智能的发展，从一无所有到奋起直追、加速研发创新，崛起并不意味着走了很远，可能还是「局部很精彩，整体很无奈」的状态。人工智能是应用智能学习算法，将大量数据中的经历来改善系统本身的性能，从而完成人类聪慧所能作的事情。能够这么说，人工智能离不开数据剖析和机器学习，研讨智能数据剖析的理论和办法曾经成为人工智能的必要根底之一。人工智能是计算机科学的一个分支，它企图理解智能的本质，并消费出一种新的能以人类智能类似的方式做出反响的智能机器，该范畴的研讨包括机器人、言语辨认、图像辨认、自然言语处置和专家系统等。人工智能从降生以来，理论和技术日益成熟，应用范畴也不时扩展，能够想象，将来人工智能带来的科技产品，将会是人类聪慧的“容器”。人工智能能够对人的认识、思想的信息过程停止模仿。人工智能不是人的智能，但能像人那样考虑、也可能超越人的智能。人工智能的开端一直绕不开艾伦·麦席森·图灵（Alan Mathison Turing，1912年6月23日－1954年6月7日）这个人，作为一个二战的英雄，一个巨大的数学家，密码学家，逻辑学家，他有着共同的想法，笼统的思想，传奇的阅历（他的个人阅历能够看2014年的电影《模拟游戏》，一个战争成功背后的英雄）。!模拟游戏模拟游戏模拟游戏2221950年，阿兰·麦席森·图灵提出关于机器思想的问题，他的论文“计算机和智能ComputingmachieryandintelligenceComputingmachiery and intelligenceComputingmachieryandintelligence，惹起了普遍的留意和深远的影响。1950年10月，图灵发表论文《机器能考虑吗》。这一划时期的作品，使图灵博得了“人工智能之父”的桂冠。也宣布了人工智能（AI）时期的到来。当然，事物的开展绝非偶尔，AI时期的到来肯定也有着历史的必然，十分古老的历史我们就不谈了，直接从图灵开端，我们以时间开展的轨迹来引见其中技术的演化，我在以后的文章中再细致引见其中一些关键的人物，让我们膜拜大神吧。一、1950-1970年代，人工智能的“推理时期”。赫本于1949年基于神经心理学的学习机制开启机器学习的第一步。尔后被称为Hebb学习规则。Hebb学习规则是一个无监视学习规则，这种学习的结果是使网络可以提取锻炼集的统计特性，从而把输入信息依照它们的类似性水平划分为若干类。这一点与人类察看和认识世界的过程十分吻合，人类察看和认识世界在相当水平上就是在依据事物的统计特征停止分类。从上面的公式能够看出，权值调整量与输入输出的乘积成正比，显然经常呈现的形式将对权向量有较大的影响。在这种状况下，Hebb学习规则需预先定置权饱和值，以避免输入和输出正负一直分歧时呈现权值无约束增长。Hebb学习规则与“条件反射”机理分歧，并且曾经得到了神经细胞学说的证明。比方巴甫洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物联络起来。以后假如响铃但是不给食物，狗也会流口水（当然这个实验也被以为是广告学、神经学的开端）。1950年，阿兰·图灵发明了图灵测试来断定计算机能否智能。图灵测试以为，假如一台机器可以与人类展开对话（经过电传设备）而不能被区分出其机器身份，那么称这台机用具有智能。这一简化使得图灵可以令人信服地阐明“考虑的机器”是可能的。2014年6月8日，一个叫做尤金·古斯特曼的聊天机器人胜利让人类置信它是一个13岁的男孩，成为有史以来首台经过图灵测试的计算机。这被以为是人工智能开展的一个里程碑事情。但是这比图灵本人预测的时间晚了整整14年。1956年夏季，以麦卡赛、明斯基、罗切斯特和申农等为首的一批有远见卓识的年轻科学家在一同聚会，共同研讨和讨论用机器模仿智能的一系列有关问题，并初次提出了“人工智能”这一术语，它标志着“人工智能”这门新兴学科的正式降生。1957年，罗森·布拉特基于神经感知科学背景提出了第二模型，十分的相似于今天的机器学习模型。这在当时是一个十分令人兴奋的发现，它比赫布的想法更适用。基于这个模型罗森·布拉特设计出了第一个计算机神经网络——感知机（the perceptron），它模仿了人脑的运作方式。罗森·布拉特对感知机的定义如下：感知机旨在阐明普通智能系统的一些根本属性，它不会由于个别惯例或通常不晓得的东西所约束住，也不会由于那些个别生物有机体的状况而堕入紊乱。The perceptron is designed to illustrate some of the fundamental properties of intelligent systems in general, without becoming too deeply enmeshed in the special, and frequently unknown, conditions which hold for particular biological organisms.3年后，维德罗初次运用Delta学习规则（即最小二乘法）用于感知器的锻炼步骤，发明了一个良好的线性分类器。1967年，最近邻算法（The nearest neighbor algorithm）呈现，使计算机能够停止简单的形式辨认。kNN算法的中心思想是假如一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。这就是所谓的“少数遵从多数”准绳。1969年马文·明斯基提出了著名的XOR问题,指出感知机在线性不可分的数据散布上是失效的。尔后神经网络的研讨者进入了寒冬，直到 1980 年才再一次复苏。从60年代中到70年代末，机器学习的开展步伐简直处于停滞状态。无论是理论研讨还是计算机硬件限制，使得整个人工智能范畴的开展都遇到了很大的瓶颈。固然这个时期温斯顿(Winston)的构造学习系统和海斯·罗思(Hayes Roth)等的基于逻辑的归结学习系统获得较大的停顿，但只能学习单一概念，而且未能投入实践应用。这一时期，普通以为只需机器被赋予逻辑推理才能就能够完成人工智能。不过尔后人们发现，只是具备了逻辑推理才能，机器还远远达不到智能化的程度。 60年代末，70年代初神经网络学习机因理论缺陷未能到达预期效果而转入低潮。这个时期的研讨目的是模仿人类的概念学习过程，并采用逻辑构造或图构造作为机器内部描绘。机器可以采用符号来描绘概念(符号概念获取)，并提出关于学习概念的各种假定。事实上，这个时期整个AI范畴都遭遇了瓶颈。当时的计算机有限的内存和处置速度缺乏以处理任何实践的AI问题。请求程序对这个世界具有儿童程度的认识，研讨者们很快发现这个请求太高了：1970年没人可以做出如此宏大的数据库，也没人晓得一个程序怎样才干学到如此丰厚的信息。能够说是计算才能的滞后招致了AI技术的停滞，这个阶段虽然学术思想曾经到达很高的程度，但是工业界的开展严重滞后，科学与技术是相辅相成的，任何一方开展滞后都会拖累另一方的开展。二、1970-1990年代，人工智能的”学问工程“时期。这一时期，人们以为要让机器变得有智能，就应该设法让机器学习学问，于是计算机系统得到了大量的开发。后来人们发现，把学问总结出来再灌输给计算机相当艰难。举个例子来说，想要开发一个疾病诊断的人工智能系统，首先要找好多有经历的医生总结出疾病的规律和学问，随后让机器停止学习，但是在学问总结的阶段曾经破费了大量的人工本钱，机器只不过是一台执行学问库的自动化工具而已，无法到达真正意义上的智能程度进而取代人力工作。伟博斯在1981年的神经网络反向传播(BP)算法中详细提出多层感知机模型（即著名的“人工神经网络”，ANN）。固然BP算法早在1970年就曾经以“自动微分的反向模型（reverse mode of automatic differentiation）”为名提出来了，但直到此时才真正发挥功效，并且直到今天BP算法依然是神经网络架构的关键要素。有了这些新思想，神经网络的研讨又加快了。在1985-1986年，神经网络研讨人员（鲁梅尔哈特，辛顿，威廉姆斯-赫，尼尔森）相继提出了运用BP算法锻炼的多参数线性规划（MLP）的理念，成为后来深度学习的基石。在另一个谱系中，昆兰于1986年提出了一种十分知名的机器学习算法，我们称之为“决策树”，更详细的说是ID3算法。这是另一个主流机器学习算法的打破点。此外ID3算法也被发布成为了一款软件，它能以简单的规划和明白的推论找到更多的理想案例，而这一点正好和神经网络黑箱模型相反。决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉途径则代表的某个可能的属性值，而每个叶结点则对应从根节点到该叶节点所阅历的途径所表示的对象的值。决策树仅有单一输出，若欲有复数输出，能够树立独立的决策树以处置不同输出。数据发掘中决策树是一种经常要用到的技术，能够用于剖析数据，同样也能够用来作预测。在ID3算法提出来以后，研讨社区曾经探究了许多不同的选择或改良（如ID4、回归树、CART算法等），这些算法依然活泼在机器学习范畴中。1990年, Schapire最先结构出一种多项式级的算法，这就是最初的Boosting算法。一年后 ,Freund提出了一种效率更高的Boosting算法。但是,这两种算法存在共同的理论上的缺陷，那就是都请求事前晓得弱学习算法学习正确的下限。1992年，支持向量机（SVM）的呈现是机器学习范畴的另一大重要打破，该算法具有十分强大的理论位置和实证结果。在90年代曾风行整个数据发掘、机器学习、形式辨认范畴，至今仍然很炽热。那一段时间机器学习研讨也分为NN和SVM两派。但是，在2000年左右提出了带核函数的支持向量机后。SVM在许多以前由NN占领的任务中取得了更好的效果。此外，SVM相关于NN还能应用一切关于凸优化、泛化边沿理论和核函数的深沉学问。因而SVM能够从不同的学科中鼎力推进理论和理论的改良（当然如今SVM仍然具有强大的生命力，深度学习算法无法处理问题时，SVM仍然是很好的工具）。神经网络与支持向量机不断处于“竞争”关系。SVM应用核函数的展开定理，无需晓得非线性映射的显式表达式；由于是在高维特征空间中树立线性学习机，所以与线性模型相比，不但简直不增加计算的复杂性，而且在某种水平上防止了“维数灾难”（大约意义就是在高维空间质量会无限迫近他的外表，这是多么恐惧的事情，你的皮肤破了一个口，会发现本人是空的）。而神经网络遭遭到又一个质疑，经过Hochreiter等人1991年和Hochreiter等人在2001年的研讨标明在应用BP算法学习时，NN神经元饱和后会呈现梯度损失（gradient loss）的状况。简单地说，早先的神经网络算法比拟容易过锻炼，大量的经历参数需求设置；锻炼速度比拟慢，在层次比拟少(小于等于3)的状况下效果并不比其它办法更优，因而这一时期NN与SVM相比处于优势。三、2000年至今，人工智能的”数据发掘“时期。随着各种机器学习算法的提出和应用，特别是深度学习技术的开展，人们希望机器可以经过大量数据剖析，从而自动学习出学问并完成智能化程度。这一时期，随着计算机硬件程度的提升，大数据剖析技术的开展，机器采集、存储、处置数据的程度有了大幅进步。特别是深度学习技术对学问的了解比之前浅层学习有了很大的进步，Alpha Go和中韩围棋高手过招大幅抢先就是目前人工智能的高程度代表之一。2001年，决策树模型由布雷曼博士提出，它是经过集成学习的思想将多棵树集成的一种算法，它的根本单元是决策树，而它的实质属于机器学习的一大分支——集成学习（Ensemble Learning）办法。随机森林的称号中有两个关键词，一个是“随机”，一个就是“森林”。“森林”我们很好了解，一棵叫做树，那么成百上千棵就能够叫做森林了，这样的比喻还是很贴切的，其实这也是随机森林的主要思想—集成思想的表现。其实从直观角度来解释，每棵决策树都是一个分类器（假定如今针对的是分类问题），那么关于一个输入样本，N棵树会有N个分类结果。而随机森林集成了一切的分类投票结果，将投票次数最多的类别指定为最终的输出，这就是一种最简单的 Bagging 思想。在机器学习开展分为两个局部，浅层学习（Shallow Learning）和深度学习（Deep Learning）。浅层学习来源上世纪20年代人工神经网络的反向传播算法的创造，使得基于统计的机器学习算法大行其道，固然这时分的人工神经网络算法也被称为多层感知机，但由于多层网络锻炼艰难，通常都是只要一层隐含层的浅层模型。神经网络研讨范畴领军者Hinton在2006年提出了神经网络Deep Learning算法（即深度学习），使神经网络的才能大大进步，向支持向量机（SVM）发出应战。 2006年，机器学习范畴的泰斗Hinton和他的学生Salakhutdinov在顶尖学术刊物《Scince》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。（随后，随着工业界GPU在大型计算机上的应用，深度学习迎来了迸发）这篇文章有两个主要的讯息：1）很多隐层的人工神经网络具有优良的特征学习才能，学习得到的特征对数据有更实质的刻划，从而有利于可视化或分类；2）深度神经网络在锻炼上的难度，能够经过“逐层初始化”（ layer-wise pre-training）来有效克制，在这篇文章中，逐层初始化是经过无监视学习完成的。当前统计学习范畴最抢手办法主要有deep learning和SVM（supportvector machine），它们是统计学习的代表办法。能够以为神经网络与支持向量机都源自于感知机。神经网络模型貌似可以完成愈加困难的任务，如目的辨认、语音辨认、自然言语处置等。但是，应该留意的是，这绝对不意味着其他机器学习办法的终结。虽然深度学习的胜利案例疾速增长，但是对这些模型的锻炼本钱是相当高的，调整外部参数也是很费事。同时，SVM的简单性促使其依然最为普遍运用的机器学习方式。如今深度学习曾经应用在各类学科之中，并且很多都获得了很好的效果。2016年3月，阿尔法围棋与围棋世界冠军、职业九段棋手李世石停止围棋人机大战，以4比1的总比分获胜；2016年末2017年初，该程序在中国棋类网站上以“巨匠”（Master）为注册帐号与中日韩数十位围棋高手停止快棋对决，连续60局无一败绩；2017年5月，在中国乌镇围棋峰会上，它与排名世界第一的世界围棋冠军柯洁对战，以3比0的总比分获胜。围棋界公认阿尔法围棋的棋力曾经超越人类职业围棋顶尖程度，在GoRatings网站发布的世界职业围棋排名中，其等级分曾超越排名人类第一的棋手柯洁。而李世石获得的那一场成功也被以为是人类的最后一场成功，该事情也被以为是人工智能开展的里程碑。