柚子快報(bào)激活碼778899分享：學(xué)習(xí) 人工智能發(fā)展簡(jiǎn)史

http://yzkb.51969.com/

下面列舉了一些人工智能發(fā)展歷史上的典型事件，當(dāng)然細(xì)節(jié)還有很多

1936年：阿蘭·圖靈（Alan Turing）1936年發(fā)表的《論可計(jì)算數(shù)及其在判定問(wèn)題中的應(yīng)用》。

1950年：克勞德·香農(nóng)（Claude Shannon）在?1950?年提出計(jì)算機(jī)博弈，香農(nóng)是世界上首批提出“計(jì)算機(jī)能夠和人類進(jìn)行國(guó)際象棋對(duì)弈”的科學(xué)家之一。

1954?年：艾倫·麥席森·圖靈（Alan?Mathison?Turing）在?1954?年提出“圖靈測(cè)試”。

1956年：1956年達(dá)特茅斯學(xué)院召開(kāi)了一個(gè)研討會(huì)，John McCarthy, Marvin Minsky, Nathaniel Rochester,?以及Claude Shannon等人正式提出“人工智能”這一概念。

1957年：1957年，Rosenblatt Frank提出感知機(jī)算法Perceptron，這不僅開(kāi)啟了機(jī)器學(xué)習(xí)的浪潮，也成為后來(lái)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)（當(dāng)然追溯的話，神經(jīng)網(wǎng)絡(luò)研究得追溯到1943年神經(jīng)生理學(xué)家麥卡洛克（W. S. McCulloch）和皮茨（W. Pitts）的神經(jīng)元模型）。

1962年：羅森布拉特（Rosenblatt Frank）1962年出了本書(shū)：《神經(jīng)動(dòng)力學(xué)原理：感知機(jī)和大腦機(jī)制的理論》（Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms），基于MCP神經(jīng)元提出了第一個(gè)感知器學(xué)習(xí)算法，同時(shí)它還提出了一個(gè)自學(xué)習(xí)算法，此算法可以通過(guò)對(duì)輸入信號(hào)和輸出信號(hào)的學(xué)習(xí)，自動(dòng)獲取到權(quán)重系數(shù)，通過(guò)輸入信號(hào)與權(quán)重系數(shù)的乘積來(lái)判斷神經(jīng)元是否被激活（產(chǎn)生輸出信號(hào)）。

1961年：1961年，Leonard Merrick Uhr?和?Charles M Vossler發(fā)表了題目為A?Pattern Recognition Program That Generates, Evaluates and Adjusts its Own Operators?的模式識(shí)別論文，該文章描述了一種利用機(jī)器學(xué)習(xí)或自組織過(guò)程設(shè)計(jì)模式識(shí)別程序的嘗試。（模式識(shí)別開(kāi)端）

1964年:丹尼爾·博布羅（Daniel Bobrow）在1964年發(fā)表了Natural Language Input for a Computer Problem Solving System。（初步萌芽了自然語(yǔ)言處理和人機(jī)對(duì)話技術(shù)）

1966年:約瑟夫·維森鮑姆（Joseph Weizenbaum）在1966年發(fā)表了ELIZA—A Computer Program for the Study of Natural Language Communication between Man and Machine。（人機(jī)對(duì)話開(kāi)端）

1968年:1968年，在美國(guó)國(guó)家航空航天局要求下，愛(ài)德華·費(fèi)根鮑姆（Edward Feigenbaum）提出首個(gè)專家系統(tǒng)DENDRAL，并對(duì)知識(shí)庫(kù)給出了初步的定義，這也孕育了后來(lái)的第二次人工智能浪潮。（專家系統(tǒng)開(kāi)端）

1975年:1975年，馬文·明斯基(Marvin Minsky)在論文《知識(shí)表示的框架》(A Framework for Representing Knowledge)中提出框架理論，用于人工智能中的“知識(shí)表示”。（類似知識(shí)圖譜）

1976年:1976年，Douglas Lenat（道格拉斯·布魯斯·勒納特）從斯坦福大學(xué)獲得博士學(xué)位，并發(fā)表論文《數(shù)學(xué)中發(fā)現(xiàn)的人工智能方法——啟發(fā)式搜索》。

1976年:1976年，Randall Davis在斯坦福大學(xué)獲得人工智能博士學(xué)位，并發(fā)表文章?Applications of Meta Level Knowledge to the Construction, Maintenance and Use of Large Knowledge Bases，此文提出：使用集成的面向?qū)ο竽Ｐ褪翘岣咧R(shí)庫(kù)（KB）開(kāi)發(fā)、維護(hù)和使用的完整性的解決方案。

1974年左右：視覺(jué)計(jì)算理論（computational theory of vision）是在20世紀(jì)70年代由馬爾（David Marr）提出的概念，他在1982發(fā)表代表作《視覺(jué)計(jì)算理論》。他的工作同時(shí)對(duì)認(rèn)知科學(xué)（CognitiveScience）也產(chǎn)生了很深遠(yuǎn)的影響。（計(jì)算機(jī)視覺(jué)開(kāi)端）

1985年:1985年由Judea Pearl首先提出貝葉斯網(wǎng)絡(luò)(Bayesian network)，又稱信念網(wǎng)絡(luò)(Belief Network)，或有向無(wú)環(huán)圖模型(directed acyclic graphical model)，是一種概率圖模型。

1986年:1986年，Brooks發(fā)表論文《移動(dòng)機(jī)器人魯棒分層控制系統(tǒng)》，標(biāo)志著基于行為的機(jī)器人學(xué)的創(chuàng)立。

1995年:1995年，Cortes和Vapnik首次提出支持向量機(jī)(Support Vector Machine)的概念，它在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中。

1997年:1997年5月11日，舉世矚目的人與計(jì)算機(jī)大戰(zhàn)在經(jīng)過(guò)6場(chǎng)拼殺后終見(jiàn)伯仲。但事實(shí)勝于雄辯，IBM"深藍(lán)"(Deep Blue)最終以3.5：2.5戰(zhàn)勝了國(guó)際象棋大師卡斯帕羅夫(Kasparov)，并成為紐約國(guó)際象棋人機(jī)賽110萬(wàn)美元獎(jiǎng)金的最終贏家

2001年:John Lafferty于2001年首次提出條件隨機(jī)場(chǎng)模型，它是基于貝葉斯理論框架的判別式概率圖模型，當(dāng)時(shí)用于文本的分割和標(biāo)注，同時(shí)在許多自然語(yǔ)言處理任務(wù)中比如分詞、命名實(shí)體識(shí)別等表現(xiàn)尤為出色。

2006年：2006杰弗里·辛頓（Geoffrey Hinton）等人提出的深度學(xué)習(xí)，或者說(shuō)Hinton等人吹響了這次浪潮的號(hào)角。

2009年：2009年1月17日，Google的自動(dòng)駕駛項(xiàng)目Project Chauffeur正式啟動(dòng)。

2011?年：IBM?的沃森（Watson）于?2011?年在《危險(xiǎn)邊緣》（Jeopardy）中戰(zhàn)勝人類、獲得冠軍。

蘋(píng)果在?2011?年推出了自然語(yǔ)言問(wèn)答工具?Siri?等。

2012年：谷歌知識(shí)圖譜（英語(yǔ)：Google Knowledge Graph，也稱Google知識(shí)圖）是Google的一個(gè)知識(shí)庫(kù)，其使用語(yǔ)義檢索從多種來(lái)源收集信息，以提高Google搜索的質(zhì)量。知識(shí)圖譜2012年加入Google搜索，2012年5月16日正式發(fā)布。

2012年：AlexNet是一種卷積神經(jīng)網(wǎng)絡(luò)(CNN)，由亞歷克斯·克里澤夫斯基（Alex Krizhevsky）設(shè)計(jì),與伊爾亞?蘇茨克維（Ilya Sutskever）和克里澤夫斯基的博士導(dǎo)師杰弗里·辛頓（Geoff Hinton）共同發(fā)表.?

2013年：VAE，也可以叫做變分自編碼器，屬于自動(dòng)編碼器的變體。VAE于2013年，由Durk Kingma和Max Welling在ICLR上以文章《Auto-Encoding Variational Bayes》發(fā)表。

2014年：生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，簡(jiǎn)稱GAN）是非監(jiān)督式學(xué)習(xí)的一種方法，通過(guò)讓兩個(gè)神經(jīng)網(wǎng)絡(luò)相互博弈的方式進(jìn)行學(xué)習(xí)。該方法由伊恩·古德費(fèi)洛等人于2014年提出。

2014年，針對(duì)神經(jīng)網(wǎng)絡(luò)容易過(guò)擬合的問(wèn)題，Srivastava和Hinton等人完整的對(duì)dropout進(jìn)行了描述，并證明了比當(dāng)時(shí)使用的其他正則化方法有了重大改進(jìn)。實(shí)證結(jié)果也顯示dropout在許多基準(zhǔn)數(shù)據(jù)集上獲得了優(yōu)秀的結(jié)果。

2014年，F(xiàn)acebook基于深度學(xué)習(xí)技術(shù)的DeepFace項(xiàng)目，在人臉識(shí)別方面的準(zhǔn)確率已經(jīng)能達(dá)到97%以上，跟人類識(shí)別的準(zhǔn)確率幾乎沒(méi)有差別。

2015年：殘差網(wǎng)絡(luò)（ResNet）是由來(lái)自Microsoft Research的4位學(xué)者，分別是Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun提出的卷積神經(jīng)網(wǎng)絡(luò)。

2015年：自2015年11月9日起，TensorFlow依據(jù)阿帕奇授權(quán)協(xié)議（Apache 2.0 open source license）開(kāi)放源代碼。

2016年：2016年谷歌旗下DeepMind公司推出的阿爾法圍棋（AlphaGo）戰(zhàn)勝圍棋世界冠軍李世石等。

聯(lián)邦學(xué)習(xí)（又稱協(xié)作學(xué)習(xí)）是一種機(jī)器學(xué)習(xí)技術(shù)，?2016?年由谷歌最先提出，它在多個(gè)持有本地?cái)?shù)據(jù)樣本的分散式邊緣設(shè)備或服務(wù)器上訓(xùn)練算法，而不交換其數(shù)據(jù)樣本。

2017年：谷歌提出Transformer模型

2018年：openai提出GPT-1，谷歌提出BERT

2019年：OpenAI：GPT-2，谷歌T5，微軟：DialoGPT

2020年：OpenAI：GPT-3,谷歌的Switch Transformer

2022年：2022年11月：ChatGPT

2023年：Open AI官網(wǎng)發(fā)布GPT-4，支持圖像和文本輸入。谷歌的Bard

2024年：AI+PC，大模型+ALL

第一章：起步期-20世紀(jì)50年代及以前

人工智能的起源可以追溯到以及阿蘭·圖靈（Alan Turing）1936年發(fā)表的《論可計(jì)算數(shù)及其在判定問(wèn)題中的應(yīng)用》。后來(lái)隨著克勞德·香農(nóng)（Claude Shannon）在?1950?年提出計(jì)算機(jī)博弈。以及艾倫·麥席森·圖靈（Alan?Mathison?Turing）在?1954?年提出“圖靈測(cè)試”，讓機(jī)器產(chǎn)生智能這一想法開(kāi)始進(jìn)入人們的視野。

?

1956年達(dá)特茅斯學(xué)院召開(kāi)了一個(gè)研討會(huì)，John McCarthy, Marvin Minsky, Nathaniel Rochester,?以及Claude Shannon等人正式提出“人工智能”這一概念。算法方面，1957年，Rosenblatt Frank提出感知機(jī)算法Perceptron，這不僅開(kāi)啟了機(jī)器學(xué)習(xí)的浪潮，也成為后來(lái)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)（當(dāng)然追溯的話，神經(jīng)網(wǎng)絡(luò)研究得追溯到1943年神經(jīng)生理學(xué)家麥卡洛克（W. S. McCulloch）和皮茨（W. Pitts）的神經(jīng)元模型）。

1.1?計(jì)算機(jī)象棋博弈（Programming a computer for playing chess）

克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon，1916年4月30日—2001年2月24日）是美國(guó)數(shù)學(xué)家、信息論的創(chuàng)始人。

?

香農(nóng)是世界上首批提出“計(jì)算機(jī)能夠和人類進(jìn)行國(guó)際象棋對(duì)弈”的科學(xué)家之一。1950年，他為《科學(xué)美國(guó)人》撰寫(xiě)過(guò)一篇文章，闡述了“實(shí)現(xiàn)人機(jī)博弈的方法”；他設(shè)計(jì)的國(guó)際象棋程序，發(fā)表在同年《哲學(xué)雜志》上（計(jì)算機(jī)下棋程序?Programming a Computer for Playing Chess）。

?

香農(nóng)把棋盤(pán)定義為二維數(shù)組，每個(gè)棋子都有一個(gè)對(duì)應(yīng)的子程序計(jì)算棋子所有可能的走法，最后有個(gè)評(píng)估函數(shù)（evaluation function）。傳統(tǒng)的棋局都把下棋過(guò)程分為三個(gè)階段，開(kāi)局、中局和殘局，不同階段需要不同的技術(shù)手段。而此論文也引用了馮·諾依曼的《博弈論》和維納的《控制論》。

?

這篇論文開(kāi)啟了計(jì)算機(jī)下棋的理論研究，其主要思路在多年后的“深藍(lán)”及AlphaGo中仍能看到。1956年，在洛斯阿拉莫斯的MANIAC計(jì)算機(jī)上，他又展示了國(guó)際象棋的下棋程序。

1.2?圖靈測(cè)試（Turing Test）

艾倫·麥席森·圖靈（英語(yǔ)：Alan Mathison Turing，1912年6月23日—1954年6月7日），英國(guó)數(shù)學(xué)家、邏輯學(xué)家，被稱為計(jì)算機(jī)科學(xué)之父，人工智能之父。

?

1954年，圖靈測(cè)試（The Turing test）由圖靈發(fā)明，指測(cè)試者與被測(cè)試者（一個(gè)人和一臺(tái)機(jī)器）隔開(kāi)的情況下，通過(guò)一些裝置（如鍵盤(pán)）向被測(cè)試者隨意提問(wèn)。進(jìn)行多次測(cè)試后，如果機(jī)器讓平均每個(gè)參與者做出超過(guò)30%的誤判，那么這臺(tái)機(jī)器就通過(guò)了測(cè)試，并被認(rèn)為具有人類智能。圖靈測(cè)試一詞來(lái)源于計(jì)算機(jī)科學(xué)和密碼學(xué)的先驅(qū)艾倫·麥席森·圖靈寫(xiě)于1950年的一篇論文《計(jì)算機(jī)器與智能》，其中30%是圖靈對(duì)2000年時(shí)的機(jī)器思考能力的一個(gè)預(yù)測(cè)，目前我們已遠(yuǎn)遠(yuǎn)落后于這個(gè)預(yù)測(cè)。

?

他實(shí)際提出了一種測(cè)試機(jī)器是不是具備人類智能的方法。即假設(shè)有一臺(tái)電腦，其運(yùn)算速度非常快、記憶容量和邏輯單元的數(shù)目也超過(guò)了人腦，而且還為這臺(tái)電腦編寫(xiě)了許多智能化的程序，并提供了合適種類的大量數(shù)據(jù)，那么，是否就能說(shuō)這臺(tái)機(jī)器具有思維能力？

?

圖靈肯定機(jī)器可以思維的，他還對(duì)智能問(wèn)題從行為主義的角度給出了定義，由此提出一假想：即一個(gè)人在不接觸對(duì)方的情況下，通過(guò)一種特殊的方式，和對(duì)方進(jìn)行一系列的問(wèn)答，如果在相當(dāng)長(zhǎng)時(shí)間內(nèi)，他無(wú)法根據(jù)這些問(wèn)題判斷對(duì)方是人還是計(jì)算機(jī)，那么，就可以認(rèn)為這個(gè)計(jì)算機(jī)具有同人相當(dāng)?shù)闹橇?，即這臺(tái)計(jì)算機(jī)是能思維的。這就是著名的“圖靈測(cè)試”（Turing Testing）。當(dāng)時(shí)全世界只有幾臺(tái)電腦，其他幾乎所有計(jì)算機(jī)根本無(wú)法通過(guò)這一測(cè)試。

?

要分辨一個(gè)想法是“自創(chuàng)”的思想還是精心設(shè)計(jì)的“模仿”是非常難的，任何自創(chuàng)思想的證據(jù)都可以被否決。圖靈試圖解決長(zhǎng)久以來(lái)關(guān)于如何定義思考的哲學(xué)爭(zhēng)論，他提出一個(gè)雖然主觀但可操作的標(biāo)準(zhǔn)：如果一臺(tái)電腦表現(xiàn)（act）、反應(yīng)（react）和互相作用（interact）都和有意識(shí)的個(gè)體一樣，那么它就應(yīng)該被認(rèn)為是有意識(shí)的。

?

為消除人類心中的偏見(jiàn)，圖靈設(shè)計(jì)了一種“模仿游戲”即圖靈測(cè)試：遠(yuǎn)處的人類測(cè)試者在一段規(guī)定的時(shí)間內(nèi)，根據(jù)兩個(gè)實(shí)體對(duì)他提出的各種問(wèn)題的反應(yīng)來(lái)判斷是人類還是電腦。通過(guò)一系列這樣的測(cè)試，從電腦被誤判斷為人的幾率就可以測(cè)出電腦智能的成功程度。

?

圖靈預(yù)言，在20世紀(jì)末，一定會(huì)有電腦通過(guò)“圖靈測(cè)試”。2014年6月7日在英國(guó)皇家學(xué)會(huì)舉行的“2014圖靈測(cè)試”大會(huì)上，舉辦方英國(guó)雷丁大學(xué)發(fā)布新聞稿，宣稱俄羅斯人弗拉基米爾·維西羅夫（Vladimir Veselov）創(chuàng)立的人工智能軟件尤金·古斯特曼（Eugene Goostman）通過(guò)了圖靈測(cè)試。雖然“尤金”軟件還遠(yuǎn)不能“思考”，但也是人工智能乃至于計(jì)算機(jī)史上的一個(gè)標(biāo)志性事件。

?

1.3達(dá)特茅斯學(xué)院人工智能夏季研討會(huì)（Dartmouth Summer Research Conference on Artificial Intelligence）

1956年夏季，年輕的明斯基與數(shù)學(xué)家和計(jì)算機(jī)專家麥卡錫（John MeCarthy，1927—2011）等10人在達(dá)特茅斯學(xué)院（Dartmouth College辦了一個(gè)長(zhǎng)達(dá)2個(gè)月的人工智能夏季研討會(huì)，認(rèn)真熱烈地討論用機(jī)器模擬人類智能的問(wèn)題。會(huì)上正式使用了人工智能（artificial intelligence，即?AI）這一術(shù)語(yǔ)。

?

這是人類歷史上第一次人工智能研討，標(biāo)志著人工智能學(xué)科的誕生，具有十分重要的歷史意義，為國(guó)際人工智能的發(fā)展做出重要的開(kāi)創(chuàng)性貢獻(xiàn)。會(huì)議持續(xù)了一個(gè)月，基本上以大范圍的集思廣益為主。這催生了后來(lái)人所共知的人工智能革命。1956年也因此成為了人工智能元年。會(huì)議的主要議題包括自動(dòng)計(jì)算機(jī)、如何為計(jì)算機(jī)編程使其能夠使用語(yǔ)言、神經(jīng)網(wǎng)絡(luò)、計(jì)算規(guī)模理論、自我改造、抽象、隨機(jī)性與創(chuàng)造性等。

1.4感知機(jī)（Perceptrons）

1957年,弗蘭克·羅森布拉特（Frank Rosenblatt）在一臺(tái)IBM-704計(jì)算機(jī)上模擬實(shí)現(xiàn)了一種他發(fā)明的叫做“感知機(jī)”（Perceptron）的神經(jīng)網(wǎng)絡(luò)模型。羅森布拉特1962年出了本書(shū)：《神經(jīng)動(dòng)力學(xué)原理：感知機(jī)和大腦機(jī)制的理論》（Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms），基于MCP神經(jīng)元提出了第一個(gè)感知器學(xué)習(xí)算法，同時(shí)它還提出了一個(gè)自學(xué)習(xí)算法，此算法可以通過(guò)對(duì)輸入信號(hào)和輸出信號(hào)的學(xué)習(xí)，自動(dòng)獲取到權(quán)重系數(shù)，通過(guò)輸入信號(hào)與權(quán)重系數(shù)的乘積來(lái)判斷神經(jīng)元是否被激活（產(chǎn)生輸出信號(hào)）。

?

感知機(jī)需要幾個(gè)二進(jìn)制輸入，?X1，X2，…Xn X1，X2，…Xn?，并產(chǎn)生一個(gè)二進(jìn)制輸出：

?

?

?

?

上圖所示的?Perceptron Perceptron?有三個(gè)輸入，但是實(shí)際的輸入可能遠(yuǎn)多于三個(gè)或是少與三個(gè)。?Rosenblatt Rosenblatt?提出了一個(gè)簡(jiǎn)單的規(guī)則來(lái)計(jì)算輸出，他首先引入了?weights weights（權(quán)重）概念，?ω1，ω2,... ω1，ω2,...。以實(shí)數(shù)權(quán)重?ω ω表示輸入到輸出的重要性，神經(jīng)元的輸出?0?或?1?，這取決于加權(quán)因子（即?weights weights）小于或大于某一閾值。就像權(quán)重，閾值為一個(gè)實(shí)數(shù)，是一個(gè)神經(jīng)元的參數(shù)。

?

公式表示為：

?

?

?

這就是我們熟知的激活函數(shù)的最初形態(tài)，?0 0?狀態(tài)代表抑制，?1 1?狀態(tài)代表激活。這簡(jiǎn)單的數(shù)學(xué)公式幫助我們了解?perceptrons perceptrons?是如何工作的。姑且我們把它理解為：?它是一種通過(guò)權(quán)衡輸入信息的重要性來(lái)決定你的輸出。

?

第二章：第一次浪潮期-20?世紀(jì)?60?年代

?

到了?20?世紀(jì)?60?年代，人工智能出現(xiàn)了第一次高潮，發(fā)展出了符號(hào)邏輯，解決了若干通用問(wèn)題，初步萌芽了自然語(yǔ)言處理和人機(jī)對(duì)話技術(shù)。其中的代表性事件是丹尼爾·博布羅（Daniel Bobrow）在1964年發(fā)表了Natural Language Input for a Computer Problem Solving System，以及約瑟夫·維森鮑姆（Joseph Weizenbaum）在1966年發(fā)表了ELIZA—A Computer Program for the Study of Natural Language Communication between Man and Machine。

?

早期的人工智能更多的側(cè)重描述邏輯和通用問(wèn)題求解上，到了60年代末，愛(ài)德華·費(fèi)根鮑姆（Edward Feigenbaum）提出首個(gè)專家系統(tǒng)DENDRAL，并對(duì)知識(shí)庫(kù)給出了初步的定義，這也孕育了后來(lái)的第二次人工智能浪潮。當(dāng)然這個(gè)時(shí)期更重要的情況是大家對(duì)人工智能的熱情逐漸褪去，人工智能的發(fā)展也進(jìn)入了一輪跨度將近十年的“寒冬”。

2.1?模式識(shí)別?（Pattern Recognition）

1961年，Leonard Merrick Uhr?和?Charles M Vossler發(fā)表了題目為A?Pattern Recognition Program That Generates, Evaluates and Adjusts its Own Operators?的模式識(shí)別論文，該文章描述了一種利用機(jī)器學(xué)習(xí)或自組織過(guò)程設(shè)計(jì)模式識(shí)別程序的嘗試。程序啟動(dòng)時(shí)不僅不知道要輸入的特定模式，而且沒(méi)有任何處理輸入的運(yùn)算符。算符是由程序本身生成和提煉的，它是問(wèn)題空間的函數(shù)，也是處理問(wèn)題空間的成功和失敗的函數(shù)。程序不僅學(xué)習(xí)有關(guān)不同模式的信息，而且至少在一定程度上，它還學(xué)習(xí)或構(gòu)造適合于分析輸入到它特定模式集的二級(jí)代碼。這也是第一個(gè)機(jī)器學(xué)習(xí)程序。

?

?

2.2人機(jī)對(duì)話（Human computer coversation）

1966?年，麻省理工學(xué)院的計(jì)算機(jī)科學(xué)家Joseph Weizenbaum?在?ACM?上發(fā)表了題為《?ELIZA，一個(gè)研究人機(jī)自然語(yǔ)言交流的計(jì)算機(jī)程序》（ELIZA-a computer program for the study of natural language communication between man and machine）的文章。文章描述了這個(gè)叫作?ELIZA?的程序如何使人與計(jì)算機(jī)在一定程度上進(jìn)行自然語(yǔ)言對(duì)話成為可能。Weizenbaum?開(kāi)發(fā)了最早的聊天機(jī)器人?ELIZA，用于在臨床治療中模仿心理醫(yī)生。

?

ELIZA?的實(shí)現(xiàn)技術(shù)是通過(guò)關(guān)鍵詞匹配規(guī)則對(duì)輸入進(jìn)行分解，而后根據(jù)分解規(guī)則所對(duì)應(yīng)的重組規(guī)則來(lái)生成回復(fù)。簡(jiǎn)而言之，就是將輸入語(yǔ)句類型化，再翻譯成合適的輸出。雖然?ELIZA?很簡(jiǎn)單，但?Weizenbaum?本人對(duì)?ELIZA?的表現(xiàn)感到吃驚，隨后撰寫(xiě)了《計(jì)算機(jī)的能力和人類的推理》（Computer Power and Human Reason）這本書(shū)，表達(dá)他對(duì)人工智能的特殊情感。ELIZA?如此出名，以至于?Siri?也說(shuō)?ELIZA?是一位心理醫(yī)生，是她的啟蒙老師。

2.3專家系統(tǒng)DENTRAL（Expert Systems）

1968年，在美國(guó)國(guó)家航空航天局要求下，愛(ài)德華·費(fèi)根鮑姆（Edward Feigenbaum）提出首個(gè)專家系統(tǒng)DENDRAL，并對(duì)知識(shí)庫(kù)給出了初步的定義，這也孕育了后來(lái)的第二次人工智能浪潮。當(dāng)然這個(gè)時(shí)期更重要的情況是大家對(duì)人工智能的熱情逐漸褪去，人工智能的發(fā)展也進(jìn)入了一輪跨度將近十年的“寒冬”。該系統(tǒng)具有非常豐富的化學(xué)知識(shí)，可根據(jù)質(zhì)譜數(shù)據(jù)幫助化學(xué)家推斷分子結(jié)構(gòu)。這個(gè)系統(tǒng)的完成標(biāo)志著專家系統(tǒng)的誕生。在此之后,?麻省理工學(xué)院開(kāi)始研制MACSYMA系統(tǒng)，經(jīng)過(guò)不斷擴(kuò)充,?它能求解600多種數(shù)學(xué)問(wèn)題。

?

現(xiàn)在，專家系統(tǒng)(Expert System,簡(jiǎn)稱ES)是人工智能(Artificial Intelligence,簡(jiǎn)稱AI)的一個(gè)重要分支,同自然語(yǔ)言理解,機(jī)器人學(xué)并列為AI的三大研究方向。

?

第三章：第二次浪潮期-20世紀(jì)70年代末、80年代

20世紀(jì)70年代末、80年代初，人工智能進(jìn)入了第二次浪潮，其中代表性的工作是1976年蘭德?tīng)枴ご骶S斯（Randall Davis）構(gòu)建和維護(hù)的大規(guī)模的知識(shí)庫(kù)，1980年德魯·麥狄蒙（Drew McDermott）和喬恩·多伊爾（Jon Doyle）提出的非單調(diào)邏輯，以及后期出現(xiàn)的機(jī)器人系統(tǒng)。

?

1980年，漢斯·貝利納（Hans Berliner）打造的計(jì)算機(jī)戰(zhàn)勝雙陸棋世界冠軍成為標(biāo)志性事件。隨后，基于行為的機(jī)器人學(xué)在羅德尼·布魯克斯（Rodney Brooks）和薩頓（R. Sutton）等人的推動(dòng)下快速發(fā)展，成為人工智能一個(gè)重要的發(fā)展分支。這其中格瑞·特索羅（Gerry Tesauro）等人打造的自我學(xué)習(xí)雙陸棋程序又為后來(lái)的增強(qiáng)學(xué)習(xí)的發(fā)展奠定了基礎(chǔ)。

?

機(jī)器學(xué)習(xí)算法方面，這個(gè)時(shí)期可謂是百花齊放，百家爭(zhēng)鳴。Geoffrey Hinton等人提出的多層感知機(jī)，解決了Perceptron存在的不能做非線性分類的問(wèn)題；Judea Pearl倡導(dǎo)的概率方法和貝葉斯網(wǎng)絡(luò)為后來(lái)的因果推斷奠定基礎(chǔ)；以及機(jī)器學(xué)習(xí)方法在機(jī)器視覺(jué)等方向取得快速發(fā)展。

3.1知識(shí)表示（Knowledge Representation）

1975年，馬文·明斯基(Marvin Minsky)在論文《知識(shí)表示的框架》(A Framework for Representing Knowledge)中提出框架理論，用于人工智能中的“知識(shí)表示”。

?

明斯基框架不是一種單純的理論。除了數(shù)據(jù)結(jié)構(gòu)上有單純的一面外，在概念上是相當(dāng)復(fù)雜的。針對(duì)的是人們?cè)诶斫馐挛锴榫盎蚰骋皇录r(shí)的心理學(xué)模型。它將框架看作是知識(shí)的基本單位，將一組有關(guān)的框架連接起來(lái)整合成框架系統(tǒng)。系統(tǒng)中不同框架可用有共同節(jié)點(diǎn)，系統(tǒng)的行為由系統(tǒng)的子框架的具體功能來(lái)實(shí)現(xiàn)。推理過(guò)程由子框架的協(xié)調(diào)來(lái)完成?？蚣芾碚擃愃朴谌斯ぶ悄苤械拿嫦?qū)ο蠡绦蛟O(shè)計(jì)。它的成功之處是它利用框架這種結(jié)構(gòu)將知識(shí)有機(jī)的整合起來(lái)，使其有一種特定的結(jié)構(gòu)約束。同時(shí)保持了結(jié)構(gòu)的相對(duì)獨(dú)立性、封閉性。

?

明斯基的框架理論體現(xiàn)出來(lái)的模塊化思想和基于事例的認(rèn)知推理為其理論增添了永恒的魅力，這也是認(rèn)知哲學(xué)家關(guān)注它的一個(gè)重要原因。作為認(rèn)知可計(jì)算主義核心代表的明斯基將心智與計(jì)算機(jī)類比，把認(rèn)知過(guò)程理解為信息加工過(guò)程，把一切智能系統(tǒng)理解為物理符號(hào)系統(tǒng)。雖然這樣做使人們能從環(huán)境到心智，又從心智到到環(huán)境的信息流中來(lái)分析問(wèn)題，使心智問(wèn)題研究具有實(shí)驗(yàn)上的嚴(yán)格性。但是機(jī)械性的缺陷也非常明顯。

?

同時(shí)，框架跟軟件工程領(lǐng)域面向?qū)ο笳Z(yǔ)言中的“類”相似，只是兩者的基本設(shè)計(jì)目標(biāo)不同。

3.2啟發(fā)式搜索（Heristic Search）

Douglas Lenat（道格拉斯·布魯斯·勒納特）（生于1950年）是德克薩斯州奧斯汀市Cycorp公司的首席執(zhí)行官，一直是人工智能領(lǐng)域的杰出研究者。他從事過(guò)機(jī)器學(xué)習(xí)（與他的AM和Eurisko程序）、知識(shí)表示、黑板系統(tǒng)和“本體工程”（在MCC和Cycorp的Cyc程序）。他還從事軍事模擬，并發(fā)表了一篇對(duì)傳統(tǒng)隨機(jī)突變達(dá)爾文學(xué)說(shuō)的批判，這是基于他對(duì)尤里斯科的經(jīng)驗(yàn)。列納特是AAAI的最初成員之一。

?

在賓夕法尼亞大學(xué)，勒納特獲得數(shù)學(xué)和物理學(xué)士學(xué)位，并于1972年獲得應(yīng)用數(shù)學(xué)碩士學(xué)位。1976年，他從斯坦福大學(xué)獲得博士學(xué)位，并發(fā)表論文《數(shù)學(xué)中發(fā)現(xiàn)的人工智能方法——啟發(fā)式搜索》。

?

該文章描述了一個(gè)名為“AM”的程序，它模擬了初等數(shù)學(xué)研究的一個(gè)方面：在大量啟發(fā)式規(guī)則的指導(dǎo)下開(kāi)發(fā)新概念數(shù)學(xué)被認(rèn)為是一種智能行為，而不是一種成品。本地啟發(fā)式通過(guò)一個(gè)議程機(jī)制、系統(tǒng)要執(zhí)行的任務(wù)的全局列表以及每個(gè)任務(wù)合理的原因進(jìn)行通信。一個(gè)單獨(dú)的任務(wù)可以指導(dǎo)AM定義一個(gè)新的概念，或者探索一個(gè)現(xiàn)有概念的某個(gè)方面，或者檢查一些經(jīng)驗(yàn)數(shù)據(jù)的規(guī)律性等。程序從議程中反復(fù)選擇具有最佳支持理由的任務(wù)，然后執(zhí)行它。每個(gè)概念都是一個(gè)活躍的、結(jié)構(gòu)化的知識(shí)模塊。最初提供了一百個(gè)非常不完整的模，每個(gè)模對(duì)應(yīng)于一個(gè)基本的集合論概念（如并集）。這提供了一個(gè)明確但巨大的“空間”，AM開(kāi)始探索。AM擴(kuò)展了它的知識(shí)庫(kù)，最終重新發(fā)現(xiàn)了數(shù)百個(gè)常見(jiàn)的概念和定理。

3.3大規(guī)模知識(shí)庫(kù)構(gòu)建與維護(hù)（Large Scale Knowledge-Base Construction）（已修改）

1976年，Randall Davis在斯坦福大學(xué)獲得人工智能博士學(xué)位，并發(fā)表文章?Applications of Meta Level Knowledge to the Construction, Maintenance and Use of Large Knowledge Bases，此文提出：使用集成的面向?qū)ο竽Ｐ褪翘岣咧R(shí)庫(kù)（KB）開(kāi)發(fā)、維護(hù)和使用的完整性的解決方案。共享對(duì)象增加了模型之間的跟蹤能力，增強(qiáng)了半自動(dòng)開(kāi)發(fā)和維護(hù)功能。而抽象模型是在知識(shí)庫(kù)構(gòu)造過(guò)程中創(chuàng)建的，推理則是在模型初始化過(guò)程中執(zhí)行的。

?

Randall Davis在基于知識(shí)的系統(tǒng)和人機(jī)交互領(lǐng)域做出了開(kāi)創(chuàng)性的貢獻(xiàn)，發(fā)表了大約100多篇文章，并在多個(gè)系統(tǒng)的開(kāi)發(fā)中發(fā)揮了核心作用。他和他的研究小組通過(guò)創(chuàng)建能夠理解用戶圖像、手勢(shì)和交談的軟件，開(kāi)發(fā)先進(jìn)的工具，并與計(jì)算機(jī)進(jìn)行自然的多模式交互。

?

3.4計(jì)算機(jī)視覺(jué)（Computer Vision）

視覺(jué)計(jì)算理論（computational theory of vision）是在20世紀(jì)70年代由馬爾（David Marr）提出的概念，他在1982發(fā)表代表作《視覺(jué)計(jì)算理論》。他的工作同時(shí)對(duì)認(rèn)知科學(xué)（CognitiveScience）也產(chǎn)生了很深遠(yuǎn)的影響。

?

David Marr生于1945年1月19日，早年就讀于劍橋大學(xué)三一學(xué)院，獲得數(shù)學(xué)碩士、神經(jīng)生理學(xué)博士學(xué)位，同時(shí)還受過(guò)神經(jīng)解剖學(xué)、心理學(xué)、生物化學(xué)等方面的嚴(yán)格訓(xùn)練。他在英國(guó)曾從事新皮層、海馬，特別是小腦方面的理論研究。

1974年訪問(wèn)美國(guó)，并應(yīng)M.Minsky教授之請(qǐng)，留在麻省理工學(xué)院開(kāi)展知覺(jué)和記憶方面的研究工作。他從計(jì)算機(jī)科學(xué)的觀點(diǎn)出發(fā)，集數(shù)學(xué)、心理物理學(xué)、神經(jīng)生理學(xué)于一體，首創(chuàng)人的視覺(jué)計(jì)算理論，使視覺(jué)研究的面貌為之一新。

?

他的理論由他創(chuàng)建的一個(gè)以博士研究生為主體的研究小組繼承、豐富和發(fā)展，并由其學(xué)生歸納總結(jié)為一本計(jì)算機(jī)視覺(jué)領(lǐng)域著作：Vision: A computational investigation into the human representation and processing of visual information，于他后發(fā)表。

?

計(jì)算機(jī)視覺(jué)是一門(mén)研究如何使機(jī)器“看”的科學(xué)，更進(jìn)一步的說(shuō)，就是指用攝影機(jī)和計(jì)算機(jī)代替人眼對(duì)目標(biāo)進(jìn)行識(shí)別、跟蹤和測(cè)量等機(jī)器視覺(jué)，并進(jìn)一步做圖像處理，用計(jì)算機(jī)處理成更適合人眼觀察或進(jìn)行儀器檢測(cè)的圖像。學(xué)習(xí)和運(yùn)算能讓機(jī)器能夠更好的理解圖片環(huán)境，并且建立具有真正智能的視覺(jué)系統(tǒng)。當(dāng)下環(huán)境中存在著大量的圖片和視頻內(nèi)容，這些內(nèi)容亟需學(xué)者們理解并在其中找出模式，來(lái)揭示那些我們以前不曾注意過(guò)的細(xì)節(jié)。?

?

3.5電腦擊敗世界雙陸棋冠軍（Computer beats world Backgammon champion）

1979?年?7?月，一款名為?BKG 9.8?的計(jì)算機(jī)程序在蒙特卡洛舉行的世界西洋雙陸棋錦標(biāo)賽中奪得冠軍。這款程序的發(fā)明者是匹茲堡卡內(nèi)基梅隆大學(xué)的計(jì)算機(jī)科學(xué)教授?Hans Berliner(漢斯·柏林格)，它在卡內(nèi)基梅隆的一臺(tái)大型計(jì)算機(jī)上運(yùn)行，并通過(guò)衛(wèi)星連接到蒙特卡洛的一個(gè)機(jī)器人上。?這個(gè)名為?Gammonoid?的機(jī)器人胸前有一個(gè)西洋棋顯示屏，可以顯示它自己，以及其意大利對(duì)手?Luigi Villa?的動(dòng)作。Luigi Villa?在短時(shí)間內(nèi)擊敗了所有人類挑戰(zhàn)者，贏得了與?Gammonoid?對(duì)弈的權(quán)利。競(jìng)賽的獎(jiǎng)勵(lì)是五千美元，Gammonoid?最終以?7:1?贏得了比賽。

?

全世界都知道了：BKG9.8于1979年擊敗了西洋雙陸棋世界冠軍。

3.6專家系統(tǒng)（Expert System）

專家系統(tǒng)產(chǎn)生于六十年代中期，以Bruce G Buchanan在1968年發(fā)表的文章《?啟發(fā)式DENDRAL:一個(gè)在有機(jī)化學(xué)中生成解釋性假說(shuō)的程序》為始。在美國(guó)國(guó)家航空航天局要求下，斯坦福大學(xué)成功研制了DENRAL專家系統(tǒng)，該系統(tǒng)具有非常豐富的化學(xué)知識(shí)，可根據(jù)質(zhì)譜數(shù)據(jù)幫助化學(xué)家推斷分子結(jié)構(gòu)。這個(gè)系統(tǒng)的完成標(biāo)志著專家系統(tǒng)的誕生。在此之后,?麻省理工學(xué)院開(kāi)始研制MACSYMA系統(tǒng)，現(xiàn)經(jīng)過(guò)不斷擴(kuò)充,?它能求解600多種數(shù)學(xué)問(wèn)題。雖然它只有不到三十年的歷史，但其發(fā)展速度相當(dāng)驚人，它的應(yīng)用幾乎已滲透到自然界的各個(gè)領(lǐng)域。

?

專家系統(tǒng)定義為：使用人類專家推理的計(jì)算機(jī)模型來(lái)處理現(xiàn)實(shí)世界中需要專家作出解釋的復(fù)雜問(wèn)題，并得出與專家相同的結(jié)論。簡(jiǎn)專家系統(tǒng)可視作“知識(shí)庫(kù)(knowledge base)”和“推理機(jī)(inference machine)”?的結(jié)合。它同自然語(yǔ)言理解、機(jī)器人學(xué)并列為人工智能的三大研究方向，并且是人工智能中最活躍的分支。

?

?

?

?

?

3.7貝葉斯網(wǎng)絡(luò)（Baysian Network）

朱迪亞·珀?duì)?Judea Pearl)，以色列裔美國(guó)計(jì)算機(jī)科學(xué)家和哲學(xué)家，以倡導(dǎo)人工智能的概率方法和發(fā)展貝葉斯網(wǎng)絡(luò)而聞名（。他還因發(fā)展了一種基于結(jié)構(gòu)模型的因果和反事實(shí)推理理論而受到贊譽(yù)。2011年，計(jì)算機(jī)械協(xié)會(huì)授予Judea Pearl圖靈獎(jiǎng)，原因?yàn)椤巴ㄟ^(guò)發(fā)展概率和因果推理微積分對(duì)人工智能做出了根本性貢獻(xiàn)”。

?

貝葉斯網(wǎng)絡(luò)(Bayesian network)，又稱信念網(wǎng)絡(luò)(Belief Network)，或有向無(wú)環(huán)圖模型(directed acyclic graphical model)，是一種概率圖模型，于1985年由Judea Pearl首先提出。它是一種模擬人類推理過(guò)程中因果關(guān)系的不確定性處理模型，其網(wǎng)絡(luò)拓樸結(jié)構(gòu)是一個(gè)有向無(wú)環(huán)圖(DAG)。

?

?

?

?

貝葉斯網(wǎng)絡(luò)的有向無(wú)環(huán)圖中的節(jié)點(diǎn)表示隨機(jī)變量{X1,X2,...,Xn}{X1,X2,...,Xn}

?

它們可以是可觀察到的變量，或隱變量、未知參數(shù)等。認(rèn)為有因果關(guān)系（或非條件獨(dú)立）的變量或命題則用箭頭來(lái)連接。若兩個(gè)節(jié)點(diǎn)間以一個(gè)單箭頭連接在一起，表示其中一個(gè)節(jié)點(diǎn)是“因(parents)”，另一個(gè)是“果(children)”，兩節(jié)點(diǎn)就會(huì)產(chǎn)生一個(gè)條件概率值。

?

簡(jiǎn)言之，把某個(gè)研究系統(tǒng)中涉及的隨機(jī)變量，根據(jù)是否條件獨(dú)立繪制在一個(gè)有向圖中，就形成了貝葉斯網(wǎng)絡(luò)。其主要用來(lái)描述隨機(jī)變量之間的條件依賴，用圈表示隨機(jī)變量(random variables)，用箭頭表示條件依賴(conditional dependencies)。

?

此外，對(duì)于任意的隨機(jī)變量，其聯(lián)合概率可由各自的局部條件概率分布相乘而得出：

P(x1,...,xk)=P(xk|x1,...,xk?1)...P(x2|x1)P(x1)

3.8基于行為的機(jī)器人（Behavior-based robotitcs）

1986年，Brooks發(fā)表論文《移動(dòng)機(jī)器人魯棒分層控制系統(tǒng)》，標(biāo)志著基于行為的機(jī)器人學(xué)的創(chuàng)立。文章介紹了一種新的移動(dòng)機(jī)器人控制體系結(jié)構(gòu)。為了讓機(jī)器人在不斷提高的能力水平上操作，建立了多層次的控制系統(tǒng)。層由異步模塊組成，這些模塊通過(guò)低帶寬信道進(jìn)行通信。每個(gè)模塊都是一個(gè)相當(dāng)簡(jiǎn)單的計(jì)算機(jī)實(shí)例。較高級(jí)別的層可以通過(guò)抑制其輸出來(lái)容納較低級(jí)別的角色。但是，隨著更高級(jí)別的添加，較低級(jí)別繼續(xù)發(fā)揮作用。其結(jié)果是一個(gè)魯棒和靈活的機(jī)器人控制系統(tǒng)。該系統(tǒng)已用于控制移動(dòng)機(jī)器人在無(wú)限制的實(shí)驗(yàn)室區(qū)域和計(jì)算機(jī)機(jī)房中漫游。最終，它的目標(biāo)是控制一個(gè)在我們實(shí)驗(yàn)室的辦公區(qū)域徘徊的機(jī)器人，用一個(gè)內(nèi)置的手臂來(lái)完成簡(jiǎn)單的任務(wù)，繪制出周?chē)h(huán)境的地圖。

?

基于行為的機(jī)器人學(xué)的理論提出了與基于符號(hào)的人工智能完全不同的有關(guān)智能的觀點(diǎn)和結(jié)構(gòu),主要是實(shí)現(xiàn)以下二個(gè)觀念上的轉(zhuǎn)變：第一，智能不是符號(hào)化的模型；第二，智能不是由輸入得到輸出的計(jì)算過(guò)程。

?

第四章：平穩(wěn)發(fā)展期-20世紀(jì)90年代

20世紀(jì)90年代，AI?出現(xiàn)了兩個(gè)很重要的發(fā)展：一方面是蒂姆·伯納斯·李（Tim Berners-Lee）在1998年提出的語(yǔ)義網(wǎng)，即以語(yǔ)義為基礎(chǔ)的知識(shí)網(wǎng)或知識(shí)表示。后來(lái)又出現(xiàn)了?OWL?語(yǔ)言和其他一些相關(guān)知識(shí)描述語(yǔ)言，這為知識(shí)庫(kù)的兩個(gè)核心問(wèn)題：知識(shí)表達(dá)和開(kāi)放知識(shí)實(shí)體，給出了一個(gè)可能的解決方案（盡管這一思路在后來(lái)一直沒(méi)有得到廣泛認(rèn)可，直到2012年谷歌提出知識(shí)圖譜的概念，才讓這一方向有了明確的發(fā)展思路）。

?

另一個(gè)重要的發(fā)展是統(tǒng)計(jì)機(jī)器學(xué)習(xí)理論，包括Vapnik Vladimir等人提出的支持向量機(jī)、John Lafferty等人的條件隨機(jī)場(chǎng)以及David Blei和Michael Jordan等人的話題模型LDA。總的來(lái)講這一時(shí)期的主旋律是AI平穩(wěn)發(fā)展，人工智能相關(guān)的各個(gè)領(lǐng)域都取得長(zhǎng)足進(jìn)步。

4.1支持向量機(jī)（Support Vector Machine）

1995年，Cortes和Vapnik首次提出支持向量機(jī)(Support Vector Machine)的概念，它在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中。

?

支持向量機(jī)（Support Vector Machine, SVM）是一類按監(jiān)督學(xué)習(xí)（supervised learning）方式對(duì)數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器（generalized linear classifier），其決策邊界是對(duì)學(xué)習(xí)樣本求解的最大邊距超平面（maximum-margin hyperplane）。

同時(shí)，支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC?維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度，Accuracy）和學(xué)習(xí)能力（即無(wú)錯(cuò)誤地識(shí)別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力（或稱泛化能力）。

4.2條件隨機(jī)場(chǎng)（Conditional Random Fields）

John Lafferty于2001年首次提出條件隨機(jī)場(chǎng)模型，它是基于貝葉斯理論框架的判別式概率圖模型，當(dāng)時(shí)用于文本的分割和標(biāo)注，同時(shí)在許多自然語(yǔ)言處理任務(wù)中比如分詞、命名實(shí)體識(shí)別等表現(xiàn)尤為出色。CRF最早是針對(duì)序列數(shù)據(jù)分析提出的，現(xiàn)已成功應(yīng)用于自然語(yǔ)言處理(NLP）、生物信息學(xué)、機(jī)器視覺(jué)及網(wǎng)絡(luò)智能等領(lǐng)域。

簡(jiǎn)單地講，隨機(jī)場(chǎng)可以看成是一組隨機(jī)變量的集合（這組隨機(jī)變量對(duì)應(yīng)同一個(gè)樣本空間）。當(dāng)給每一個(gè)位置按照某種分布隨機(jī)賦予一個(gè)值之后，其全體就叫做隨機(jī)場(chǎng)。當(dāng)然，這些隨機(jī)變量之間可能有依賴關(guān)系，一般來(lái)說(shuō)，也只有當(dāng)這些變量之間有依賴關(guān)系的時(shí)候，我們將其單獨(dú)拿出來(lái)看成一個(gè)隨機(jī)場(chǎng)才有實(shí)際意義。

?

設(shè)X與Y是隨機(jī)變量，P(Y|X)是在給定X的條件下Y的條件概率分布，若隨機(jī)變量Y構(gòu)成一個(gè)由無(wú)向圖G=(V,E)表示的馬爾科夫隨機(jī)場(chǎng)，即：對(duì)任意的結(jié)點(diǎn)v成立，則稱條件概率分布P(Y|X)為條件隨機(jī)場(chǎng)。

?

這個(gè)概念看起來(lái)挺抽象的涉及到了很多其他的概念，此時(shí)如果你回去再看一遍開(kāi)頭我們的定義部分，就會(huì)明白許多，所謂的條件隨機(jī)場(chǎng)不過(guò)是一組隨機(jī)變量X,Y形成的條件概率的集合，但是這個(gè)條件概率滿足了馬爾科夫獨(dú)立性假設(shè)/概率無(wú)向圖模型的條件，所以我們稱之為條件隨機(jī)場(chǎng)！?上述定義的解釋也很直觀，那就是：所有不跟我直接相連的變量都跟我沒(méi)關(guān)系！

4.3“深藍(lán)”擊敗卡斯帕羅夫（Deep Blue Beats Kasparov）

1997年5月11日，舉世矚目的人與計(jì)算機(jī)大戰(zhàn)在經(jīng)過(guò)6場(chǎng)拼殺后終見(jiàn)伯仲。盡管人腦戰(zhàn)勝電腦為民意所歸——據(jù)美國(guó)有限電視網(wǎng)與《今日美國(guó)》日?qǐng)?bào)的民意調(diào)查，82%的人希望人腦取勝；盡管棋王堅(jiān)信世界上最好的棋手可以利用創(chuàng)造力和想象力戰(zhàn)勝硅片——他認(rèn)為：“在嚴(yán)肅而標(biāo)準(zhǔn)的國(guó)際象棋中，計(jì)算機(jī)在本世紀(jì)是不會(huì)得手的?！钡聦?shí)勝于雄辯，IBM"深藍(lán)"(Deep Blue)最終以3.5：2.5戰(zhàn)勝了國(guó)際象棋大師卡斯帕羅夫(Kasparov)，并成為紐約國(guó)際象棋人機(jī)賽110萬(wàn)美元獎(jiǎng)金的最終贏家，同時(shí)成為首臺(tái)打敗了國(guó)際象棋世界冠軍的電腦。其實(shí)正如IBM公司所說(shuō)，無(wú)論鹿死誰(shuí)手，人類都是最后贏家。

?

隨后數(shù)年，人們對(duì)待機(jī)器的態(tài)度漸漸恢復(fù)理性。個(gè)人計(jì)算機(jī)的功能大幅增強(qiáng)，智能手機(jī)如今可以同時(shí)運(yùn)行和深藍(lán)一樣強(qiáng)大的象棋引擎與其他應(yīng)用。更重要的是，得益于人工智能的最新進(jìn)展，機(jī)器現(xiàn)在可以自己學(xué)習(xí)和探索游戲。

?

深藍(lán)的背后仍舊是人類為國(guó)際象棋對(duì)弈而設(shè)計(jì)的代碼規(guī)則。相比之下，Alphabet子公司DeepMind在2017年推出的程序AlphaZero，通過(guò)反復(fù)練習(xí)，可以自學(xué)成為大師級(jí)選手。甚至，AlphaZero還挖掘出一些新的策略，這些策略讓國(guó)際象棋專家都自嘆不如。

4.4語(yǔ)義網(wǎng)路徑圖（Semantic Web Road Map）

語(yǔ)義網(wǎng)(Semantic? Web)是由萬(wàn)維網(wǎng)聯(lián)盟的蒂姆·伯納斯·李(Tim Berners-Lee)在1998年提出的的一個(gè)概念，它的核心是：通過(guò)給萬(wàn)維網(wǎng)上的文檔（如HTML）添加能夠被計(jì)算機(jī)所理解的語(yǔ)義(Meta data)，從而使整個(gè)互聯(lián)網(wǎng)成為一個(gè)通用的信息交換媒介），其最基本的元素就是語(yǔ)義鏈接(linked node)。

?

語(yǔ)義網(wǎng)是一個(gè)更官方的名稱，也是該領(lǐng)域?qū)W者使用得最多的一個(gè)術(shù)語(yǔ)，同時(shí)，也用于指代其相關(guān)的技術(shù)標(biāo)準(zhǔn)。在萬(wàn)維網(wǎng)誕生之初，網(wǎng)絡(luò)上的內(nèi)容只是人類可讀，而計(jì)算機(jī)無(wú)法理解和處理。比如，我們?yōu)g覽一個(gè)網(wǎng)頁(yè)，我們能夠輕松理解網(wǎng)頁(yè)上面的內(nèi)容，而計(jì)算機(jī)只知道這是一個(gè)網(wǎng)頁(yè)。網(wǎng)頁(yè)里面有圖片，有鏈接，但是計(jì)算機(jī)并不知道圖片是關(guān)于什么的，也不清楚鏈接指向的頁(yè)面和當(dāng)前頁(yè)面有何關(guān)系。語(yǔ)義網(wǎng)正是為了使得網(wǎng)絡(luò)上的數(shù)據(jù)變得機(jī)器可讀而提出的一個(gè)通用框架?！癝emantic”就是用更豐富的方式來(lái)表達(dá)數(shù)據(jù)背后的含義，讓機(jī)器能夠理解數(shù)據(jù)?！癢eb”則是希望這些數(shù)據(jù)相互鏈接，組成一個(gè)龐大的信息網(wǎng)絡(luò)，正如互聯(lián)網(wǎng)中相互鏈接的網(wǎng)頁(yè)，只不過(guò)基本單位變?yōu)榱６雀〉臄?shù)據(jù)。

?

4.5主題建模（Topic Modeling）

在機(jī)器學(xué)習(xí)領(lǐng)域，LDA是兩個(gè)常用模型的簡(jiǎn)稱：Linear Discriminant Analysis?和?Latent Dirichlet Allocation。本文的LDA僅指代Latent Dirichlet Allocation. LDA?在主題模型中占有非常重要的地位，常用來(lái)文本分類。

?

LDA由Blei、?David M.、Ng, Andrew Y.、Jordan于2003年提出，用來(lái)推測(cè)文檔的主題分布。它可以將文檔集中每篇文檔的主題以概率分布的形式給出，從而通過(guò)分析一些文檔抽取出它們的主題分布后，便可以根據(jù)主題分布進(jìn)行主題聚類或文本分類。

?

LDA是一種非監(jiān)督機(jī)器學(xué)習(xí)技術(shù)，可以用來(lái)識(shí)別大規(guī)模文檔集（document collection）或語(yǔ)料庫(kù)（corpus）中潛藏的主題信息。它采用了詞袋（bag of words）的方法，這種方法將每一篇文檔視為一個(gè)詞頻向量，從而將文本信息轉(zhuǎn)化為了易于建模的數(shù)字信息。但是詞袋方法沒(méi)有考慮詞與詞之間的順序，這簡(jiǎn)化了問(wèn)題的復(fù)雜性，同時(shí)也為模型的改進(jìn)提供了契機(jī)。每一篇文檔代表了一些主題所構(gòu)成的一個(gè)概率分布，而每一個(gè)主題又代表了很多單詞所構(gòu)成的一個(gè)概率分布。

?

第五章：第三次浪潮期-2006年以后

第三次人工智能浪潮興起的標(biāo)志可能要數(shù)2006杰弗里·辛頓（Geoffrey Hinton）等人提出的深度學(xué)習(xí)，或者說(shuō)Hinton等人吹響了這次浪潮的號(hào)角。與之前最大的不同，這次引領(lǐng)浪潮沖鋒的是企業(yè)：塞巴斯蒂安·特龍（Sebastian Thrun）在谷歌領(lǐng)導(dǎo)了自動(dòng)駕駛汽車(chē)項(xiàng)目；IBM?的沃森（Watson）于?2011?年在《危險(xiǎn)邊緣》（Jeopardy）中戰(zhàn)勝人類、獲得冠軍；蘋(píng)果在?2011?年推出了自然語(yǔ)言問(wèn)答工具?Siri?等；2016年谷歌旗下DeepMind公司推出的阿爾法圍棋（AlphaGo）戰(zhàn)勝圍棋世界冠軍李世石等?？梢哉f(shuō)這次人工智能浪潮的影響是前所未有的。

?

5.1波士頓動(dòng)力公司（Boston Dynamics）

波士頓動(dòng)力公司（英語(yǔ)：Boston Dynamics）創(chuàng)辦與是一家美國(guó)的工程與機(jī)器人設(shè)計(jì)公司，此公司的著名產(chǎn)品包含在國(guó)防高等研究計(jì)劃署（DARPA）出資下替美國(guó)軍方開(kāi)發(fā)的四足機(jī)器人：波士頓機(jī)械狗，以及DI-Guy，一套用于寫(xiě)實(shí)人類模擬的現(xiàn)成軟件（COTS）。此公司早期曾和美國(guó)系統(tǒng)公司一同接受來(lái)自美國(guó)海軍航空作戰(zhàn)中心訓(xùn)練處（NAWCTSD）的一份合約，該合約的內(nèi)容是要以DI-Guy人物的互動(dòng)式3D電腦模擬，取代海軍飛機(jī)彈射任務(wù)訓(xùn)練影片。

?

該公司由Marc Raibert和其合伙人一起創(chuàng)辦。Marc Raibert是著名的機(jī)器人學(xué)家。其28歲畢業(yè)于MIT，隨后在CMU擔(dān)任過(guò)副教授，并且在那里建立了CMUleg實(shí)驗(yàn)室研究與機(jī)器人有關(guān)的控制和視覺(jué)處理相關(guān)的技術(shù)。在37歲時(shí)回到MIT的繼續(xù)從事機(jī)器人相關(guān)的科研和教學(xué)工作。在1992年，其與合伙人一起創(chuàng)辦了Boston Dynamics這家公司，開(kāi)啟了機(jī)器人研究的新紀(jì)元。

?

波士頓動(dòng)力公司于?2005?年推出一款四足機(jī)器人——big Dog?，它被人們親切地稱為?“大狗”，也正是這款四足機(jī)器人讓波士頓動(dòng)力公司名聲大噪。大狗拋開(kāi)傳統(tǒng)的輪式或履帶式機(jī)器人，轉(zhuǎn)而研究四足機(jī)器人，是因?yàn)樗淖銠C(jī)器人能夠適應(yīng)更多地形地貌，通過(guò)性能更強(qiáng)。同時(shí)，在波士頓動(dòng)力公司發(fā)布的宣傳視頻中，Big Dog?在裝載著重物的情況下，仍能對(duì)人類從其側(cè)面的踢踹做出靈敏的反應(yīng)，始終保持站立的姿態(tài)。

?

在2013年12月13日，波士頓動(dòng)力公司被Google收購(gòu)。2017年6月9日軟銀以不公開(kāi)的條款收購(gòu)谷歌母公司Alphabet旗下的波士頓動(dòng)力公司。

5.2遷移學(xué)習(xí)（Transfer Learning）

遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支，是指利用數(shù)據(jù)、任務(wù)、或模型之間的相似性，將在源領(lǐng)域?qū)W習(xí)過(guò)的模型，應(yīng)用于新領(lǐng)域的一種學(xué)習(xí)過(guò)程。比如我們大部分人學(xué)摩托車(chē)的時(shí)候，都是把騎自行車(chē)的經(jīng)驗(yàn)遷移了過(guò)來(lái)。

?

2010年時(shí)Sinno Jialin Pan和?Qiang Yang發(fā)表文章《遷移學(xué)習(xí)的調(diào)查》，詳細(xì)介紹了遷移學(xué)習(xí)的分類問(wèn)題。當(dāng)以遷移學(xué)習(xí)的場(chǎng)景為標(biāo)準(zhǔn)時(shí)分為三類：歸納式遷移學(xué)習(xí)（Inductive Transfer Learning）、直推式遷移學(xué)習(xí)（Transductive Transfer Learning）、和直推式遷移學(xué)習(xí)(Unsupervised Transfer Learning)。

?

?

?

?

深度遷移學(xué)習(xí)主要就是模型的遷移，一個(gè)最簡(jiǎn)單最常用的方法就是fine-tuning，就是利用別人已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)，針對(duì)目標(biāo)任務(wù)再進(jìn)行調(diào)整。近年來(lái)大火的BERT、GPT、XLNET等都是首先在大量語(yǔ)料上進(jìn)行預(yù)訓(xùn)練，然后在目標(biāo)任務(wù)上進(jìn)行fine-tuning。

?

5.3?IBM沃森挑戰(zhàn)史上最強(qiáng)Jeopardy?。↖BM Watson wins Jeopardy！）

Watson是一種能夠回答自然語(yǔ)言提出的問(wèn)題的問(wèn)答計(jì)算機(jī)系統(tǒng)，由主要研究員David Ferrucci領(lǐng)導(dǎo)的研究小組在IBM的DeepQA項(xiàng)目中開(kāi)發(fā)。Watson以IBM的創(chuàng)始人兼第一任首席執(zhí)行官工業(yè)家Thomas J. Watson的名字命名。

?

最初開(kāi)發(fā)Watson計(jì)算機(jī)系統(tǒng)是為了回答測(cè)驗(yàn)節(jié)目?Jeopardy！中的問(wèn)題，并且在2011年參與Jeopardy比賽與與冠軍布拉德·魯特（Brad Rutter）和肯·詹寧斯（Ken Jennings）競(jìng)爭(zhēng)。最終贏得了勝利贏得一百萬(wàn)美元的冠軍獎(jiǎng)金。

?

Waston運(yùn)行機(jī)制：

?

Watson是作為問(wèn)題解答（QA）計(jì)算系統(tǒng)被創(chuàng)建的，它將高級(jí)自然語(yǔ)言處理，信息檢索，知識(shí)表示，自動(dòng)推理和機(jī)器學(xué)習(xí)技術(shù)應(yīng)用于開(kāi)放域問(wèn)題解答領(lǐng)域。

?

QA技術(shù)與文檔搜索之間的主要區(qū)別在于，文檔搜索采用關(guān)鍵字查詢并返回按與查詢相關(guān)性排序的文檔列表（通?；谑軞g迎程度和頁(yè)面排名），而QA技術(shù)則采用以自然語(yǔ)言，試圖更詳細(xì)地理解它，以此反饋出對(duì)該問(wèn)題的精確答案。創(chuàng)建是IBM時(shí)表示，“有100多種不同的技術(shù)用于分析自然語(yǔ)言，識(shí)別來(lái)源，查找和生成假設(shè)，查找和評(píng)分證據(jù)以及合并和排列假設(shè)。”?近年來(lái)，Watson的功能得到了擴(kuò)展，Watson的工作方式也發(fā)生了變化，以利用新的部署模型（IBM Cloud上的Watson）以及不斷發(fā)展的機(jī)器學(xué)習(xí)功能和開(kāi)發(fā)人員和研究人員可用的優(yōu)化硬件。它不再是單純的問(wèn)答（QA）計(jì)算系統(tǒng)的Q＆A對(duì)設(shè)計(jì)的，但現(xiàn)在可以“看”，“聽(tīng)”，“讀”，“講”，“味道”，“解釋”，“學(xué)習(xí)”和“推薦'。

?

Watson中使用的IBM Deep QA的高級(jí)體系結(jié)構(gòu)

?

大衛(wèi)·費(fèi)魯奇（David Ferrucci）是首席研究員，他在2007年至2011年帶領(lǐng)IBM和學(xué)術(shù)研究人員及工程師組成的團(tuán)隊(duì)，開(kāi)發(fā)了贏得Jeopardy的沃森計(jì)算機(jī)系統(tǒng)。

?

Ferrucci?于1994年畢業(yè)于曼哈頓學(xué)院，獲得生物學(xué)學(xué)士學(xué)位，并于Rensselaer理工學(xué)院獲得博士學(xué)位。計(jì)算機(jī)科學(xué)學(xué)位，專門(mén)研究知識(shí)表示和推理。[2]?他于1995年加入IBM的Thomas J. Watson，并于2012年離開(kāi)，加入Bridgewater Associates。[3]他還是Elemental Cognition的創(chuàng)始人，首席執(zhí)行官兼首席科學(xué)家，該公司致力于探索自然學(xué)習(xí)這一新的研究領(lǐng)域，F(xiàn)errucci將其描述為“人工智能，它以人們的方式理解世界”。

5.4谷歌自動(dòng)駕駛汽車(chē)（Google self-driving car）

Google的自動(dòng)駕駛技術(shù)開(kāi)發(fā)始于2009年1月17日，一直在在該公司秘密的X實(shí)驗(yàn)室中進(jìn)行，在2010年10月9日《紐約時(shí)報(bào)》透露其存在之后，當(dāng)天晚些時(shí)候，谷歌通過(guò)正式宣布了自動(dòng)駕駛汽車(chē)計(jì)劃。該項(xiàng)目由斯坦福大學(xué)人工智能實(shí)驗(yàn)室（SAIL）的前負(fù)責(zé)人塞巴斯蒂安·特倫（Sebastian Thrun?）和510系統(tǒng)公司和安東尼機(jī)器人公司的創(chuàng)始人安東尼·萊萬(wàn)多夫斯基（Anthony Levandowski）發(fā)起。

?

在Google工作之前，Thrun和包括Dmitri Dolgov，Anthony Levandowski和Mike Montemerlo在內(nèi)的15位工程師共同為SAIL開(kāi)展了名為VueTool的數(shù)字地圖技術(shù)項(xiàng)目。許多團(tuán)隊(duì)成員在2005 DARPA大挑戰(zhàn)賽上見(jiàn)面，Thrun和Levandowski都有團(tuán)隊(duì)競(jìng)爭(zhēng)自動(dòng)無(wú)人駕駛汽車(chē)挑戰(zhàn)。在2007年，Google收購(gòu)了整個(gè)VueTool團(tuán)隊(duì)，以幫助推進(jìn)Google的街景技術(shù)。

?

作為街景服務(wù)開(kāi)發(fā)的一部分，購(gòu)買(mǎi)了100輛豐田普銳斯，并配備了萊康多夫斯基公司510 Systems開(kāi)發(fā)的Topcon盒，數(shù)字地圖硬件。2008年，街景小組啟動(dòng)了“地面真相”項(xiàng)目，目的是通過(guò)從衛(wèi)星和街景中提取數(shù)據(jù)來(lái)創(chuàng)建準(zhǔn)確的路線圖。這為Google的自動(dòng)駕駛汽車(chē)計(jì)劃奠定了基礎(chǔ)。

?

2014年5月下旬，Google展示了其無(wú)人駕駛汽車(chē)的新原型，該汽車(chē)無(wú)方向盤(pán)，油門(mén)踏板或制動(dòng)踏板，并且100％自治。12月，他們展示了一個(gè)功能完備的原型，計(jì)劃從2015年初開(kāi)始在舊金山灣區(qū)道路上進(jìn)行測(cè)試。這款車(chē)名Firefly，旨在用作實(shí)驗(yàn)平臺(tái)和學(xué)習(xí)，而不是大量生產(chǎn)。

?

2015年，聯(lián)合創(chuàng)始人Anthony Levandowski和CTO Chris Urmson離開(kāi)了該項(xiàng)目。2015年8月，Google聘用了現(xiàn)代汽車(chē)前高管約翰·克拉夫奇克（John Krafcik）作為首席執(zhí)行官。?2015年秋天，Google向總工程師納撒尼爾·費(fèi)爾菲爾德（Nathaniel Fairfield）的合法盲人朋友提供了“世界上第一個(gè)完全無(wú)人駕駛的公共道路上的騎行服務(wù)”?。這次乘車(chē)之旅由得克薩斯州奧斯汀市圣塔克拉拉谷盲中心的前首席執(zhí)行官史蒂夫·馬漢（Steve Mahan）乘車(chē)。這是公共道路上的第一個(gè)完全無(wú)人駕駛的汽車(chē)。它沒(méi)有測(cè)試駕駛員或警察護(hù)送，也沒(méi)有方向盤(pán)或地板踏板。截至2015年底，這輛汽車(chē)已實(shí)現(xiàn)超過(guò)100萬(wàn)英里的自駕里程。

?

2016年12月，該部門(mén)從Google獨(dú)立出來(lái)，更名為Waymo，并拆分為Alphabet的新部門(mén)。這意味著Google在主線業(yè)務(wù)中放棄了自動(dòng)駕駛汽車(chē)項(xiàng)目。

5.5谷歌知識(shí)圖譜（Google Knowledge graph）

谷歌知識(shí)圖譜（英語(yǔ)：Google Knowledge Graph，也稱Google知識(shí)圖）是Google的一個(gè)知識(shí)庫(kù)，其使用語(yǔ)義檢索從多種來(lái)源收集信息，以提高Google搜索的質(zhì)量。知識(shí)圖譜2012年加入Google搜索，2012年5月16日正式發(fā)布。

?

Google Knowledge Graph?是?Google?一個(gè)相當(dāng)有野心的計(jì)劃?--?在這里?Google?為字串賦予了意義，而不只是單純的字串而已。以?Google?自己的例子來(lái)說(shuō)，當(dāng)你在英文?Google?上搜索泰姬馬哈陵（Taj Mahal）的時(shí)候，傳統(tǒng)的搜索會(huì)試著比對(duì)這個(gè)字串和?Google?扒下來(lái)的巨大文章庫(kù)，找出最合適的結(jié)果，并依照?Google?神秘的演算法進(jìn)行排序；但在?Google Knowledge Graph?里?Taj Mahal?會(huì)被理解成一個(gè)「東西」，并在搜索結(jié)果的右側(cè)顯示它的一些基本資料，像是地理位置、Wiki?的摘要、高度、建筑師等等，再加上一些和它類似的「東西」，例如萬(wàn)里長(zhǎng)城等。

?

當(dāng)然，Google?也了解「Taj Mahal」不見(jiàn)得一定是指泰姬馬哈陵?--?這就是?Knowledge graph?的威力顯現(xiàn)出來(lái)的時(shí)候了。在泰姬馬哈陵的框框底下還有兩個(gè)常見(jiàn)的「Taj Mahal」，一個(gè)是歌手，另一個(gè)是一間賭場(chǎng)，正常狀況下你如果想找這兩個(gè)?Taj Mahal，卻打不對(duì)關(guān)鍵字的話，有可能搜索結(jié)果會(huì)被最有名的那個(gè)淹沒(méi)，但?Google Knowldge Graph?可以協(xié)助你找到你要的那個(gè)特定的內(nèi)容。

?

Google?希望藉由?Knowledge Graph?來(lái)在普通的字串搜索上疊一層相互之間的關(guān)系，協(xié)助使用者更快找到所需的資料的同時(shí)，也可以更了解使用者需要的是什么，從而往以「知識(shí)」為基礎(chǔ)的搜索更近一步。目前?Google?的這張?Knowledge Graph?已經(jīng)有五億樣「東西」在上面，產(chǎn)生?35?億個(gè)屬性和相互關(guān)系，未來(lái)當(dāng)然還會(huì)再繼續(xù)擴(kuò)充下去。繼續(xù)閱讀里有?Google?的介紹視頻，可惜目前只支持英文，不知道還要多久才會(huì)支持中文呢。

?

Knowledge Graph的歷史

?

這些內(nèi)容是怎么來(lái)的呢？當(dāng)然，不可能完全靠google自己搜索數(shù)據(jù)得到，因?yàn)?，這個(gè)數(shù)據(jù)實(shí)在是太龐大了。

?

比如說(shuō)，其中有部分?jǐn)?shù)據(jù)來(lái)源于The World Factbook（世界概況）?- CIA（中央情報(bào)局）：《世界概況》是由美國(guó)中央情報(bào)局出版的調(diào)查報(bào)告，發(fā)布世界各國(guó)及地區(qū)的概況，例如人口、地理、政治及經(jīng)濟(jì)等各方面的統(tǒng)計(jì)數(shù)據(jù)。因中央情報(bào)局屬美國(guó)政府部門(mén)，所以其資料格式、體例、內(nèi)容皆需符合美國(guó)政府的官方需要及立場(chǎng)資料則是由美國(guó)國(guó)務(wù)院、美國(guó)人口調(diào)查局、國(guó)防部等部門(mén)及其轄下的相關(guān)單位提供。（google）

?

還有數(shù)據(jù)來(lái)自freebase：Freebase是一個(gè)由元數(shù)據(jù)組成的大型合作知識(shí)庫(kù)，內(nèi)容主要來(lái)自其社區(qū)成員的貢獻(xiàn)。它整合了許多網(wǎng)上的資源，包括部分私人wiki站點(diǎn)中的內(nèi)容。Freebase致力于打造一個(gè)允許全球所有人（和機(jī)器）快捷訪問(wèn)的資源庫(kù)。它由美國(guó)軟件公司Metaweb開(kāi)發(fā)并于2007年3月公開(kāi)運(yùn)營(yíng)。2010年7月16日被谷歌收購(gòu)。?2014年12月16日，Google宣布將在六個(gè)月后關(guān)閉Freebase，并將全部數(shù)據(jù)遷移至維基數(shù)據(jù)。

?

當(dāng)然，還有大名鼎鼎的wikipedia。

?

在2012年的時(shí)候，google的語(yǔ)義網(wǎng)絡(luò)就已經(jīng)包含了超過(guò)5億7千萬(wàn)個(gè)對(duì)象實(shí)體，而且對(duì)象實(shí)體之間超過(guò)了180億的史實(shí)和關(guān)系。這些數(shù)據(jù)用于理解我們輸入到搜索欄中的關(guān)鍵字。

?

在2012年12月4日，Knowledge Graph被翻譯成了七中語(yǔ)言，其中包括了：西班牙語(yǔ)，法語(yǔ)，德語(yǔ)，葡萄牙語(yǔ)，日語(yǔ)，俄語(yǔ)和意大利語(yǔ)。

5.6 AlexNet

AlexNet是一種卷積神經(jīng)網(wǎng)絡(luò)(CNN)，由亞歷克斯·克里澤夫斯基（Alex Krizhevsky）設(shè)計(jì),與伊爾亞?蘇茨克維（Ilya Sutskever）和克里澤夫斯基的博士導(dǎo)師杰弗里·辛頓（Geoff Hinton）共同發(fā)表. AlexNet參加了2012年9月30日舉行的ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽，達(dá)到最低的15.3%的Top-5錯(cuò)誤率，比第二名低10.8個(gè)百分點(diǎn),至此一戰(zhàn)成名。原論文的主要結(jié)論是，模型的深度對(duì)于提高性能至關(guān)重要，AlexNet的計(jì)算成本很高，但因在訓(xùn)練過(guò)程中使用了圖形處理器（GPU）而使得計(jì)算具有可行性?。

?

克里熱夫斯基（Krizhevsky）出生于烏克蘭，在加拿大長(zhǎng)大，當(dāng)時(shí)他與杰弗里·辛頓（Geoff Hinton）接觸，打算在多倫多大學(xué)（University of Toronto）從事AI的計(jì)算機(jī)科學(xué)博士學(xué)位研究。在讀研究生時(shí)，克里熱夫斯基就在閱讀由其導(dǎo)師辛頓（Hinton）發(fā)明的一種早期算法的論文，該算法稱為““restricted Boltzmann machine”。此時(shí)他已經(jīng)發(fā)現(xiàn)圖形處理器（GPU）與restricted Boltzmann machines一起使用的前景，而不是中央處理器（CPU）。他認(rèn)為，如果可以在其他具有更多層（或稱為“深度神經(jīng)網(wǎng)絡(luò)”）的神經(jīng)網(wǎng)絡(luò)上使用這些GPU，則可以提高深度神經(jīng)網(wǎng)絡(luò)的處理速度并創(chuàng)建更好的算法。在算法準(zhǔn)確性方面可以迅速超越其他最新基準(zhǔn)。

?

在他發(fā)現(xiàn)之后不久，2011年，辛頓的另一個(gè)研究生Sutskever就了解了ImageNet數(shù)據(jù)集。ImageNet有超過(guò)一百萬(wàn)張圖像，是專門(mén)為多倫多團(tuán)隊(duì)試圖解決的計(jì)算機(jī)視覺(jué)算法而設(shè)計(jì)的?！拔乙庾R(shí)到他的代碼能夠解決ImageNet，” Sutskever說(shuō)?！爱?dāng)時(shí)的實(shí)現(xiàn)還不是很明顯。”

?

兩個(gè)人經(jīng)過(guò)一番研究后，克里熱夫斯基使用他的GPU加速代碼的增強(qiáng)功能來(lái)訓(xùn)練數(shù)據(jù)集上的神經(jīng)網(wǎng)絡(luò)。更高的計(jì)算速度使網(wǎng)絡(luò)可以在五六天內(nèi)處理數(shù)百萬(wàn)張圖像，而不是以前需要花費(fèi)的幾周甚至幾個(gè)月的時(shí)間。所有可以處理的額外數(shù)據(jù)使神經(jīng)網(wǎng)絡(luò)在分辨圖像中對(duì)象之間的差異方面具有空前的敏感性。

?

之后，二人和其導(dǎo)師辛頓一起參加了2012年的ImageNet競(jìng)賽。該競(jìng)賽是對(duì)AI的一種測(cè)試，其中包括龐大的在線圖像數(shù)據(jù)庫(kù)。這項(xiàng)比賽對(duì)全世界的所有人都開(kāi)放，旨在評(píng)估為大規(guī)模物體檢測(cè)和圖像分類而設(shè)計(jì)的算法。關(guān)鍵不僅僅在于贏得勝利，還在于檢驗(yàn)一個(gè)假設(shè)：如果使用正確的算法，那ImageNet數(shù)據(jù)庫(kù)中的大量數(shù)據(jù)可能是釋放AI潛力的關(guān)鍵。最后他們以錯(cuò)誤率低于第二名10.8％的巨大優(yōu)勢(shì)擊敗其他所有研究實(shí)驗(yàn)室。

?

然而最開(kāi)始的時(shí)候，Hinton是反對(duì)這種想法的，因?yàn)樗J(rèn)為，仍然需要告知神經(jīng)網(wǎng)絡(luò)哪些對(duì)象位于哪些圖像中，而不是學(xué)習(xí)標(biāo)簽本身。盡管持懷疑態(tài)度，他但仍以顧問(wèn)身份為該項(xiàng)目做出了貢獻(xiàn)?？死餆岱蛩够鶅H僅用了六個(gè)月的時(shí)間就讓他的神經(jīng)網(wǎng)絡(luò)就達(dá)到了ImageNet的圖像分類基準(zhǔn)，然后又花了六個(gè)月才能達(dá)到團(tuán)隊(duì)提交的結(jié)果。

?

最終的克里熱夫斯基神經(jīng)網(wǎng)絡(luò)框架在AI領(lǐng)域的一項(xiàng)開(kāi)創(chuàng)性研究論文中得到了驗(yàn)證，該論文首先在ImageNet挑戰(zhàn)之后于2012年在AI最大的年度會(huì)議上提出。

?

現(xiàn)在的神經(jīng)網(wǎng)絡(luò)框架通稱為AlexNet，但最初并未使用該名稱。在ImageNet挑戰(zhàn)之后，Google任命了名叫Wojciech Zaremba的實(shí)習(xí)生（現(xiàn)為OpenAI的機(jī)器人負(fù)責(zé)人）在克里熱夫斯基的基礎(chǔ)上重新編寫(xiě)了一套框架作為該公司的論文。由于Google具有按照其創(chuàng)建者命名神經(jīng)網(wǎng)絡(luò)的傳統(tǒng)，因此該公司對(duì)克里熱夫斯基的神經(jīng)網(wǎng)絡(luò)的近似版本最初稱為WojNet。但是隨后Google贏得了邀請(qǐng)克里熱夫斯基的爭(zhēng)奪戰(zhàn)，并收購(gòu)了其神經(jīng)網(wǎng)絡(luò)，此后名稱已正確更改為AlexNet。

?

5.7變分自編碼器VAE（Variational Auto-Encoder）

VAE，也可以叫做變分自編碼器，屬于自動(dòng)編碼器的變體。VAE于2013年，由Durk Kingma和Max Welling在ICLR上以文章《Auto-Encoding Variational Bayes》發(fā)表。

?

自動(dòng)編碼器是一種人工神經(jīng)網(wǎng)絡(luò)，用于學(xué)習(xí)高效的數(shù)據(jù)值編碼以無(wú)監(jiān)督方式。自動(dòng)編碼器的目的是通過(guò)訓(xùn)練網(wǎng)絡(luò)忽略信號(hào)“噪聲”?來(lái)學(xué)習(xí)一組數(shù)據(jù)的表示（編碼），通常用于降維?；灸Ｐ痛嬖趲追N變體，其目的是強(qiáng)制學(xué)習(xí)的輸入表示形式具有有用的屬性。

?

與經(jīng)典（稀疏，去噪等）自動(dòng)編碼器不同，變分自動(dòng)編碼器（VAE）是生成模型，例如生成對(duì)抗網(wǎng)絡(luò)。文章重點(diǎn)解決，在存在具有難解的后驗(yàn)分布的連續(xù)潛在變量和大型數(shù)據(jù)集的情況下，如何在定向概率模型中進(jìn)行有效的推理和學(xué)習(xí)。他們引入了一種隨機(jī)變分推理和學(xué)習(xí)算法，該算法可以擴(kuò)展到大型數(shù)據(jù)集，并且在某些微分可微性條件下甚至可以在難處理的情況下工作。?

?

作者證明了變化下界的重新參數(shù)化產(chǎn)生了一個(gè)下界估計(jì)量，該估計(jì)量可以使用標(biāo)準(zhǔn)隨機(jī)梯度方法直接進(jìn)行優(yōu)化。?其次表明，對(duì)于每個(gè)數(shù)據(jù)點(diǎn)具有連續(xù)潛在變量的iid數(shù)據(jù)集，通過(guò)使用擬議的下界估計(jì)器將近似推理模型（也稱為識(shí)別模型）擬合到難處理的后驗(yàn)，可以使后驗(yàn)推理特別有效。

?

主要提出者Durk Kingma（Diederik P. Kingma），目前就職于Google。?在加入Google之前，于2017年獲得阿姆斯特丹大學(xué)博士學(xué)位，并于2015年成為OpenAI創(chuàng)始團(tuán)隊(duì)的一員。?他主要研究的方向?yàn)椋和评?，隨機(jī)優(yōu)化，可識(shí)別性。其中的研究成就包括變分自編碼器（VAE）（一種用于生成建模的有原則的框架）以及廣泛使用的隨機(jī)優(yōu)化方法Adam。

5.8生成對(duì)抗網(wǎng)絡(luò)GAN（Generative Adversarial Network）

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，簡(jiǎn)稱GAN）是非監(jiān)督式學(xué)習(xí)的一種方法，通過(guò)讓兩個(gè)神經(jīng)網(wǎng)絡(luò)相互博弈的方式進(jìn)行學(xué)習(xí)。該方法由伊恩·古德費(fèi)洛等人于2014年提出。生成對(duì)抗網(wǎng)絡(luò)由一個(gè)生成網(wǎng)絡(luò)與一個(gè)判別網(wǎng)絡(luò)組成。生成網(wǎng)絡(luò)從潛在空間（latent space）中隨機(jī)取樣作為輸入，其輸出結(jié)果需要盡量模仿訓(xùn)練集中的真實(shí)樣本。判別網(wǎng)絡(luò)的輸入則為真實(shí)樣本或生成網(wǎng)絡(luò)的輸出，其目的是將生成網(wǎng)絡(luò)的輸出從真實(shí)樣本中盡可能分辨出來(lái)。而生成網(wǎng)絡(luò)則要盡可能地欺騙判別網(wǎng)絡(luò)。兩個(gè)網(wǎng)絡(luò)相互對(duì)抗、不斷調(diào)整參數(shù)，最終目的是使判別網(wǎng)絡(luò)無(wú)法判斷生成網(wǎng)絡(luò)的輸出結(jié)果是否真實(shí)。

?

框架中同時(shí)訓(xùn)練兩個(gè)模型：捕獲數(shù)據(jù)分布的生成模型G，和估計(jì)樣本來(lái)自訓(xùn)練數(shù)據(jù)的概率的判別模型D。G的訓(xùn)練程序是將D錯(cuò)誤的概率最大化。這個(gè)框架對(duì)應(yīng)一個(gè)最大值集下限的雙方對(duì)抗游戲?？梢宰C明在任意函數(shù)G和D的空間中，存在唯一的解決方案，使得G重現(xiàn)訓(xùn)練數(shù)據(jù)分布，而D=0.5。在G和D由多層感知器定義的情況下，整個(gè)系統(tǒng)可以用反向傳播進(jìn)行訓(xùn)練。在訓(xùn)練或生成樣本期間，不需要任何馬爾科夫鏈或展開(kāi)的近似推理網(wǎng)絡(luò)。實(shí)驗(yàn)通過(guò)對(duì)生成的樣品的定性和定量評(píng)估證明了本框架的潛力

?

生成對(duì)抗網(wǎng)絡(luò)常用于生成以假亂真的圖片。此外，該方法還被用于生成影片、三維物體模型等。雖然生成對(duì)抗網(wǎng)絡(luò)原先是為了無(wú)監(jiān)督學(xué)習(xí)提出的，它也被證明對(duì)半監(jiān)督學(xué)習(xí)、完全監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)是有用的。

?

GAN的提出者伊恩·古德費(fèi)洛，曾就讀于斯坦福大學(xué)，在那里獲得了了計(jì)算機(jī)科學(xué)學(xué)士和碩士學(xué)位，之后在Yoshua Bengio和Aaron Courville?的指導(dǎo)下于蒙特利爾大學(xué)獲得機(jī)器學(xué)習(xí)博士學(xué)位。畢業(yè)后，Goodfellow加入Google，成為Google Brain研究小組的成員。2015年他離開(kāi)了Google，加入了新成立的OpenAI研究所。2017年3月回到Google Research。

?

Goodfellow最知名的成就就是發(fā)明了GAN,被譽(yù)為GAN之父。同時(shí)他還是?Deep Learning?教材的主要作者。在Google，他開(kāi)發(fā)了一個(gè)系統(tǒng)，該系統(tǒng)使Google Maps能夠自動(dòng)轉(zhuǎn)錄街景汽車(chē)拍攝的照片中的地址，并展示了機(jī)器學(xué)習(xí)系統(tǒng)的安全漏洞。

?

2017年，Goodfellow被《MIT技術(shù)評(píng)論》的35位35歲以下的創(chuàng)新者所引用。在2019年，他被列入《外交政策》的100位全球思想家名單。

5.9隨機(jī)失活（Dropout）

隨機(jī)失活（dropout）是對(duì)具有深度結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化的方法，在學(xué)習(xí)過(guò)程中通過(guò)將隱含層的部分權(quán)重或輸出隨機(jī)歸零，降低節(jié)點(diǎn)間的相互依賴性（co-dependence?）從而實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的正則化（regularization），降低其結(jié)構(gòu)風(fēng)險(xiǎn)（structural risk）。2014年，針對(duì)神經(jīng)網(wǎng)絡(luò)容易過(guò)擬合的問(wèn)題，Srivastava和Hinton等人完整的對(duì)dropout進(jìn)行了描述，并證明了比當(dāng)時(shí)使用的其他正則化方法有了重大改進(jìn)。實(shí)證結(jié)果也顯示dropout在許多基準(zhǔn)數(shù)據(jù)集上獲得了優(yōu)秀的結(jié)果。

?

2012年，Hinton和Srivastava等人首先提出了Dropout的思想。2013年，Li Wan和Yann LeCun等人介紹了Drop Connect，是另一種減少算法過(guò)擬合的正則化策略，是?Dropout?的一般化。在?Drop Connect?的過(guò)程中需要將網(wǎng)絡(luò)架構(gòu)權(quán)重的一個(gè)隨機(jī)選擇子集設(shè)置為零，取代了在?Dropout?中對(duì)每個(gè)層隨機(jī)選擇激活函數(shù)的子集設(shè)置為零的做法。Drop Connect?和?Dropout?相似的地方在于它涉及在模型中引入稀疏性，不同之處在于它引入的是權(quán)重的稀疏性而不是層的輸出向量的稀疏性。2014年，針對(duì)神經(jīng)網(wǎng)絡(luò)容易過(guò)擬合的問(wèn)題，Srivastava和Hinton等人完整的對(duì)dropout進(jìn)行了描述，并證明了比當(dāng)時(shí)使用的其他正則化方法有了重大改進(jìn)。實(shí)證結(jié)果也顯示dropout在許多基準(zhǔn)數(shù)據(jù)集上獲得了優(yōu)秀的結(jié)果。自2014年Srivastava和Hinton等人的論文發(fā)表后，Dropout很快受到了各類研究的青睞。在批歸一化(BN)提出之前，Dropout?幾乎是所有的最優(yōu)網(wǎng)絡(luò)的標(biāo)配，直到Ioffe & Szegedy?于?2015?提出批歸一化（BN）技術(shù)，通過(guò)運(yùn)用該技術(shù)，不僅可以加速現(xiàn)代模型的速度，而且可以以正則項(xiàng)的形式來(lái)提高基線水平。因此，批歸一化幾乎應(yīng)用在近期所有的網(wǎng)絡(luò)架構(gòu)中，這說(shuō)明了它強(qiáng)大的實(shí)用性和高效性。

5.10深度學(xué)習(xí)（Deeping Learning）

深度學(xué)習(xí)（Deeping Learning）可以作為機(jī)器學(xué)習(xí)最重要的一個(gè)分支。2006年，被稱為深度學(xué)習(xí)元年。2006年杰弗里?·辛頓以及他的學(xué)生魯斯蘭·薩拉赫丁諾夫正式提出了深度學(xué)習(xí)的概念。杰弗里?·辛頓也因此被稱為深度學(xué)習(xí)之父。2015年，杰弗里 ·辛頓等人在世界頂級(jí)學(xué)術(shù)期刊?《自然》?發(fā)表的一篇文章中詳細(xì)的給出了?“梯度消失”問(wèn)題的解決方案?——?通過(guò)無(wú)監(jiān)督的學(xué)習(xí)方法逐層訓(xùn)練算法，再使用有監(jiān)督的反向傳播算法進(jìn)行調(diào)優(yōu)。該深度學(xué)習(xí)方法的提出，立即在學(xué)術(shù)圈引起了巨大的反響，以斯坦福大學(xué)、多倫多大學(xué)為代表的眾多世界知名高校紛紛投入巨大的人力、財(cái)力進(jìn)行深度學(xué)習(xí)領(lǐng)域的相關(guān)研究。而后又在迅速蔓延到工業(yè)界中。因?yàn)樵谏疃葘W(xué)習(xí)方面做出的突出貢獻(xiàn)，2019年3月27日，ACM（美國(guó)計(jì)算機(jī)協(xié)會(huì)）宣布，有“深度學(xué)習(xí)三巨頭”之稱Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同獲得了2018年的圖靈獎(jiǎng)，這是圖靈獎(jiǎng)1966年建立以來(lái)少有的一年頒獎(jiǎng)給三位獲獎(jiǎng)?wù)摺?/p>

?

2012年，在著名的ImageNet圖像識(shí)別大賽中，?杰弗里?·辛頓領(lǐng)導(dǎo)的小組采用深度學(xué)習(xí)模型AlexNet一舉奪冠。同年，由斯坦福大學(xué)著名的吳恩達(dá)教授和世界頂尖計(jì)算機(jī)專家Jeff Dean共同主導(dǎo)的深度神經(jīng)網(wǎng)絡(luò)?—— DNN技術(shù)在圖像識(shí)別領(lǐng)域取得了驚人的成績(jī)，在ImageNet評(píng)測(cè)中成功的把錯(cuò)誤率從26％降低到了15％。深度學(xué)習(xí)算法在世界大賽的脫穎而出，也再一次吸引了學(xué)術(shù)界和工業(yè)界對(duì)于深度學(xué)習(xí)領(lǐng)域的關(guān)注。

?

隨著深度學(xué)習(xí)技術(shù)的不斷進(jìn)步以及數(shù)據(jù)處理能力的不斷提升，2014年，F(xiàn)acebook基于深度學(xué)習(xí)技術(shù)的DeepFace項(xiàng)目，在人臉識(shí)別方面的準(zhǔn)確率已經(jīng)能達(dá)到97%以上，跟人類識(shí)別的準(zhǔn)確率幾乎沒(méi)有差別。這樣的結(jié)果也再一次證明了深度學(xué)習(xí)算法在圖像識(shí)別方面的一騎絕塵。

?

杰弗里·埃弗里斯特·辛頓（Geoffrey Everest Hinton），計(jì)算機(jī)學(xué)家、心理學(xué)家，被稱為“神經(jīng)網(wǎng)絡(luò)之父”、“深度學(xué)習(xí)鼻祖”。他研究了使用神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)、記憶、感知和符號(hào)處理的方法，并在這些領(lǐng)域發(fā)表了超過(guò)200篇論文。他是將（Backpropagation）反向傳播算法引入多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的學(xué)者之一，他還聯(lián)合發(fā)明了波爾茲曼機(jī)（Boltzmann machine）。他對(duì)于神經(jīng)網(wǎng)絡(luò)的其它貢獻(xiàn)包括：分散表示（distributed representation）、時(shí)延神經(jīng)網(wǎng)絡(luò)、專家混合系統(tǒng)（mixtures of experts）、亥姆霍茲?rùn)C(jī)（Helmholtz machines）等。

?

1970年，Hinton在英國(guó)劍橋大學(xué)獲得文學(xué)學(xué)士學(xué)位，主修實(shí)驗(yàn)心理學(xué)；1978年，他在愛(ài)丁堡大學(xué)獲得哲學(xué)博士學(xué)位，主修人工智能。此后Hinton曾在薩塞克斯大學(xué)、加州大學(xué)圣迭戈分校、劍橋大學(xué)、卡內(nèi)基梅隆大學(xué)和倫敦大學(xué)學(xué)院工作。2012年，Hinton獲得了加拿大基廉獎(jiǎng)（Killam Prizes，有“加拿大諾貝爾獎(jiǎng)”之稱的國(guó)家最高科學(xué)獎(jiǎng)）。Hinton是機(jī)器學(xué)習(xí)領(lǐng)域的加拿大首席學(xué)者，是加拿大高等研究院贊助的“神經(jīng)計(jì)算和自適應(yīng)感知”項(xiàng)目的領(lǐng)導(dǎo)者，是蓋茨比計(jì)算神經(jīng)科學(xué)中心的創(chuàng)始人，目前擔(dān)任多倫多大學(xué)計(jì)算機(jī)科學(xué)系教授。

5.11殘差網(wǎng)絡(luò)（ResNet）

殘差網(wǎng)絡(luò)（ResNet）是由來(lái)自Microsoft Research的4位學(xué)者，分別是Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun提出的卷積神經(jīng)網(wǎng)絡(luò)，在2015年的ImageNet大規(guī)模視覺(jué)識(shí)別競(jìng)賽（ImageNet Large Scale Visual Recognition Challenge, ILSVRC）中獲得了圖像分類和物體識(shí)別的優(yōu)勝。殘差網(wǎng)絡(luò)的特點(diǎn)是容易優(yōu)化，并且能夠通過(guò)增加相當(dāng)?shù)纳疃葋?lái)提高準(zhǔn)確率。其內(nèi)部的殘差塊使用了跳躍連接，緩解了在深度神經(jīng)網(wǎng)絡(luò)中增加深度帶來(lái)的梯度消失問(wèn)題。

?

殘差網(wǎng)絡(luò)的主要提出者何凱明，2003年廣東省理科高考狀元，曾就讀于清華基礎(chǔ)科學(xué)班并在香港中文大學(xué)攻讀研究生。2011年獲得博士學(xué)位后加入曾在微軟亞洲研究院（MSRA）工作。他的主要研究方向是計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)。目前就職于Facebook AI Research（FAIR）

?

他的論文Deep Residual Networks(ResNets)是2019年Google Scholar Metrics中所有領(lǐng)域中被引用最多的論文。ResNets的應(yīng)用還包括語(yǔ)言、語(yǔ)音和AlphaGo。

5.12TensorFlow

TensorFlow是一個(gè)基于數(shù)據(jù)流編程（dataflow programming）的符號(hào)數(shù)學(xué)系統(tǒng)，被廣泛應(yīng)用于各類機(jī)器學(xué)習(xí)（machine learning）算法的編程實(shí)現(xiàn)，其前身是谷歌的神經(jīng)網(wǎng)絡(luò)算法庫(kù)DistBelief。自2015年11月9日起，TensorFlow依據(jù)阿帕奇授權(quán)協(xié)議（Apache 2.0 open source license）開(kāi)放源代碼。TensorFlow擁有多層級(jí)結(jié)構(gòu)，可部署于各類服務(wù)器、PC終端和網(wǎng)頁(yè)并支持GPU和TPU高性能數(shù)值計(jì)算，被廣泛應(yīng)用于谷歌內(nèi)部的產(chǎn)品開(kāi)發(fā)和各領(lǐng)域的科學(xué)研究。TensorFlow由谷歌人工智能團(tuán)隊(duì)谷歌大腦（Google Brain）開(kāi)發(fā)和維護(hù)，擁有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在內(nèi)的多個(gè)項(xiàng)目以及各類應(yīng)用程序接口（Application Programming Interface, API）。

?

TensorFlow的?Tensor（張量）表示無(wú)限的數(shù)據(jù)，F(xiàn)low表示節(jié)點(diǎn)，流程和處理。就如同神經(jīng)信號(hào)在大腦內(nèi)縱橫馳騁，TensorFlow模擬了一個(gè)人造的大腦。TensorFlow內(nèi)核定義了一系列的深度學(xué)習(xí)方法：卷積神經(jīng)網(wǎng)絡(luò)，使用?GPU?的反向傳播算法，交叉熵。神經(jīng)網(wǎng)絡(luò)的每一層都可以映射到一個(gè)或者多個(gè)方法，方便擴(kuò)展其它深度學(xué)習(xí)算法，同時(shí)架構(gòu)適合在高性能計(jì)算機(jī)系統(tǒng)中工作，和底層的具體計(jì)算機(jī)硬件無(wú)關(guān)。

?

TensorFlow可以利用一個(gè)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)將輸入序列映射到多維序列，同時(shí)使用另一個(gè)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)從多維序列中生成輸出序列。想象一下，如果輸入序列是英文，輸出序列是中文，TensorFlow就組成了一個(gè)智能翻譯系統(tǒng)；如果輸入序列是問(wèn)題，輸出序列是答案，TensorFlow就組成了一個(gè)Siri；如果輸入序列是圖片，輸出序列是文字，TensorFlow就組成了一個(gè)圖片識(shí)別系統(tǒng)。還有很多種如果，讓TensorFlow有了無(wú)限的可能。

5.13 OpenAI

OpenAI，由諸多硅谷大亨聯(lián)合建立的人工智能非營(yíng)利組織。2015年馬斯克與其他硅谷科技大亨進(jìn)行連續(xù)對(duì)話后，決定共同創(chuàng)建OpenAI，希望能夠預(yù)防人工智能的災(zāi)難性影響，推動(dòng)人工智能發(fā)揮積極作用。特斯拉電動(dòng)汽車(chē)公司與美國(guó)太空技術(shù)探索公司SpaceX創(chuàng)始人馬斯克、Y Combinator總裁阿爾特曼、天使投資人彼得·泰爾（Peter Thiel）以及其他硅谷巨頭2014年12月份承諾向OpenAI注資10億美元。

?

OpenAI的使命是確保通用人工智能?(Artificial General Intelligence, AGI)，即一種高度自主且在大多數(shù)具有經(jīng)濟(jì)價(jià)值的工作上超越人類的系統(tǒng)，將為全人類帶來(lái)福祉。不僅希望直接建造出安全的、符合共同利益的通用人工智能，而且愿意幫助其它研究機(jī)構(gòu)共同建造出這樣的通用人工智能以達(dá)成他們的使命。

5.14索菲亞機(jī)器人（Sophia）

索菲亞是由中國(guó)香港的漢森機(jī)器人技術(shù)公司（Hanson Robotics）開(kāi)發(fā)的類人機(jī)器人，是歷史上首個(gè)獲得公民身份的一臺(tái)機(jī)器人。索菲亞看起來(lái)就像人類女性，擁有橡膠皮膚，能夠表現(xiàn)出超過(guò)62種面部表情。索菲亞“大腦”中的計(jì)算機(jī)算法能夠識(shí)別面部，并與人進(jìn)行眼神接觸。

?

2016年3月，在機(jī)器人設(shè)計(jì)師戴維·漢森（David Hanson）的測(cè)試中，與人類極為相似的人類機(jī)器人索菲亞（Sophia）自曝愿望，稱想去上學(xué)，成立家庭。索菲亞看起來(lái)就像人類女性，擁?有橡膠皮膚，能夠使用很多自然的面部表情。索菲亞“大腦”中的計(jì)算機(jī)算法能夠識(shí)別面部，并與人進(jìn)行眼神接觸。索菲亞的皮膚使用名為Frubber的延展性?材料制作，下面有很多電機(jī)，讓它可以做出微笑等動(dòng)作。此外，索菲亞還能理解語(yǔ)言和記住與人類的互動(dòng)，包括面部。隨著時(shí)間推移，它會(huì)變得越來(lái)越聰明。漢森說(shuō)：“它的目標(biāo)就是像任何人類那樣，擁有同樣的意識(shí)、創(chuàng)造性和其他能力。

?

2017年10月26日，沙特阿拉伯授予香港漢森機(jī)器人公司生產(chǎn)的機(jī)器人索菲亞公民身份。作為史上首個(gè)獲得公民身份的機(jī)器人，索菲亞當(dāng)天在沙特說(shuō)，它希望用人工智能“幫助人類過(guò)上更美好的生活”，人類不用害怕機(jī)器人，“你們對(duì)我好，我也會(huì)對(duì)你們好”。

5.15阿爾法圍棋（AlphaGo）

阿爾法圍棋（AlphaGo）是一款圍棋人工智能程序。其主要工作原理是“深度學(xué)習(xí)”?！吧疃葘W(xué)習(xí)”是指多層的人工神經(jīng)網(wǎng)絡(luò)和訓(xùn)練它的方法。一層神經(jīng)網(wǎng)絡(luò)會(huì)把大量矩陣數(shù)字作為輸入，通過(guò)非線性激活方法取權(quán)重，再產(chǎn)生另一個(gè)數(shù)據(jù)集合作為輸出。這就像生物神經(jīng)大腦的工作機(jī)理一樣，通過(guò)合適的矩陣數(shù)量，多層組織鏈接一起，形成神經(jīng)網(wǎng)絡(luò)“大腦”進(jìn)行精準(zhǔn)復(fù)雜的處理，就像人們識(shí)別物體標(biāo)注圖片一樣。它第一個(gè)擊敗人類職業(yè)圍棋選手、第一個(gè)戰(zhàn)勝圍棋世界冠軍的人工智能機(jī)器人，由谷歌（Google）旗下DeepMind公司戴密斯·哈薩比斯領(lǐng)銜的團(tuán)隊(duì)開(kāi)發(fā)。其主要工作原理是“深度學(xué)習(xí)”。

?

2016年3月，AlphaGo與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，以4比1的總比分獲勝；2016年末2017年初，該程序在中國(guó)棋類網(wǎng)站上以“大師”（Master）為注冊(cè)賬號(hào)與中日韓數(shù)十位圍棋高手進(jìn)行快棋對(duì)決，連續(xù)60局無(wú)一敗績(jī)；2017年5月，在中國(guó)烏鎮(zhèn)圍棋峰會(huì)上，它與排名世界第一的世界圍棋冠軍柯潔對(duì)戰(zhàn)，以3比0的總比分獲勝。圍棋界公認(rèn)阿爾法圍棋的棋力已經(jīng)超過(guò)人類職業(yè)圍棋頂尖水平，在GoRatings網(wǎng)站公布的世界職業(yè)圍棋排名中，其等級(jí)分曾超過(guò)排名人類第一的棋手柯潔。

?

2017年5月27日，在柯潔與阿爾法圍棋的人機(jī)大戰(zhàn)之后，阿爾法圍棋團(tuán)隊(duì)宣布阿爾法圍棋將不再參加圍棋比賽。2017年10月18日，DeepMind團(tuán)隊(duì)公布了最強(qiáng)版阿爾法圍棋，代號(hào)AlphaGo Zero。

?

舊版的AlphaGo主要由幾個(gè)部分組成：一、策略網(wǎng)絡(luò)（Policy Network），給定當(dāng)前局面，預(yù)測(cè)并采樣下一步的走棋；二、快速走子（Fast rollout），目標(biāo)和策略網(wǎng)絡(luò)一樣，但在適當(dāng)犧牲走棋質(zhì)量的條件下，速度要比策略網(wǎng)絡(luò)快1000倍；三、價(jià)值網(wǎng)絡(luò)（Value Network），給定當(dāng)前局面，估計(jì)是白勝概率大還是黑勝概率大；四、蒙特卡洛樹(shù)搜索（Monte Carlo Tree Search），把以上這四個(gè)部分連起來(lái)，形成一個(gè)完整的系統(tǒng)。阿爾法圍棋（AlphaGo）是通過(guò)兩個(gè)不同神經(jīng)網(wǎng)絡(luò)“大腦”合作來(lái)改進(jìn)下棋。這些“大腦”是多層神經(jīng)網(wǎng)絡(luò)，跟那些Google圖片搜索引擎識(shí)別圖片在結(jié)構(gòu)上是相似的。它們從多層啟發(fā)式二維過(guò)濾器開(kāi)始，去處理圍棋棋盤(pán)的定位，就像圖片分類器網(wǎng)絡(luò)處理圖片一樣。經(jīng)過(guò)過(guò)濾，13個(gè)完全連接的神經(jīng)網(wǎng)絡(luò)層產(chǎn)生對(duì)它們看到的局面判斷。這些層能夠做分類和邏輯推理。

?

新版的AlphaGo名為AlphaGo Zero在此前的版本的基礎(chǔ)上，結(jié)合了數(shù)百萬(wàn)人類圍棋專家的棋譜，以及強(qiáng)化學(xué)習(xí)進(jìn)行了自我訓(xùn)練。它與舊版最大的區(qū)別是，它不再需要人類數(shù)據(jù)。也就是說(shuō)，它一開(kāi)始就沒(méi)有接觸過(guò)人類棋譜。研發(fā)團(tuán)隊(duì)只是讓它自由隨意地在棋盤(pán)上下棋，然后進(jìn)行自我博弈。

?

據(jù)阿爾法圍棋團(tuán)隊(duì)負(fù)責(zé)人大衛(wèi)·席爾瓦（Dave Sliver）介紹，AlphaGo Zero使用新的強(qiáng)化學(xué)習(xí)方法，讓自己變成了老師。系統(tǒng)一開(kāi)始甚至并不知道什么是圍棋，只是從單一神經(jīng)網(wǎng)絡(luò)開(kāi)始，通過(guò)神經(jīng)網(wǎng)絡(luò)強(qiáng)大的搜索算法，進(jìn)行了自我對(duì)弈。隨著自我博弈的增加，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整，提升預(yù)測(cè)下一步的能力，最終贏得比賽。更為厲害的是，隨著訓(xùn)練的深入，阿爾法圍棋團(tuán)隊(duì)發(fā)現(xiàn)，AlphaGo Zero還獨(dú)立發(fā)現(xiàn)了游戲規(guī)則，并走出了新策略，為圍棋這項(xiàng)古老游戲帶來(lái)了新的見(jiàn)解。

?

AlphaGo Zero僅用了單一的神經(jīng)網(wǎng)絡(luò)。在此前的版本中，AlphaGo用到了“策略網(wǎng)絡(luò)”來(lái)選擇下一步棋的走法，以及使用“價(jià)值網(wǎng)絡(luò)”來(lái)預(yù)測(cè)每一步棋后的贏家。而在新的版本中，這兩個(gè)神經(jīng)網(wǎng)絡(luò)合二為一，從而讓它能得到更高效的訓(xùn)練和評(píng)估。同時(shí)AlphaGo Zero并不使用快速、隨機(jī)的走子方法。在此前的版本中，AlphaGo用的是快速走子方法，來(lái)預(yù)測(cè)哪個(gè)玩家會(huì)從當(dāng)前的局面中贏得比賽。相反，新版本依靠地是其高質(zhì)量的神經(jīng)網(wǎng)絡(luò)來(lái)評(píng)估下棋的局勢(shì)。

?

AlphaGo的主要設(shè)計(jì)者，戴密斯·哈薩比斯（Demis Hassabis），人工智能企業(yè)家，DeepMind Technologies公司創(chuàng)始人，人稱“阿爾法圍棋之父”。4歲開(kāi)始下國(guó)際象棋，8歲自學(xué)編程，13歲獲得國(guó)際象棋大師稱號(hào)。17歲進(jìn)入劍橋大學(xué)攻讀計(jì)算機(jī)科學(xué)專業(yè)。在大學(xué)里，他開(kāi)始學(xué)習(xí)圍棋。2005年進(jìn)入倫敦大學(xué)學(xué)院攻讀神經(jīng)科學(xué)博士，選擇大腦中的海馬體作為研究對(duì)象。兩年后，他證明了5位因?yàn)楹ｑR體受傷而患上健忘癥的病人，在暢想未來(lái)時(shí)也會(huì)面臨障礙，并憑這項(xiàng)研究入選《科學(xué)》雜志的“年度突破獎(jiǎng)”。2011年創(chuàng)辦DeepMind Technologies公司，以“解決智能”為公司的終極目標(biāo)。

5.16?聯(lián)邦學(xué)習(xí)（Federated Learning）

聯(lián)邦學(xué)習(xí)（又稱協(xié)作學(xué)習(xí)）是一種機(jī)器學(xué)習(xí)技術(shù)，?2016?年由谷歌最先提出，它在多個(gè)持有本地?cái)?shù)據(jù)樣本的分散式邊緣設(shè)備或服務(wù)器上訓(xùn)練算法，而不交換其數(shù)據(jù)樣本。這種方法與傳統(tǒng)的集中式機(jī)器學(xué)習(xí)技術(shù)形成鮮明對(duì)比，傳統(tǒng)的集中式機(jī)器學(xué)習(xí)技術(shù)將所有的數(shù)據(jù)樣本上傳到一個(gè)服務(wù)器上，而更經(jīng)典的去中心化方法則假設(shè)本地?cái)?shù)據(jù)樣本是完全相同分布的。

聯(lián)邦學(xué)習(xí)能夠使多個(gè)參與者在不共享數(shù)據(jù)的情況下建立一個(gè)共同的、強(qiáng)大的機(jī)器學(xué)習(xí)模型，從而解決數(shù)據(jù)隱私、數(shù)據(jù)安全、數(shù)據(jù)訪問(wèn)權(quán)限和異構(gòu)數(shù)據(jù)的訪問(wèn)等關(guān)鍵問(wèn)題。其應(yīng)用遍布國(guó)防、電信、物聯(lián)網(wǎng)或制藥等多個(gè)行業(yè)。

聯(lián)邦學(xué)習(xí)原本用于解決安卓手機(jī)終端用戶在本地更新模型的問(wèn)題，其設(shè)計(jì)目標(biāo)是在保障大數(shù)據(jù)交換時(shí)的信息安全、保護(hù)終端數(shù)據(jù)和個(gè)人數(shù)據(jù)隱私、保證合法合規(guī)的前提下，在多參與方或多計(jì)算結(jié)點(diǎn)之間開(kāi)展高效率的機(jī)器學(xué)習(xí)。其中，聯(lián)邦學(xué)習(xí)可使用的機(jī)器學(xué)習(xí)算法不局限于神經(jīng)網(wǎng)絡(luò)，還包括隨機(jī)森林等重要算法。聯(lián)邦學(xué)習(xí)有望成為下一代人工智能協(xié)同算法和協(xié)作網(wǎng)絡(luò)的基礎(chǔ)。

5.17?Transformer

編碼器（Encoder） 編碼器負(fù)責(zé)將輸入序列轉(zhuǎn)換為一個(gè)固定長(zhǎng)度的向量表示，其中包含了輸入序列的語(yǔ)義信息。它通常由多個(gè)堆疊的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）或者自注意力機(jī)制組成。在編碼器中，每個(gè)時(shí)間步都會(huì)處理輸入序列的一個(gè)元素，并逐步將序列信息編碼為一個(gè)上下文向量。這個(gè)上下文向量可以被看作是整個(gè)輸入序列的語(yǔ)義表示。

解碼器（Decoder） 解碼器接受編碼器輸出的上下文向量作為輸入，并利用它生成目標(biāo)序列。解碼器也通常由多個(gè)堆疊的循環(huán)神經(jīng)網(wǎng)絡(luò)或者自注意力機(jī)制組成。在解碼器中，每個(gè)時(shí)間步都會(huì)生成目標(biāo)序列中的一個(gè)元素，并逐步將輸出序列的信息解碼為一個(gè)完整的序列。解碼器在生成每個(gè)元素時(shí)，會(huì)利用之前生成的元素和上下文向量的信息，以及輸入序列的語(yǔ)義表示。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ???

5.18?BERT

BERT的全稱為Bidirectional Encoder Representation from Transformers，是一個(gè)預(yù)訓(xùn)練的語(yǔ)言表征模型。BERT論文?BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding于2018年發(fā)表，它強(qiáng)調(diào)了不再像以往一樣采用傳統(tǒng)的單向語(yǔ)言模型或者把兩個(gè)單向語(yǔ)言模型進(jìn)行淺層拼接的方法進(jìn)行預(yù)訓(xùn)練，而是采用新的masked language model（MLM），以致能生成深度的雙向語(yǔ)言表征。發(fā)表時(shí)提及在11個(gè)NLP（Natural Language Processing，自然語(yǔ)言處理）任務(wù)中獲得了新的state-of-the-art的結(jié)果，令人目瞪口呆。

該模型有以下主要優(yōu)點(diǎn)：

1）采用MLM對(duì)雙向的Transformers進(jìn)行預(yù)訓(xùn)練，以生成深層的雙向語(yǔ)言表征。

2）預(yù)訓(xùn)練后，只需要添加一個(gè)額外的輸出層進(jìn)行fine-tune，就可以在各種各樣的下游任務(wù)中取得state-of-the-art的表現(xiàn)。在這過(guò)程中并不需要對(duì)BERT進(jìn)行任務(wù)特定的結(jié)構(gòu)修改。

BERT的本質(zhì)上是通過(guò)在海量的語(yǔ)料的基礎(chǔ)上運(yùn)行自監(jiān)督學(xué)習(xí)方法為單詞學(xué)習(xí)一個(gè)好的特征表示，所謂自監(jiān)督學(xué)習(xí)是指在沒(méi)有人工標(biāo)注的數(shù)據(jù)上運(yùn)行的監(jiān)督學(xué)習(xí)。在以后特定的NLP任務(wù)中，我們可以直接使用BERT的特征表示作為該任務(wù)的詞嵌入特征。所以BERT提供的是一個(gè)供其它任務(wù)遷移學(xué)習(xí)的模型，該模型可以根據(jù)任務(wù)微調(diào)或者固定之后作為特征提取器。BERT的源碼和模型2018年10月31號(hào)已經(jīng)在Github上開(kāi)源，簡(jiǎn)體中文和多語(yǔ)言模型也于11月3號(hào)開(kāi)源。

5.18 ChatGPT

ChatGPT（全名：Chat Generative Pre-trained Transformer），美國(guó)OpenAI 研發(fā)的聊天機(jī)器人程序，于2022年11月30日發(fā)布。ChatGPT是基于人工智能技術(shù)驅(qū)動(dòng)的自然語(yǔ)言處理工具，它能夠通過(guò)學(xué)習(xí)和理解人類的語(yǔ)言來(lái)進(jìn)行對(duì)話，還能根據(jù)聊天的上下文進(jìn)行互動(dòng)，真正像人類一樣來(lái)聊天交流，甚至能完成撰寫(xiě)郵件、視頻腳本、文案、翻譯、代碼，寫(xiě)論文等任務(wù)。ChatGPT的出現(xiàn)應(yīng)該是人工智能發(fā)展歷史上最具有里程碑意義的事情，不亞于CPU和操作系統(tǒng)的發(fā)明。

5.19?GPT-4o

美國(guó)當(dāng)?shù)貢r(shí)間5月13日，美國(guó)人工智能研究公司OpenAI在線舉行“春季更新”活動(dòng)，正式推出新的旗艦人工智能模型GPT-4o，以及免費(fèi)向用戶提供更多ChatGPT功能。GPT-4o支持文本、音頻和圖像的任意組合輸入，并能夠生成文本、音頻和圖像的任意組合輸出。

第六章?展望未來(lái)十年

6.1每一個(gè)人都應(yīng)該有一個(gè)智能助手

未來(lái)我認(rèn)為每個(gè)人都應(yīng)該有一個(gè)智能助手，PC端有一個(gè)，手機(jī)端有一個(gè)。他可以幫助你規(guī)劃日程，可以了解你的生活習(xí)慣制定個(gè)性化的生活作息時(shí)間。最最最重要的是你問(wèn)它任何問(wèn)題都可以告訴你怎么做。如：我現(xiàn)在有10塊錢(qián)，給我制定一個(gè)理財(cái)計(jì)劃。我今天有十個(gè)任務(wù)要完成，請(qǐng)給我優(yōu)先排序一下等。

6.2每一個(gè)行業(yè)都應(yīng)該有一個(gè)知識(shí)庫(kù)

作為企業(yè)，需要一個(gè)知識(shí)庫(kù)來(lái)積累企業(yè)的知識(shí)，如一個(gè)企業(yè)發(fā)展了10年或者20年，肯定會(huì)有大量的資料文檔，而當(dāng)下大部分企業(yè)知識(shí)庫(kù)做的是非常差勁的，我認(rèn)為未來(lái)針對(duì)企業(yè)的知識(shí)庫(kù)系統(tǒng)應(yīng)該會(huì)有一定的市場(chǎng)空間。另外就是個(gè)人的知識(shí)庫(kù)，人的平均壽命按照75歲來(lái)算，如果我們從大學(xué)開(kāi)始積累應(yīng)對(duì)社會(huì)或者工作的知識(shí)，那么10年的時(shí)間，我們大部分會(huì)經(jīng)歷由學(xué)校轉(zhuǎn)型社會(huì)的變化，學(xué)校交給我我們的知識(shí)有限，但社會(huì)交給我們的事無(wú)限的，因?yàn)槲覀儠?huì)遇到各種各樣的事情，各種各樣的人，如果有一個(gè)自己的知識(shí)庫(kù)，那么我們通過(guò)自己積累的知識(shí)到一定的程度上，就可以成為自己的知識(shí)百科全書(shū)了。

6.3每一個(gè)人都應(yīng)該有一個(gè)幫助自己閱讀文章，總結(jié)信息，提煉關(guān)鍵信息的助理

但我們閱讀1000字的文檔可能還沒(méi)啥感覺(jué)，但是當(dāng)我們閱讀10000字的時(shí)候，看到結(jié)尾的時(shí)候，可能就忘記這篇文檔講啥了。也許對(duì)于記憶力非常好的人來(lái)說(shuō)，看完了自己能夠快速總結(jié)下來(lái)，但我們大部分是的記憶和總結(jié)文章的能力是有限的，因此需要有一個(gè)幫助自己閱讀文章，特別是長(zhǎng)文檔的工具來(lái)幫助我們提高效率。

6.4機(jī)器人，融合大模型的機(jī)器人

今天的機(jī)器人已經(jīng)發(fā)展的很好了，特別是一些智能工廠，已經(jīng)完全實(shí)現(xiàn)自動(dòng)化了。但對(duì)于家庭服務(wù)機(jī)器人來(lái)說(shuō)，似乎并沒(méi)有那么智能，如果現(xiàn)在需要一個(gè)全職管家，我還是會(huì)找人。但未來(lái)大模型+機(jī)器人結(jié)合，我想肯定會(huì)有機(jī)器智能管家的出現(xiàn)，而且我認(rèn)為這一趨勢(shì)是必然的。

柚子快報(bào)激活碼778899分享：學(xué)習(xí) 人工智能發(fā)展簡(jiǎn)史

http://yzkb.51969.com/

精彩內(nèi)容