柚子快報激活碼778899分享：人工智能 機器學(xué)習(xí) 第五章

http://yzkb.51969.com/

目錄

一、神經(jīng)元模型

二、感知機和多層網(wǎng)絡(luò)

三、誤差逆?zhèn)鞑ニ惴?/p>

四、全局最小和局部極小

五、其他

1.RBF（徑向基函數(shù)）神經(jīng)網(wǎng)絡(luò)

2.ART（自適應(yīng)諧振理論）網(wǎng)絡(luò)

3.SOM（自組織映射）網(wǎng)絡(luò)

4.級聯(lián)相關(guān)網(wǎng)絡(luò)

5.Elman網(wǎng)絡(luò)

6.Boltzmann機

六、深度學(xué)習(xí)

一、神經(jīng)元模型

本書中對神經(jīng)網(wǎng)絡(luò)的定義為神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)。機器學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)指的是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，即機器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)兩個學(xué)科領(lǐng)域的交叉部分。

神經(jīng)網(wǎng)絡(luò)中最基本的成分是神經(jīng)元模型。在生物神經(jīng)網(wǎng)絡(luò)中每個神經(jīng)元與其他神經(jīng)元相連，當它興奮時， 就會向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)，從而改變這些神經(jīng)元內(nèi)的電位；如果某神經(jīng)元的電位超過了一個闊值，那么它就會被激活興奮起來，向其他神經(jīng)元發(fā)送化學(xué)物質(zhì)。

一直沿用至今的“M-P神經(jīng)元模型”正是對這一結(jié)構(gòu)進行了抽象：

理想的激活函數(shù)是階躍函數(shù)，其將輸入值映射為輸出值0或1，但是因為其不連續(xù)、不光滑的性質(zhì)，實際常用sigmoid函數(shù)作為激活函數(shù)，有時也將sigmoid函數(shù)叫做擠壓函數(shù)。階躍函數(shù)和sigmoid函數(shù)如下所示：

?把許多神經(jīng)元連接在一起就得到了神經(jīng)網(wǎng)絡(luò)。

二、感知機和多層網(wǎng)絡(luò)

感知機由兩層神經(jīng)元組成，輸入層接收外界輸入信號后傳遞給輸出層，輸出層是M-P神經(jīng)元，也叫閾值邏輯單元。給定訓(xùn)練數(shù)據(jù)集，權(quán)重以及閾值可通過學(xué)習(xí)得到，閾值可看作一個固定輸入為-1.0的啞結(jié)點所對應(yīng)的連接權(quán)重，這樣權(quán)重和閾值的學(xué)習(xí)可統(tǒng)一為權(quán)重的學(xué)習(xí)。對于訓(xùn)練樣例(x,y)，若當前感知機的輸出為，則權(quán)重的調(diào)整為：

其中為學(xué)習(xí)率。感知機只有輸出層神經(jīng)元進行激活函數(shù)處理，即只擁有一層功能神經(jīng)元，其學(xué)習(xí)能力有限，只能處理線性可分的問題。對于這類問題，感知機的學(xué)習(xí)過程一定會收斂，因此總是可以求出適當?shù)臋?quán)值。要處理非線性可分的問題，需要考慮使用多層功能神經(jīng)元，如下圖的能解決異或問題的感知機的結(jié)構(gòu)，其輸出層和輸入層之間有一層被稱為隱層或隱含層的神經(jīng)元。隱含層和輸出層神經(jīng)元都是擁有激活函數(shù)的功能神經(jīng)元。

?常見的神經(jīng)網(wǎng)絡(luò)一般是如下的層級結(jié)構(gòu)，每層神經(jīng)元與下層的神經(jīng)元全互連，不存在同層連接也不曾在跨層連接。其被稱為多層前饋神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是根據(jù)訓(xùn)練數(shù)據(jù)來調(diào)整神經(jīng)元之間的連接權(quán)以及每個功能神經(jīng)元的閾值。換句話說：神經(jīng)網(wǎng)絡(luò)所學(xué)習(xí)到的東西都蘊含在網(wǎng)絡(luò)的連接權(quán)與閾值中。

三、誤差逆?zhèn)鞑ニ惴?/p>

?想要訓(xùn)練多層網(wǎng)絡(luò)，簡單感知機的學(xué)習(xí)規(guī)則并不夠用，需要更強的學(xué)習(xí)算法。誤差逆?zhèn)鞑ィ˙P）算法就是其中的代表。BP算法不僅可用于多層前饋神經(jīng)網(wǎng)絡(luò)，還可用于其他類型的神經(jīng)網(wǎng)絡(luò)，例如訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò) 。 但通常說 BP網(wǎng)絡(luò)時，一般是指用 BP 算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)。

BP算法基于梯度下降策略，以目標的負梯度方向?qū)?shù)進行調(diào)整。學(xué)習(xí)率控制著算法每一輪迭代中的更新步長，太長會導(dǎo)致震蕩，太短會導(dǎo)致收斂速度過慢。其基本流程如下圖所示：

BP算法的目標是最小化訓(xùn)練集D上的累積誤差，基于累積誤差最小化的更新規(guī)則，就可以得到累積誤差逆?zhèn)鞑ニ惴?，即每次讀取全部的數(shù)據(jù)集一遍，進行一輪學(xué)習(xí)，從而基于當前的累積誤差進行權(quán)值調(diào)整，其參數(shù)更新的頻率相比標準BP算法低了很多。在很多任務(wù)中，尤其是在數(shù)據(jù)量很大的時候，往往標準BP算法會獲得較好的結(jié)果。?

BP神經(jīng)網(wǎng)絡(luò)經(jīng)常會遭遇過擬合，可以使用如下兩種策略來緩解其問題：

早停：將數(shù)據(jù)分為訓(xùn)練集與測試集，訓(xùn)練集用于學(xué)習(xí)，測試集用于評估性能，若在訓(xùn)練過程中，訓(xùn)練集的累積誤差降低，而測試集的累積誤差升高，則停止訓(xùn)練。引入正則化：基本思想是在累積誤差函數(shù)中增加一個用于描述網(wǎng)絡(luò)復(fù)雜度的部分，例如所有權(quán)值與閾值的平方和，其中λ∈（0,1）用于對累積經(jīng)驗誤差與網(wǎng)絡(luò)復(fù)雜度這兩項進行折中，常通過交叉驗證法來估計。

四、全局最小和局部極小

若用E表示神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集上的誤差，則它是關(guān)于連接權(quán)w和閾值θ的函數(shù)。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程可以看作是一個參數(shù)尋優(yōu)過程，即在參數(shù)空間中。尋找一組最優(yōu)解使得E最小。其中有局部極小和全局最小兩種最優(yōu)。

局部極小點：參數(shù)空間中的某個點，其鄰域點的誤差函數(shù)值均不小于該點的誤差函數(shù)值。

全局最小點：參數(shù)空間中的某個點，所有其他點的誤差函數(shù)值均不小于該點的誤差函數(shù)值。

要成為局部極小點，只要滿足該點在參數(shù)空間中的梯度為零。局部極小可以有多個，而全局最小只有一個。全局最小一定是局部極小，但局部最小卻不一定是全局最小。

基于梯度的搜索是使用最廣泛的參數(shù)尋優(yōu)方法，梯度下降法的主要思想就是沿著負梯度方向去搜索最優(yōu)解，負梯度方向是函數(shù)值下降最快的方向，若迭代到某處的梯度為0，則表示達到一個局部最小，參數(shù)更新停止。因此在現(xiàn)實任務(wù)中，通常使用以下策略盡可能地去接近全局最小：

以多組不同參數(shù)值初始化多個神經(jīng)網(wǎng)絡(luò)，按標準方法訓(xùn)練，迭代停止后，取其中誤差最小的解作為最終參數(shù)。使用模擬退火技術(shù)使用隨機梯度下降，即在計算梯度時加入了隨機因素，使得在局部最小時，計算的梯度仍可能不為0，從而迭代可以繼續(xù)進行。

其次還可以使用遺傳算法來訓(xùn)練神經(jīng)網(wǎng)絡(luò)以更好的逼近全局最小。

五、其他

1.RBF（徑向基函數(shù)）神經(jīng)網(wǎng)絡(luò)

RBF（徑向基函數(shù)）神經(jīng)網(wǎng)絡(luò)是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，使用徑向基函數(shù)作為隱層神經(jīng)元激活函數(shù)，輸出層是對隱層神經(jīng)元輸出的線性組合。其表示為：

通常采用兩個步驟來訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò)：（1）確定神經(jīng)元中心，常用的方法為隨機采樣，聚類等。（2）利用BP算法確定參數(shù)和

2.ART（自適應(yīng)諧振理論）網(wǎng)絡(luò)

?競爭性學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)中一種常用的無監(jiān)督學(xué)習(xí)策略，在使用時，網(wǎng)絡(luò)的輸出神經(jīng)元相互競爭，每一時刻只有一個競爭獲勝的神經(jīng)元被激活，其他神經(jīng)元狀態(tài)被抑制，也叫做勝者通吃原則。

ART（自適應(yīng)諧振理論）網(wǎng)絡(luò)是競爭性學(xué)習(xí)的重要代表，由比較層、識別層、識別閾值和重置模塊組成。比較層負責(zé)接 收輸入樣本，并將其傳遞給識別層神經(jīng)元。識別層每個神經(jīng)元對應(yīng)一個模式類，神經(jīng)元數(shù)目可以在訓(xùn)練過程中動態(tài)增長以增加新的模式類。

識別闕值對ART網(wǎng)絡(luò)的性能有重要影響。當識別閾值較高時，輸入樣本將會被分成比較多、比較精細的模式類，而如果識別閾值較低，則會產(chǎn)生比較少、比較粗略的模式類。ART緩解了競爭型學(xué)習(xí)中的可塑性-穩(wěn)定性窘境，其具有可進行增量學(xué)習(xí)或在線學(xué)習(xí)的優(yōu)點。

3.SOM（自組織映射）網(wǎng)絡(luò)

SOM（自組織映射）網(wǎng)絡(luò)是一種競爭學(xué)習(xí)型的無監(jiān)督神經(jīng)網(wǎng)絡(luò)，能將高維輸入數(shù)據(jù)映射到低維空間，同時保持輸入數(shù)據(jù)在高維空間的拓撲結(jié)構(gòu)，即將高維空間中相似的樣本點映射到網(wǎng)絡(luò)輸出層中的鄰近神經(jīng)元。

SOM網(wǎng)絡(luò)中的輸出層神經(jīng)元以矩陣方式排列在二維空間中，每個神經(jīng)元都擁有一個權(quán)向量，網(wǎng)絡(luò)在接收輸入向量后，將會確定輸出層獲勝神經(jīng)元，它決定了該輸入向量在低維空間中的位置。SOM 的訓(xùn)練目標就是為每個輸出層神經(jīng)元找到合適的權(quán)向量，以達到保持拓撲結(jié)構(gòu)的目的。

4.級聯(lián)相關(guān)網(wǎng)絡(luò)

結(jié)構(gòu)自適網(wǎng)絡(luò)是將網(wǎng)絡(luò)結(jié)構(gòu)也當作學(xué)習(xí)的目標之一。并希望能在訓(xùn)練過程中找到最符合數(shù)據(jù)特點 的網(wǎng)絡(luò)結(jié)構(gòu)。級聯(lián)相關(guān)網(wǎng)絡(luò)就是結(jié)構(gòu)自適應(yīng)網(wǎng)絡(luò)的代表，其訓(xùn)練過程如下：

主要有級聯(lián)和相關(guān)兩個成分。級聯(lián)是指建立層次連接的層級結(jié)構(gòu)；相關(guān)是指通過最大化新神經(jīng)元的輸出與網(wǎng)絡(luò)誤差之間的相關(guān)性來訓(xùn)練相關(guān)的參數(shù)。

5.Elman網(wǎng)絡(luò)

?遞歸神經(jīng)網(wǎng)絡(luò)允許網(wǎng)絡(luò)中出現(xiàn)環(huán)狀結(jié)構(gòu)，從而可讓一些神經(jīng)元的輸出反饋回來作為輸入信號。Elman網(wǎng)絡(luò)時常見的遞歸神經(jīng)網(wǎng)絡(luò)之一，其結(jié)構(gòu)為：

6.Boltzmann機

?神經(jīng)網(wǎng)絡(luò)中有一類模型是為網(wǎng)絡(luò)狀態(tài)定義一個能量，能量最小化時網(wǎng)絡(luò)達到理想狀態(tài)，網(wǎng)絡(luò)的訓(xùn)練過程就是在最小化這個能量函數(shù)。Boltzmann機就是一種基于能量的模型，常見結(jié)構(gòu)如下所示：

其神經(jīng)元分為顯層和隱層兩層，顯層用于表示數(shù)據(jù)的輸入和輸出，隱層被理解為數(shù)據(jù)的內(nèi)在表達。受限Boltzmann機僅保留了Boltzmann機結(jié)構(gòu)中顯層和隱層之間的連接，將其簡化為二部圖。其常用對比散度（CD）算法來進行訓(xùn)練。

六、深度學(xué)習(xí)

參數(shù)越多的模型復(fù)雜度越高、容量越大，可以完成更復(fù)雜的學(xué)習(xí)任務(wù)；但是其訓(xùn)練效率也會下降，易陷入過擬合。深度學(xué)習(xí)正是其代表。

提高容量最簡單的方法是增加隱層的數(shù)目；其次也可以增加隱層神經(jīng)元的數(shù)目。前者更加有效，因為增加隱層數(shù)不僅增加了擁有激活函數(shù)的神經(jīng)元數(shù)目，還增加了激活函數(shù)嵌套的層數(shù)。對于多隱層神經(jīng)網(wǎng)絡(luò)，經(jīng)典算法如標準BP算法往往會在誤差逆?zhèn)鞑r發(fā)散，無法收斂達到穩(wěn)定狀態(tài)。

對于多隱層網(wǎng)絡(luò)的訓(xùn)練，有如下兩種方法：

無監(jiān)督逐層訓(xùn)練：每次訓(xùn)練一層隱節(jié)點，把上一層隱節(jié)點的輸出當作輸入來訓(xùn)練，本層隱結(jié)點訓(xùn)練好后，輸出再作為下一層的輸入來訓(xùn)練，這稱為預(yù)訓(xùn)練。全部預(yù)訓(xùn)練完成后，再對整個網(wǎng)絡(luò)進行微調(diào)訓(xùn)練。一個典型例子就是深度信念網(wǎng)絡(luò)（DBN）。這種做法其實可以視為把大量的參數(shù)進行分組，先找出每組較好的設(shè)置，再基于這些局部最優(yōu)的結(jié)果來訓(xùn)練全局最優(yōu)。權(quán)共享：同一層神經(jīng)元使用完全相同的連接權(quán)，典型的例子是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。這樣做可以大大減少需要訓(xùn)練的參數(shù)數(shù)目。

下面為一個使用CNN進行手寫數(shù)字識別的過程圖。

無論是DBN還是CNN，都是通過多個隱層來把原本與輸出目標聯(lián)系不大的初始輸入轉(zhuǎn)化為與輸出目標更加密切的表示，使原來只通過單層映射難以完成的任務(wù)變?yōu)榭赡?。即通過多層處理，逐漸將初始的“低層”特征表示轉(zhuǎn)化為“高層”特征表示，從而使得最后可以用簡單的模型來完成復(fù)雜的學(xué)習(xí)任務(wù)。

因此可將其理解為進行特征學(xué)習(xí)或表示學(xué)習(xí)。

柚子快報激活碼778899分享：人工智能 機器學(xué)習(xí) 第五章

http://yzkb.51969.com/

精彩文章