柚子快報(bào)激活碼778899分享：人工智能 機(jī)器學(xué)習(xí)筆記

http://yzkb.51969.com/

一、如何理解機(jī)器學(xué)習(xí)

對(duì)模型輸入一些內(nèi)容，一定會(huì)得到輸出，無(wú)論輸出是對(duì)是錯(cuò)。這些輸入可以是音頻，圖片或者文字，例如給定一段音頻，音頻內(nèi)容輸出為“how are you”，或者給出一張照片，輸出結(jié)果為貓。

因此，機(jī)器學(xué)習(xí)約等于在尋找這樣一個(gè)函數(shù)f，給這個(gè)函數(shù)一個(gè)輸入，它會(huì)給出相應(yīng)的輸出。

模型是一系列函數(shù)，意思是在這個(gè)模型中并非只有一個(gè)f，而是一簇f。給這些函數(shù)相同的輸入，比如給它們一張小貓和小狗的照片，這些函數(shù)也會(huì)給出輸出。

每個(gè)f都給出了輸出，但是如何判斷哪個(gè)是最好的輸出，這就需要一個(gè)評(píng)判標(biāo)準(zhǔn)，也就是損失函數(shù)，根據(jù)這個(gè)評(píng)判標(biāo)準(zhǔn)選擇出最好的一個(gè)函數(shù)f*。

綜上來(lái)看，機(jī)器學(xué)習(xí)總共分為三步：

1、給出模型也就是一組f，并訓(xùn)練模型

2、給出評(píng)判最優(yōu)的標(biāo)準(zhǔn)：計(jì)算出損失函數(shù)

3、根據(jù)標(biāo)準(zhǔn)找出最優(yōu)的輸出f*

?二、學(xué)習(xí)圖譜——回歸問(wèn)題

回歸問(wèn)題是指：預(yù)測(cè)值為連續(xù)值的問(wèn)題，分類問(wèn)題指：預(yù)測(cè)值為離散值的問(wèn)題。

分類問(wèn)題又有二分類和多分類，例如二分類——垃圾郵件處理，多分類——文本分類。

回歸分析：預(yù)測(cè)基于輸入變量的連續(xù)輸出，實(shí)例包括股市預(yù)測(cè)、自動(dòng)駕駛控制、推薦系統(tǒng)

以股票預(yù)測(cè)為例，第一步先構(gòu)造股票預(yù)測(cè)的模型。是一元二次的函數(shù)，線性的模型，參數(shù)是b和w，x代表的是時(shí)間，y代表當(dāng)時(shí)的股票數(shù)據(jù)，通過(guò)以往的數(shù)據(jù)訓(xùn)練之后得到的模型來(lái)實(shí)現(xiàn)預(yù)測(cè)。

第二步給出評(píng)價(jià)模型優(yōu)劣的標(biāo)準(zhǔn)，也就是計(jì)算損失函數(shù)L。評(píng)價(jià)模型優(yōu)劣比較的是實(shí)際值與預(yù)測(cè)值的差值，差值越小說(shuō)明預(yù)測(cè)值越接近實(shí)際值。預(yù)測(cè)值可能會(huì)大于、小于或者等于實(shí)際值，因此實(shí)際值與預(yù)測(cè)值的差值有一個(gè)下限，就是0——預(yù)測(cè)值=實(shí)際值。

計(jì)算損失函數(shù)時(shí)，若對(duì)實(shí)際值與預(yù)測(cè)值的差值取絕對(duì)值稱之為L(zhǎng)1，若是對(duì)實(shí)際值與預(yù)測(cè)值的差值去平方，則稱為L(zhǎng)2。

第三步選擇最佳函數(shù)，從一組候選的函數(shù) f1 ?, f2 ,… 中選擇一個(gè)函數(shù) f* ，它能夠最小化損失函數(shù) L。最佳函數(shù) f* 是通過(guò)最小化損失函數(shù)L(f) 來(lái)選取的。換句話說(shuō)，我們尋找能夠使損失函數(shù)達(dá)到最小值的函數(shù)參數(shù) w 和 b ，記作 w* 和 b* ，找到損失函數(shù)最小值的方法是梯度下降法。

梯度下降法是通過(guò)迭代地調(diào)整參數(shù) w 和 b（即模型中的權(quán)重和偏置），我們可以逐漸接近損失函數(shù)的最小點(diǎn)，從而找到最佳函數(shù) f* 。步驟如下：

1.選擇初始值 w0?：從某個(gè)初始值開(kāi)始，這個(gè)值可以是隨機(jī)選擇的。這是迭代過(guò)程的起點(diǎn)。

2.計(jì)算梯度 dL/dw?在 w = w0 處的值：梯度是損失函數(shù)在當(dāng)前參數(shù)值 w0 處的斜率或?qū)?shù)。它指示了損失函數(shù) L(w) 關(guān)于參數(shù) w 增加最快的方向。

3.根據(jù)梯度值更新 w：

如果梯度 dL/dw? 為負(fù)值（斜率為負(fù)），說(shuō)明損失函數(shù) L(w) 隨著 w 的增加而減少，因此需要增加 w 的值，以向損失最小的方向移動(dòng)（往正軸方向移動(dòng)）。

如果梯度 dL/dw 為正值（斜率為正），說(shuō)明損失函數(shù) L(w) 隨著w 的增加而增加，因此需要減少?w 的值，也是為了向損失最小的方向移動(dòng)（往負(fù)軸方向移動(dòng)）。

4.重復(fù)上述過(guò)程：不斷重復(fù)計(jì)算梯度和更新 w 的過(guò)程，直到達(dá)到一個(gè)預(yù)定的停止條件，比如梯度變得非常小（接近于0），或者已經(jīng)進(jìn)行了足夠多的迭代次數(shù)。最終找到的 w* 就是損失函數(shù) L(w) 的最小值對(duì)應(yīng)的參數(shù)值。

這個(gè)過(guò)程被可視化為一個(gè)人（在圖中以卡通形象表示）沿著損失函數(shù)的曲線下山，目標(biāo)是到達(dá)山谷的最低點(diǎn)，即損失最小的點(diǎn)。通過(guò)沿著梯度相反的方向（下山的方向）逐步移動(dòng)，可以逐漸接近這個(gè)最低點(diǎn)。

用于控制在優(yōu)化過(guò)程中沿著損失函數(shù)的梯度下降多遠(yuǎn)的參數(shù)是學(xué)習(xí)率（η）。具體來(lái)說(shuō)，它影響參數(shù)更新的幅度。

一個(gè)合適的學(xué)習(xí)率能夠保證穩(wěn)定而有效地接近最小值，比如紅色的路徑，此為最理想的狀態(tài)。

而過(guò)小的學(xué)習(xí)率會(huì)導(dǎo)致參數(shù)更新非常緩慢，需要更多的迭代次數(shù)才能接近最小值，比如藍(lán)色的路徑。

稍微大一點(diǎn)的學(xué)習(xí)率可能會(huì)導(dǎo)致在接近最小值時(shí)仍然有過(guò)度的震蕩，比如綠色路徑。

如果學(xué)習(xí)率過(guò)大，參數(shù)更新的步長(zhǎng)也會(huì)非常大，可能導(dǎo)致優(yōu)化過(guò)程偏離最小值，比如黃色路徑。

一個(gè)線性回歸模型，在訓(xùn)練集得到的平均誤差是31.9，但在測(cè)試集上得到的平均誤差為35，若想將誤差降低，考慮引入更高項(xiàng)x^2。

?

在此規(guī)模下，訓(xùn)練集的平均誤差降為15.4，測(cè)試集的平均誤差降為18.4。繼續(xù)引入更高項(xiàng)x^3，訓(xùn)練集的平均誤差降為15.3，測(cè)試集的平均誤差降為18.1。

?

再繼續(xù)引入更高項(xiàng)時(shí)會(huì)發(fā)現(xiàn)，訓(xùn)練集的平均誤差在減小，而訓(xùn)練集的平均誤差開(kāi)始變大，會(huì)出現(xiàn)這種情況是由于模型過(guò)擬合。

?

下圖中的靶心代表真實(shí)函數(shù) f，而點(diǎn) f?^ 代表通過(guò)訓(xùn)練得到的模型的預(yù)測(cè)。偏差（Bias）是模型預(yù)測(cè)與真實(shí)值之間的誤差的度量，即模型的準(zhǔn)確性。方差（Variance）衡量的是模型預(yù)測(cè)對(duì)于給定數(shù)據(jù)的敏感度，即模型在不同數(shù)據(jù)集上訓(xùn)練時(shí)預(yù)測(cè)結(jié)果的波動(dòng)性。

左上（低偏差、低方差）：預(yù)測(cè)結(jié)果集中在真實(shí)值（靶心）附近，表示模型既準(zhǔn)確又穩(wěn)定，是理想的狀態(tài)。

右上（低偏差、高方差）：預(yù)測(cè)結(jié)果分散但整體上集中在真實(shí)值附近，表明模型在不同的數(shù)據(jù)集上可能有很大的預(yù)測(cè)變化，但平均來(lái)看預(yù)測(cè)是準(zhǔn)確的。這種情況常見(jiàn)于過(guò)擬合：模型對(duì)訓(xùn)練數(shù)據(jù)非常敏感，導(dǎo)致在新數(shù)據(jù)上的預(yù)測(cè)非常不穩(wěn)定。

左下（高偏差、低方差）：所有的預(yù)測(cè)結(jié)果都集中在離真實(shí)值較遠(yuǎn)的某個(gè)點(diǎn)附近，表示模型的預(yù)測(cè)普遍不準(zhǔn)確，但對(duì)于不同的數(shù)據(jù)集預(yù)測(cè)結(jié)果卻很一致。這種情況通常與欠擬合相關(guān)：模型太簡(jiǎn)單，不能捕獲數(shù)據(jù)的基本結(jié)構(gòu)。

右下（高偏差、高方差）：預(yù)測(cè)結(jié)果不僅分散，并且平均預(yù)測(cè)點(diǎn)離真實(shí)值也較遠(yuǎn)，這是最不理想的情況，表明模型既不準(zhǔn)確又不穩(wěn)定。

柚子快報(bào)激活碼778899分享：人工智能 機(jī)器學(xué)習(xí)筆記

http://yzkb.51969.com/

參考文章