柚子快報(bào)邀請(qǐng)碼778899分享：對(duì)線性回歸的學(xué)習(xí)與總結(jié)

http://yzkb.51969.com/

回歸分析是指一種預(yù)測(cè)性的建模技術(shù)，主要是研究自變量和因變量的關(guān)系。通常使用線/曲線來(lái)擬合數(shù)據(jù)點(diǎn)，然后研究如何使曲線到數(shù)據(jù)點(diǎn)的距離差異最小。

線性回歸：

假設(shè)目標(biāo)值（因變量）與特征值（自變量）之間線性相關(guān)。然后構(gòu)建損失函數(shù)。最后通過(guò)令損失函數(shù)最小來(lái)確定參數(shù)。（最關(guān)鍵的一步）

在回歸問(wèn)題中，均方誤差是回歸任務(wù)中最常用的性能度量。記J(a,b)為f(x)和y之間的差異，即

?這里稱J(a,b)為損失函數(shù)，明顯可以看出它是個(gè)二次函數(shù)，即凸函數(shù)（這里的凸函數(shù)對(duì)應(yīng)中文教材的凹函數(shù)），所以有最小值。當(dāng)J(a,b)取最小值的時(shí)候，f(x)和y的差異最小，然后我們可以通過(guò)J(a,b)取最小值來(lái)確定a和b的值。

確定a和b的值的三種方法：

1.最小二乘法：

既然損失函數(shù)J(a,b)是凸函數(shù)，那么分別關(guān)于a和b對(duì)J(a,b)求偏導(dǎo)，并令其為零解出a和b。這里直接給出結(jié)果： 解得：

? ? ? ? ??

2.梯度下降法：

梯度的本意是一個(gè)向量（矢量），表示某一函數(shù)（該函數(shù)一般是二元及以上的）在該點(diǎn)處的方向?qū)?shù)沿著該方向取得最大值，即函數(shù)在該點(diǎn)處沿著該方向（此梯度的方向）變化最快，變化率最大（為該梯度的模）。 當(dāng)函數(shù)是一元函數(shù)時(shí)，梯度就是導(dǎo)數(shù)。

在梯度下降法中，需要我們先給參數(shù)a賦一個(gè)預(yù)設(shè)值，然后再一點(diǎn)一點(diǎn)的修改a，直到J(a)取最小值時(shí)，確定a的值。下面直接給出梯度下降法的公式（其中α為正數(shù)）：

?總結(jié)下，不同的步長(zhǎng)η?，隨著迭代次數(shù)的增加，會(huì)導(dǎo)致被優(yōu)化函數(shù)f(x)?的值有不同的變化：

f(x) 往上走（紅線），自然是η 過(guò)大，需要調(diào)低。

f(x)一開(kāi)始下降的特別急，然后就幾乎沒(méi)有變化（棕線），可能η 較大，需要調(diào)低。

f(x)幾乎線性變化（藍(lán)線），可能是η 較小，需要調(diào)大。

3.正規(guī)方程：

同樣，假設(shè)有n組數(shù)據(jù)，其中目標(biāo)值（因變量）與特征值（自變量）之間的關(guān)系為： 正規(guī)方程的公式：

總結(jié)：

1.梯度下降法是通用的，包括更為復(fù)雜的邏輯回歸算法中也可以使用，但是對(duì)于較小的數(shù)據(jù)量來(lái)說(shuō)它的速度并沒(méi)有優(yōu)勢(shì)。???????? 2.正規(guī)方程的速度往往更快，但是當(dāng)數(shù)量級(jí)達(dá)到一定的時(shí)候，還是梯度下降法更快，因?yàn)檎?guī)方程中需要對(duì)矩陣求逆，而求逆的時(shí)間復(fù)雜的是n的3次方。 3.最小二乘法一般比較少用，雖然它的思想比較簡(jiǎn)單，在計(jì)算過(guò)程中需要對(duì)損失函數(shù)求導(dǎo)并令其為0，從而解出系數(shù)θ。但是對(duì)于計(jì)算機(jī)來(lái)說(shuō)很難實(shí)現(xiàn)，所以一般不使用最小二乘法。

柚子快報(bào)邀請(qǐng)碼778899分享：對(duì)線性回歸的學(xué)習(xí)與總結(jié)

http://yzkb.51969.com/

文章鏈接