柚子快報邀請碼778899分享：機器學習之單變量線性回歸

http://yzkb.51969.com/

1、線性回歸基礎(chǔ)概念：

回歸模型：regression model數(shù)據(jù)集：包含feature（輸入變量）和與之對應的target（輸出變量）訓練集：training set輸入數(shù)據(jù)：x（feature or input feature）輸出數(shù)據(jù)：y（“target”variable or output variable）（x,y）：signal training examplem：number of training examples（訓練集當中的訓練數(shù)據(jù)有多少組m就是多少）（xi,yi）：ith training exampley-hat：y頭頂一個^符號，表示y的估計值或預測值

2、cost function（代價函數(shù)或損失函數(shù)）：

1、假設單變量線性回歸，其模型可以看成：f=wx+b2、其中w和b可以稱為：parameter（參數(shù)）、coefficients（系數(shù)）、weight（權(quán)重）3、對應的代價函數(shù)如下：注意代價函數(shù)除2是為了計算方便 4、當代價函數(shù)最小的時候，模型和數(shù)據(jù)的擬合度更高，所以我們的目的是讓代價函數(shù)最小，下圖是通過將模型f=wx+b中的b看成0，最終通過w獲取最小代價函數(shù)的方法。 5、通過控制變量法（讓b為0），研究w和代價函數(shù)之間的關(guān)系：

可以看出有一個最適合的w對應最小的代價函數(shù)，但是從w開始不論增加還是減少，代價函數(shù)都會增大。 5、關(guān)于代價函數(shù)與w和b之間的關(guān)系： 通過等高線將3D關(guān)系轉(zhuǎn)換為2D關(guān)系 通過（w,b）來對應出一個模型，可以看出改模型擬合程度較差： 2D的等高先當中橢圓的中心點就是對應代價函數(shù)最小的w和b，由此得到的模型擬合程度較高：

3、梯度下降算法

前言：

在線性回歸中，不必手動嘗試w和b的最佳等高線圖，我們可以用代碼編寫高效的算法自動查找可以使代價函數(shù)最小的w和b，從而獲取和數(shù)據(jù)擬合度最高的模型。線性回歸的代價函數(shù)J不一定都是上面介紹的那種方差形式，只不過上面那種形式是較為常見，且效果較好的函數(shù)。 梯度下降：gradient descent梯度下降算法適合所有模型從J（w,b）過渡到更一般使用的J（w1,w2,…wn,b）對于J（w,b）模型的梯度下降算法而言：keep changing w,b to reduce J（w,b）,Until we settle at or near a minimum梯度下降步驟：

1、找到最陡的方向（環(huán)視一周）2、走一小步3、重復1步驟具體可參考下圖： 梯度下降算法介紹：

注意：其中α代表步長也可以叫學習率，后面的導數(shù)正負表示下將方向，導數(shù)的值也可以改變下降步長，具體可以參考下面兩幅圖： 介紹梯度下降算法的推導過程，以及前面在代價函數(shù)中為什么要多除一個2 梯度下降算法的偽代碼表示

總結(jié)：上述內(nèi)容，介紹了線性回歸基礎(chǔ)概念，又介紹了代價函數(shù)和梯度下降算法，線性回歸是一種機器學習模型，而代價函數(shù)就是為了使模型更加準確而提出的一個評價依據(jù)，梯度下降算法就是獲取最小代價函數(shù)的一種算法。

梯度下降算法執(zhí)行過程：逐漸逼近或到達代價函數(shù)最小的位置 注意：在上述所講的單變量線性回歸模型中，每一次下降使用的是所有訓練樣本，所以這種梯度下降算法叫做”批量梯度下降“（Batch gradient descent）

柚子快報邀請碼778899分享：機器學習之單變量線性回歸

http://yzkb.51969.com/

推薦閱讀