柚子快報激活碼778899分享：什么是自回歸模型
柚子快報激活碼778899分享：什么是自回歸模型
自回歸模型是一種統(tǒng)計模型，它用來描述某個變量的當(dāng)前值與其自身過去的值之間的關(guān)系。這種模型廣泛應(yīng)用于時間序列數(shù)據(jù)分析，其中一個變量的歷史值被用來預(yù)測其未來值。在自回歸模型中，當(dāng)前時點的值被視為過去若干時點值的線性函數(shù)。
自回歸模型的定義
自回歸模型（Autoregressive Model, AR模型）是時間序列分析中的一種基本模型，其核心思想是當(dāng)前觀測值可以通過其過去的若干個觀測值的加權(quán)和來預(yù)測，其中的權(quán)重參數(shù)由數(shù)據(jù)自身決定。數(shù)學(xué)上，一個自回歸模型可以表示為：
[
X
t
=
c
+
?
1
X
t
?
1
+
?
2
X
t
?
2
+
?
+
?
p
X
t
?
p
+
?
t
X_t = c + \phi_1 X_{t-1} + \phi_2 X_{t-2} + \cdots + \phi_p X_{t-p} + \epsilon_t
Xt?=c+?1?Xt?1?+?2?Xt?2?+?+?p?Xt?p?+?t? ]
其中：
(
X
t
X_t
Xt? ) 是在時間 (
t
t
t ) 的觀測值。(
c
c
c ) 是常數(shù)項（也可以為0）。(
?
1
,
?
2
,
…
,
?
p
\phi_1, \phi_2, \ldots, \phi_p
?1?,?2?,…,?p? ) 是模型參數(shù)，反映了前 ( p ) 個時間點的觀測值對當(dāng)前值的影響大小。(
p
p
p ) 是模型的階數(shù)，指模型中包括多少個時間步的滯后值。( $
e
p
s
i
l
o
n
t
epsilon_t
epsilont?$ ) 是誤差項，假設(shè)它是白噪聲。
自回歸模型的特點
依賴性：自回歸模型假設(shè)時間序列數(shù)據(jù)的當(dāng)前值依賴于其歷史值。參數(shù)化：模型通過確定參數(shù) (
?
1
,
?
2
,
…
,
?
p
\phi_1, \phi_2, \ldots, \phi_p
?1?,?2?,…,?p? ) 來形成對歷史數(shù)據(jù)的依賴關(guān)系。自相關(guān)性：這種模型的一個關(guān)鍵特征是自相關(guān)性，即序列的當(dāng)前值與其過去值之間存在相關(guān)關(guān)系。
自回歸模型的局限性
雖然自回歸模型在許多場合下表現(xiàn)良好，但它依賴于幾個假設(shè)：
時間序列是平穩(wěn)的，即其統(tǒng)計屬性如均值、方差和自相關(guān)結(jié)構(gòu)不隨時間變化。模型假定過去的值是未來值的唯一決定因素，忽略了可能存在的外部影響因素。
自回歸模型在處理具有復(fù)雜季節(jié)性或非線性特征的時間序列數(shù)據(jù)時可能需要進行調(diào)整或與其他模型（如移動平均模型、差分自回歸移動平均模型等）結(jié)合使用。
總之，自回歸模型是時間序列分析中的一個強大工具，它提供了一種相對簡單的方法來模擬和預(yù)測序列數(shù)據(jù)。不過，正確的模型選擇和參數(shù)估計是實現(xiàn)有效預(yù)測的關(guān)鍵。
序列的聯(lián)合分布通過概率的鏈?zhǔn)椒▌t的方式，充分展現(xiàn)了如何從基本的概率原則中構(gòu)建復(fù)雜的序列依賴關(guān)系。在給出的文本例子中，整個句子“the mouse ate the cheese”的生成可以看作是一步步根據(jù)前面的詞匯來決定下一個詞匯的過程。
概率的鏈?zhǔn)椒▌t
鏈?zhǔn)椒▌t是概率論中的一個基本法則，用于**將多變量聯(lián)合概率分解為條件概率的乘積。**對于序列 (
x
1
:
L
x_{1:L}
x1:L?) 而言，每一個詞 (
x
i
x_i
xi?) 的出現(xiàn)不僅僅依賴于它前面的一個詞，而是依賴于它前面所有的詞的累積上下文 (
x
1
:
i
?
1
x_{1:i-1}
x1:i?1?)。這種分解方法非常有用，因為它允許我們逐步構(gòu)建和計算整個序列的概率，即便是在序列非常長的情況下。
p
(
x
1
:
L
)
=
p
(
x
1
)
p
(
x
2
∣
x
1
)
p
(
x
3
∣
x
1
,
x
2
)
?
p
(
x
L
∣
x
1
:
L
?
1
)
=
∏
i
=
1
L
p
(
x
i
∣
x
1
:
i
?
1
)
.
p(x_{1:L}) = p(x_1) p(x_2 \mid x_1) p(x_3 \mid x_1, x_2) \cdots p(x_L \mid x_{1:L-1}) = \prod_{i=1}^L p(x_i \mid x_{1:i-1}).
p(x1:L?)=p(x1?)p(x2?∣x1?)p(x3?∣x1?,x2?)?p(xL?∣x1:L?1?)=i=1∏L?p(xi?∣x1:i?1?).
p
(
t
h
e
,
m
o
u
s
e
,
a
t
e
,
t
h
e
,
c
h
e
e
s
e
)
=
p
(
t
h
e
)
p
(
m
o
u
s
e
∣
t
h
e
)
p
(
a
t
e
∣
t
h
e
,
m
o
u
s
e
)
p
(
t
h
e
∣
t
h
e
,
m
o
u
s
e
,
a
t
e
)
p
(
c
h
e
e
s
e
∣
t
h
e
,
m
o
u
s
e
,
a
t
e
,
t
h
e
)
.
\begin{align*} p({the}, {mouse}, {ate}, {the}, {cheese}) = \, & p({the}) \\ & p({mouse} \mid {the}) \\ & p({ate} \mid {the}, {mouse}) \\ & p({the} \mid {the}, {mouse}, {ate}) \\ & p({cheese} \mid {the}, {mouse}, {ate}, {the}). \end{align*}
p(the,mouse,ate,the,cheese)=?p(the)p(mouse∣the)p(ate∣the,mouse)p(the∣the,mouse,ate)p(cheese∣the,mouse,ate,the).?
自回歸語言模型
自回歸語言模型的特點是，它能夠逐一生成序列中的每個詞 (x_i)，每個詞的生成都是基于之前所有詞的條件概率。這種模型通常利用神經(jīng)網(wǎng)絡(luò)（如**LSTM、GRU或Transformer）**來計算每個條件概率 (
p
(
x
i
∣
x
1
:
i
?
1
)
p(x_i \mid x_{1:i-1})
p(xi?∣x1:i?1?))。
例如，當(dāng)模型生成文本“the mouse ate the cheese”時：
它首先生成“the”，這是基于 (
p
(
t
h
e
)
p({the})
p(the))。接著生成“mouse”，這是基于 (
p
(
m
o
u
s
e
∣
t
h
e
)
p({mouse} \mid {the})
p(mouse∣the))。然后是“ate”，基于 (
p
(
a
t
e
∣
t
h
e
,
m
o
u
s
e
)
p({ate} \mid {the}, {mouse})
p(ate∣the,mouse))，以此類推。
溫度參數(shù) (T)
在生成文本時，溫度參數(shù) (T) 起著調(diào)控隨機性程度的關(guān)鍵作用：
?for?
i
=
1
,
…
,
L
:
x
i
～
p
(
x
i
∣
x
1
:
i
?
1
)
1
/
T
,
\begin{aligned} \text { for } i & =1, \ldots, L: \\ x_i & \sim p\left(x_i \mid x_{1: i-1}\right)^{1 / T}, \end{aligned}
?for?ixi??=1,…,L:～p(xi?∣x1:i?1?)1/T,?
(T = 0)：模型將完全確定性地選擇概率最高的詞。這通常會導(dǎo)致非常重復(fù)和可預(yù)測的文本生成。(T = 1)：模型按照學(xué)習(xí)到的條件概率分布進行采樣，這通常能夠平衡隨機性和準(zhǔn)確性，生成既自然又多樣化的文本。(
T
→
∞
T \rightarrow \infty
T→∞)：模型的行為趨向于完全隨機，每個詞都是從詞匯表中均勻隨機選取，不考慮上下文，通常不會生成有意義的文本。
在解釋退火條件概率分布以及與溫度參數(shù) ( T ) 相關(guān)的重標(biāo)準(zhǔn)化概念之前，我們先了解溫度參數(shù) ( T ) 如何影響概率分布，以及為什么需要重標(biāo)準(zhǔn)化。
溫度參數(shù) ( T ) 的作用
溫度參數(shù) ( T ) 是在生成模型中使用的一個技術(shù)，用于調(diào)節(jié)生成過程中的隨機性。當(dāng) ( T ) 的值較低（接近0）時，模型傾向于選擇概率最高的輸出（令牌），導(dǎo)致生成的文本確定性很強，可能過于重復(fù)和缺乏多樣性。當(dāng) ( T ) 值較高時，概率分布變得更加均勻，增加了隨機性，從而產(chǎn)生更多樣化的輸出。
退火概率分布的需要
直接對條件概率 (
p
(
x
i
∣
x
1
:
i
?
1
)
p(x_i \mid x_{1:i-1})
p(xi?∣x1:i?1?) ) 應(yīng)用 (
1
/
T
1/T
1/T ) 的冪運算會導(dǎo)致分布的概率總和不再是1，這是因為概率密度在經(jīng)過冪運算后會失去其原有的標(biāo)準(zhǔn)化性質(zhì)。因此，必須對這些新的概率值進行重標(biāo)準(zhǔn)化（即讓所有概率值之和重新等于1），以保持概率分布的有效性。這個過程被稱為“
退火
退火
退火”。
退火條件概率分布的計算
假設(shè)有原始的條件概率 (
p
(
x
i
∣
x
1
:
i
?
1
)
p(x_i \mid x_{1:i-1})
p(xi?∣x1:i?1?) )，退火處理后的條件概率分布計算如下：
計算冪調(diào)整值：對每個可能的輸出 (
x
i
x_i
xi? ) 的概率應(yīng)用 (
1
/
T
1/T
1/T ) 的冪： [
p
′
(
x
i
)
=
p
(
x
i
∣
x
1
:
i
?
1
)
1
/
T
p'(x_i) = p(x_i \mid x_{1:i-1})^{1/T}
p′(xi?)=p(xi?∣x1:i?1?)1/T ]重標(biāo)準(zhǔn)化：將所有調(diào)整后的概率值除以它們的總和，確保這些值的和為1： [
p
T
(
x
i
∣
x
1
:
i
?
1
)
=
p
′
(
x
i
)
∑
x
i
p
′
(
x
i
)
p_T(x_i \mid x_{1:i-1}) = \frac{p'(x_i)}{\sum_{x_i} p'(x_i)}
pT?(xi?∣x1:i?1?)=∑xi??p′(xi?)p′(xi?)? ]
例子解釋
通過上述的例子，我們看到不同的 ( T ) 值如何顯著改變概率分布：
( T=0.5 )：概率變得稍微平均一些，“mouse” 的概率從 0.6 降低到 0.69，而 “cheese” 從 0.4 增加到 0.31。( T=0.2 )：模型更加偏向于選擇概率較高的 “mouse”，導(dǎo)致 “mouse” 的概率增加到 0.88，“cheese” 降低到 0.12。( T=0 )：模型完全選擇概率最高的 “mouse”，使得 “mouse” 的概率為 1，而 “cheese” 為 0。
條件生成
通過指定一個前綴（prompt），模型可以在給定的上下文后生成接下來的文本（completion）。根據(jù) ( T ) 的不同，這個生成過程可以有不同的隨機性和多樣性，從而生成不同的補全文本。當(dāng) ( T = 1 ) 時，生成的文本具有較高的多樣性；而 ( T = 0 ) 時，則完全確定性地選擇概率最高的續(xù)寫。
這種基于溫度調(diào)節(jié)的生成策略，允許調(diào)整模型生成文本的隨機性和多樣性，是現(xiàn)代語言模型特別是自回歸模型在實際應(yīng)用中的一種重要技術(shù)。
1.2總結(jié)
語言模型是序列
x
1
:
L
x_{1:L}
x1:L? 的概率分布 p。直觀上，一個好的語言模型應(yīng)具有語言能力和世界知識。自回歸語言模型允許有效地生成給定提示
x
1
:
i
x_{1:i}
x1:i? 的補全
x
i
+
1
:
L
x_{i+1:L}
xi+1:L?。溫度可以用來控制生成中的變異量。
柚子快報激活碼778899分享：什么是自回歸模型
好文鏈接
本文內(nèi)容根據(jù)網(wǎng)絡(luò)資料整理，出于傳遞更多信息之目的，不代表金鑰匙跨境贊同其觀點和立場。
轉(zhuǎn)載請注明，如有侵權(quán)，聯(lián)系刪除。
Fyndiq跨境發(fā)現(xiàn)購
