柚子快報(bào)邀請(qǐng)碼778899分享：數(shù)據(jù)挖掘知識(shí)點(diǎn)復(fù)習(xí)

http://yzkb.51969.com/

一、選擇題15*2’

處理噪聲數(shù)據(jù)：（分箱、回歸分析、聚類分析）

維度規(guī)約：小波變換和主成分分析

數(shù)值規(guī)約：回歸和對(duì)數(shù)線性模型、直方圖、聚類、抽樣

數(shù)據(jù)挖掘的概念

數(shù)據(jù)挖掘，又稱數(shù)據(jù)挖掘技術(shù)或數(shù)據(jù)挖掘分析，是一種通過分析大量數(shù)據(jù)來發(fā)現(xiàn)模式、趨勢(shì)和關(guān)聯(lián)的技術(shù)。它通常涉及到以下幾個(gè)步驟：

?

1. **數(shù)據(jù)預(yù)處理**：這是數(shù)據(jù)挖掘的第一步，包括數(shù)據(jù)清洗（去除錯(cuò)誤和不一致的數(shù)據(jù)）、數(shù)據(jù)集成（合并來自不同來源的數(shù)據(jù)）、數(shù)據(jù)選擇（選擇與分析任務(wù)相關(guān)的數(shù)據(jù)子集）以及數(shù)據(jù)變換（將數(shù)據(jù)轉(zhuǎn)換成適合挖掘的形式）。

?

2. **數(shù)據(jù)探索**：在數(shù)據(jù)預(yù)處理之后，通過數(shù)據(jù)可視化和簡(jiǎn)單統(tǒng)計(jì)分析來更好地了解數(shù)據(jù)的基本特性，為建模和算法選擇提供信息。

?

3. **模式發(fā)現(xiàn)**：使用各種數(shù)據(jù)挖掘算法來發(fā)現(xiàn)數(shù)據(jù)中的模式。這些模式可以是分類（將數(shù)據(jù)分為不同的類別）、聚類（將數(shù)據(jù)分組，使得同一組內(nèi)的數(shù)據(jù)相似度高，不同組之間的數(shù)據(jù)相似度低）、關(guān)聯(lián)規(guī)則學(xué)習(xí)（發(fā)現(xiàn)變量之間的有趣關(guān)系）、異常檢測(cè)（識(shí)別數(shù)據(jù)中的異?；螂x群點(diǎn)）等。

?

4. **模型和假設(shè)測(cè)試**：構(gòu)建模型來預(yù)測(cè)或描述數(shù)據(jù)，并進(jìn)行統(tǒng)計(jì)測(cè)試來驗(yàn)證這些模型的有效性。

?

5. **知識(shí)表示**：將挖掘出的知識(shí)以容易理解的形式呈現(xiàn)給用戶，這可能包括可視化技術(shù)、報(bào)告生成或?qū)⒅R(shí)集成到?jīng)Q策支持系統(tǒng)中。

機(jī)器學(xué)習(xí)的概念

機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支，它使計(jì)算機(jī)系統(tǒng)能夠從經(jīng)驗(yàn)中學(xué)習(xí)并改進(jìn)它們的性能。簡(jiǎn)單來說，機(jī)器學(xué)習(xí)涉及到開發(fā)算法和統(tǒng)計(jì)模型，這些模型能夠從數(shù)據(jù)中學(xué)習(xí)，而不需要進(jìn)行明確的編程指令。以下是機(jī)器學(xué)習(xí)的一些關(guān)鍵概念：

?

1. **數(shù)據(jù)**：機(jī)器學(xué)習(xí)的基礎(chǔ)是數(shù)據(jù)。數(shù)據(jù)可以是結(jié)構(gòu)化的（如表格數(shù)據(jù)）或非結(jié)構(gòu)化的（如文本或圖像）。

?

2. **特征**：特征是從原始數(shù)據(jù)中提取的有用信息，它們是機(jī)器學(xué)習(xí)模型用來進(jìn)行預(yù)測(cè)或分類的輸入變量。

?

3. **模型**：模型是機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)，它根據(jù)輸入的特征來做出預(yù)測(cè)或決策。常見的模型包括決策樹、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等。

?

4. **訓(xùn)練**：訓(xùn)練是使用數(shù)據(jù)集來訓(xùn)練模型的過程。在這個(gè)過程中，模型學(xué)習(xí)如何根據(jù)輸入的特征來預(yù)測(cè)輸出。

?

5. **測(cè)試和驗(yàn)證**：在模型訓(xùn)練完成后，需要使用獨(dú)立的測(cè)試集來評(píng)估模型的性能。這有助于確保模型不會(huì)過擬合（即在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，但在新數(shù)據(jù)上表現(xiàn)差）。

?

6. **監(jiān)督學(xué)習(xí)**：在監(jiān)督學(xué)習(xí)中，模型從標(biāo)記的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)，即每個(gè)訓(xùn)練樣本都有一個(gè)已知的輸出標(biāo)簽。常見的任務(wù)包括分類和回歸。

?

7. **無監(jiān)督學(xué)習(xí)**：在無監(jiān)督學(xué)習(xí)中，模型處理的數(shù)據(jù)沒有標(biāo)簽。模型需要自己發(fā)現(xiàn)數(shù)據(jù)中的結(jié)構(gòu)和模式，如聚類分析。

?

8. **半監(jiān)督學(xué)習(xí)**：這是一種介于監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)之間的方法，其中模型使用少量標(biāo)記數(shù)據(jù)和大量未標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練。

?

9. **強(qiáng)化學(xué)習(xí)**：在強(qiáng)化學(xué)習(xí)中，模型通過與環(huán)境的交互來學(xué)習(xí)最佳行為策略，以最大化某種累積獎(jiǎng)勵(lì)。

?

10. **過擬合與欠擬合**：過擬合是指模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)很好，但在新數(shù)據(jù)上表現(xiàn)差；欠擬合是指模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)不足，無法捕捉數(shù)據(jù)的基本趨勢(shì)。

?

11. **泛化**：泛化能力是指模型對(duì)新、未見過的數(shù)據(jù)做出準(zhǔn)確預(yù)測(cè)的能力。

?

機(jī)器學(xué)習(xí)的應(yīng)用非常廣泛，包括圖像識(shí)別、自然語言處理、推薦系統(tǒng)、醫(yī)療診斷、股市分析等。隨著技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)在各個(gè)領(lǐng)域的影響力越來越大。

?

聚類算法的概念：哪些是聚類算法

聚類算法是一種無監(jiān)督學(xué)習(xí)技術(shù)，用于將數(shù)據(jù)集中的樣本劃分為若干個(gè)簇，使得同一簇內(nèi)的樣本相似度高，而不同簇之間的樣本相似度低。聚類不依賴于預(yù)先標(biāo)記的數(shù)據(jù)，目的是發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)。

dbscan思想、EM期望最大化（用高斯模型）、K-mean算法思想（12.2）和模糊K-mean也是期望最大化

?

K-mean算法（12.2）

K-means算法是一種常用的聚類分析方法，屬于無監(jiān)督學(xué)習(xí)。其目標(biāo)是將數(shù)據(jù)集劃分為K個(gè)簇（cluster），使得每個(gè)簇內(nèi)的數(shù)據(jù)點(diǎn)盡可能相似，而簇與簇之間的數(shù)據(jù)點(diǎn)盡可能不同。以下是K-means算法的基本步驟：

?

1. **選擇K值**：確定要將數(shù)據(jù)集劃分為多少個(gè)簇。K值的選擇可以基于肘部法則（Elbow Method）、輪廓系數(shù)（Silhouette Coefficient）等方法。

?

2. **初始化中心點(diǎn)**：隨機(jī)選擇K個(gè)數(shù)據(jù)點(diǎn)作為初始的簇中心點(diǎn)（centroids）。

?

3. **分配數(shù)據(jù)點(diǎn)**：將每個(gè)數(shù)據(jù)點(diǎn)分配到最近的簇中心點(diǎn)，形成K個(gè)簇。

?

4. **更新簇中心點(diǎn)**：計(jì)算每個(gè)簇中所有數(shù)據(jù)點(diǎn)的均值，將該均值作為新的簇中心點(diǎn)。

?

5. **重復(fù)分配和更新**：重復(fù)步驟3和4，直到簇中心點(diǎn)不再發(fā)生顯著變化，或者達(dá)到預(yù)設(shè)的迭代次數(shù)。

?

6. **聚類完成**：當(dāng)簇中心點(diǎn)穩(wěn)定后，聚類過程結(jié)束，得到最終的簇劃分。

?

K-means算法的優(yōu)點(diǎn)包括：

?

- 簡(jiǎn)單易懂，易于實(shí)現(xiàn)。

- 在數(shù)據(jù)集較大時(shí)，計(jì)算效率較高。

?

然而，K-means算法也有一些局限性：

?

- 對(duì)初始簇中心點(diǎn)的選擇敏感，可能導(dǎo)致局部最優(yōu)解。

- 需要預(yù)先指定K值，而K值的選擇可能依賴于領(lǐng)域知識(shí)。

- 對(duì)于非球形簇或大小差異較大的簇，聚類效果可能不佳。

- 對(duì)噪聲和異常點(diǎn)比較敏感。

?

為了解決K-means的一些局限性，出現(xiàn)了一些變體和改進(jìn)算法，如K-means++（改進(jìn)的初始化方法）、模糊C均值聚類（允許數(shù)據(jù)點(diǎn)屬于多個(gè)簇）等。

DBSCA算法

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一種基于密度的聚類算法，它能夠?qū)⒕哂凶銐蚋呙芏鹊膮^(qū)域劃分為聚類，并將低密度區(qū)域的點(diǎn)視為噪聲或離群點(diǎn)。DBSCAN的主要特點(diǎn)和步驟如下：

?

### 主要特點(diǎn)：

1. **無需指定簇的數(shù)量**：DBSCAN不需要預(yù)先指定簇的數(shù)量，它自動(dòng)將數(shù)據(jù)分為高密度區(qū)域和低密度區(qū)域。

2. **對(duì)任意形狀的簇有效**：DBSCAN可以識(shí)別任意形狀的簇，不受簇形狀的限制。

3. **能夠識(shí)別離群點(diǎn)**：DBSCAN將低密度區(qū)域的點(diǎn)視為離群點(diǎn)，而不是簡(jiǎn)單地將它們歸入某個(gè)簇。

?

### 算法步驟：

1. **定義參數(shù)**：選擇兩個(gè)參數(shù)，`ε`（epsilon，鄰域半徑）和`MinPts`（最小點(diǎn)數(shù)），這兩個(gè)參數(shù)決定了點(diǎn)的密度。

?

2. **核心點(diǎn)的識(shí)別**：對(duì)于每個(gè)點(diǎn)，找到其`ε`鄰域內(nèi)至少包含`MinPts`個(gè)點(diǎn)的點(diǎn)，這些點(diǎn)被稱為核心點(diǎn)。

?

3. **簇的生成**：對(duì)于每個(gè)未訪問的核心點(diǎn)，進(jìn)行密度可達(dá)性搜索，將所有密度可達(dá)的點(diǎn)連接起來形成簇。如果一個(gè)點(diǎn)的`ε`鄰域內(nèi)包含的核心點(diǎn)數(shù)量足夠多，它將被添加到當(dāng)前簇中。

?

4. **離群點(diǎn)的識(shí)別**：如果一個(gè)點(diǎn)不是任何核心點(diǎn)的密度可達(dá)的，它將被視為離群點(diǎn)。

?

5. **迭代處理**：重復(fù)上述過程，直到所有點(diǎn)都被訪問過。

?

### 優(yōu)點(diǎn)：

- 自適應(yīng)地識(shí)別任意形狀的簇。

- 能夠識(shí)別并處理離群點(diǎn)。

- 不需要預(yù)先指定簇的數(shù)量。

?

### 缺點(diǎn)：

- 對(duì)參數(shù)`ε`和`MinPts`的選擇敏感，這兩個(gè)參數(shù)需要根據(jù)具體數(shù)據(jù)集進(jìn)行調(diào)整。

- 在高維數(shù)據(jù)上效果不佳，因?yàn)楦呔S空間中的點(diǎn)更稀疏。

- 計(jì)算復(fù)雜度較高，尤其是在數(shù)據(jù)量大時(shí)。

?

DBSCAN算法適用于那些數(shù)據(jù)點(diǎn)分布不均勻或簇形狀不規(guī)則的場(chǎng)景，但在使用時(shí)需要仔細(xì)選擇參數(shù)，以獲得最佳的聚類效果。

系統(tǒng)聚類

系統(tǒng)聚類，也稱為層次聚類（Hierarchical Clustering），是一種將數(shù)據(jù)點(diǎn)逐步分組的聚類方法。與K-means或DBSCAN等算法不同，系統(tǒng)聚類不需要預(yù)先指定簇的數(shù)量，而是生成一個(gè)層次化的簇結(jié)構(gòu)，即樹狀的聚類圖（dendrogram），從而允許用戶根據(jù)需要選擇不同的簇?cái)?shù)量。系統(tǒng)聚類分為兩種主要類型：

?

1. **凝聚式（Agglomerative）聚類**：

???- 這是一種自底向上的方法，開始時(shí)每個(gè)數(shù)據(jù)點(diǎn)都是一個(gè)單獨(dú)的簇。

???- 然后算法尋找最近的兩個(gè)簇并將其合并，重復(fù)此過程，直到所有數(shù)據(jù)點(diǎn)最終合并成一個(gè)大簇或達(dá)到某個(gè)停止條件。

?

2. **分裂式（Divisive）聚類**：

???- 這是一種自頂向下的方法，開始時(shí)所有數(shù)據(jù)點(diǎn)被視為一個(gè)簇。

???- 然后算法將這個(gè)大簇分成兩個(gè)較小的簇，繼續(xù)這個(gè)過程，直到每個(gè)數(shù)據(jù)點(diǎn)都是一個(gè)單獨(dú)的簇或達(dá)到某個(gè)停止條件。

?

### 凝聚式聚類的步驟：

1. **初始化**：將每個(gè)數(shù)據(jù)點(diǎn)視為一個(gè)單獨(dú)的簇。

2. **計(jì)算距離**：計(jì)算所有簇之間的距離。常用的距離度量包括歐氏距離、曼哈頓距離等。

3. **合并最近的簇**：找到距離最近的兩個(gè)簇并合并它們，形成一個(gè)新的簇。

4. **更新距離矩陣**：更新簇之間的距離矩陣，以反映新合并的簇與其他簇之間的距離。

5. **重復(fù)合并**：重復(fù)步驟2-4，直到達(dá)到所需的簇?cái)?shù)量或所有點(diǎn)合并成一個(gè)簇。

?

###凝聚式（Agglomerative）聚類**具體過程： 1.每個(gè)樣本觀測(cè)點(diǎn)自成一類

2.計(jì)算所有樣本觀測(cè)點(diǎn)之間的距離，并將其中距離最近的點(diǎn)聚成一個(gè)小類，得到N-1個(gè)小類

3.度量剩余樣本觀測(cè)點(diǎn)彼此間的距離，并將其中距離最近的點(diǎn)或小類再聚成一個(gè)小類。

4.重復(fù)上述過程，不斷將所有樣本觀測(cè)點(diǎn)和小類聚集成越來越大的列，直到所有點(diǎn)“凝聚”到一起，形成一個(gè)最大的類為止。對(duì)于N個(gè)類，需要經(jīng)N-1次“凝聚”形成一個(gè)大類。

### 分裂式聚類的步驟：

1. **初始化**：將所有數(shù)據(jù)點(diǎn)視為一個(gè)簇。

2. **選擇分裂點(diǎn)**：選擇一個(gè)簇進(jìn)行分裂，通常選擇直徑最大的簇或基于其他標(biāo)準(zhǔn)。

3. **分裂簇**：將選定的簇分裂成兩個(gè)或多個(gè)較小的簇。

4. **更新簇結(jié)構(gòu)**：更新簇的層次結(jié)構(gòu)，以反映新的分裂結(jié)果。

5. **重復(fù)分裂**：重復(fù)步驟2-4，直到每個(gè)數(shù)據(jù)點(diǎn)都是一個(gè)單獨(dú)的簇或達(dá)到某個(gè)停止條件。

?

### 系統(tǒng)聚類的優(yōu)點(diǎn)：

- 不需要預(yù)先指定簇的數(shù)量。

- 可以處理不同形狀和大小的簇。

- 能夠生成層次化的簇結(jié)構(gòu)，便于可視化和解釋。

?

### 系統(tǒng)聚類的缺點(diǎn)：

- 計(jì)算復(fù)雜度較高，尤其是對(duì)于大型數(shù)據(jù)集。

- 對(duì)于凝聚式聚類，合并過程是不可逆的，一旦合并就無法撤銷。

- 對(duì)距離度量的選擇敏感，不同的度量可能導(dǎo)致不同的聚類結(jié)果。

?

系統(tǒng)聚類適用于探索性數(shù)據(jù)分析，以及當(dāng)簇的數(shù)量和形狀未知時(shí)。通過構(gòu)建樹狀的聚類圖，用戶可以直觀地觀察數(shù)據(jù)的層次結(jié)構(gòu)，并根據(jù)需要選擇不同的簇?cái)?shù)量。

EM聚類

EM聚類，即期望最大化（Expectation-Maximization）聚類，是一種基于概率模型的聚類方法。它通常用于高斯混合模型（Gaussian Mixture Model, GMM）來發(fā)現(xiàn)數(shù)據(jù)中的潛在分布。EM聚類通過迭代過程來估計(jì)數(shù)據(jù)的隱變量（即簇的成員資格）和模型參數(shù)（即簇的中心和協(xié)方差），直到收斂。

### EM聚類的步驟：

1. **初始化**：隨機(jī)選擇初始參數(shù)，包括簇中心、協(xié)方差矩陣和每個(gè)簇的先驗(yàn)概率。

?

2. **E步驟（期望步驟）**：

???- 對(duì)于每個(gè)數(shù)據(jù)點(diǎn)，計(jì)算其屬于每個(gè)簇的概率，這些概率基于當(dāng)前的模型參數(shù)。

?

3. **M步驟（最大化步驟）**：

???- 使用E步驟中計(jì)算的概率，重新估計(jì)模型參數(shù)，包括簇中心、協(xié)方差矩陣和先驗(yàn)概率，以最大化數(shù)據(jù)的似然函數(shù)。

?

4. **迭代**：重復(fù)E步驟和M步驟，直到模型參數(shù)的變化非常小或達(dá)到預(yù)設(shè)的迭代次數(shù)，表示算法收斂。

?

5. **聚類完成**：最終的簇中心和協(xié)方差矩陣定義了數(shù)據(jù)的聚類結(jié)構(gòu)。

?

### EM聚類的關(guān)鍵點(diǎn)：

?

- **高斯分布**：EM聚類通常假設(shè)每個(gè)簇的數(shù)據(jù)遵循高斯分布，因此需要估計(jì)每個(gè)簇的均值和協(xié)方差矩陣。

- **軟聚類**：與K-means的硬聚類不同，EM聚類允許數(shù)據(jù)點(diǎn)以不同的概率屬于多個(gè)簇，這被稱為軟聚類。

- **收斂性**：EM算法是迭代的，通常會(huì)收斂到局部最優(yōu)解，但不保證全局最優(yōu)。

?

### EM聚類的優(yōu)點(diǎn)：

?

- 能夠處理數(shù)據(jù)的不確定性和重疊性。

- 適用于發(fā)現(xiàn)數(shù)據(jù)的潛在分布。

- 可以處理不同形狀和大小的簇。

?

### EM聚類的缺點(diǎn)：

?

- 對(duì)初始參數(shù)敏感，可能導(dǎo)致局部最優(yōu)解。

- 需要選擇簇的數(shù)量，雖然可以通過貝葉斯信息準(zhǔn)則（Bayesian Information Criterion, BIC）等方法來輔助。

- 計(jì)算復(fù)雜度較高，尤其是在簇的數(shù)量較多或數(shù)據(jù)量大時(shí)。

?

K-mean、DBSCAN、系統(tǒng)聚類、EM聚類之間的異同點(diǎn)

EM聚類在許多領(lǐng)域都有應(yīng)用，包括圖像分割、語音識(shí)別、生物信息學(xué)等。它特別適用于那些數(shù)據(jù)點(diǎn)分布復(fù)雜或存在重疊的情況。然而，由于其計(jì)算成本和對(duì)初始參數(shù)的敏感性，實(shí)際應(yīng)用中可能需要仔細(xì)調(diào)整和優(yōu)化。

上述四種聚類算法——K-means、DBSCAN、系統(tǒng)聚類（層次聚類）、EM聚類——各有其特點(diǎn)和適用場(chǎng)景。以下是它們的一些主要異同點(diǎn)：

?

### 相同點(diǎn)：

1. **目的**：所有這些算法都旨在將數(shù)據(jù)集中的點(diǎn)分組到不同的簇中，以揭示數(shù)據(jù)的內(nèi)在結(jié)構(gòu)。

2. **無監(jiān)督**：這些聚類算法都是無監(jiān)督的，意味著它們不需要預(yù)先標(biāo)記的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)模型。

?

### 不同點(diǎn)：

1. **簇的數(shù)量**：

???- K-means需要預(yù)先指定簇的數(shù)量（K值）。

???- DBSCAN不需要預(yù)先指定簇的數(shù)量，但需要指定鄰域半徑和最小點(diǎn)數(shù)。

???- 系統(tǒng)聚類不預(yù)先指定簇的數(shù)量，而是生成一個(gè)層次化的簇結(jié)構(gòu)。

???- EM聚類通常需要指定簇的數(shù)量，但可以使用模型選擇準(zhǔn)則來輔助選擇。

?

2. **簇的形狀**：

???- K-means傾向于將數(shù)據(jù)劃分為類球狀簇。

???- DBSCAN可以識(shí)別任意形狀的簇，包括沿直線分布的簇。

???- 系統(tǒng)聚類可以適應(yīng)不同形狀的簇，但可能對(duì)噪聲更敏感。

???- EM聚類適用于高斯分布的簇，可以處理不同形狀和大小的簇。

?

3. **對(duì)噪聲的處理**：

???- K-means對(duì)噪聲敏感，可能會(huì)將噪聲點(diǎn)錯(cuò)誤地分配到簇中。

???- DBSCAN能夠識(shí)別并處理離群點(diǎn)，將它們視為噪聲。

???- 系統(tǒng)聚類對(duì)噪聲敏感，可能會(huì)影響簇的層次結(jié)構(gòu)。

???- EM聚類可以處理噪聲，但可能需要更多的迭代來收斂。

?

4. **算法類型**：

???- K-means是一種迭代優(yōu)化算法，通過最小化簇內(nèi)距離來優(yōu)化簇中心。

???- DBSCAN是一種基于密度的聚類算法，通過密度可達(dá)性來定義簇。

???- 系統(tǒng)聚類是一種層次聚類算法，通過逐步合并或分裂來構(gòu)建簇層次。

???- EM聚類是一種基于概率模型的聚類算法，通過迭代估計(jì)模型參數(shù)。

?

5. **計(jì)算復(fù)雜度**：

???- K-means通常具有較低的計(jì)算復(fù)雜度，適合大規(guī)模數(shù)據(jù)集。

???- DBSCAN的計(jì)算復(fù)雜度較高，尤其是在數(shù)據(jù)點(diǎn)密集的區(qū)域。

???- 系統(tǒng)聚類的計(jì)算復(fù)雜度取決于樹的構(gòu)建方式，可能很高。

???- EM聚類的計(jì)算復(fù)雜度較高，尤其是在簇的數(shù)量較多時(shí)。

?

6. **收斂性**：

???- K-means通常收斂速度快，但可能收斂到局部最優(yōu)解。

???- DBSCAN不涉及參數(shù)優(yōu)化，但對(duì)參數(shù)選擇敏感。

???- 系統(tǒng)聚類不涉及參數(shù)優(yōu)化，但層次結(jié)構(gòu)可能不穩(wěn)定。

???- EM聚類可能需要更多迭代來收斂，且可能收斂到局部最優(yōu)解。

?

7. **適用場(chǎng)景**：

???- K-means適用于大規(guī)模數(shù)據(jù)集和球形簇。

???- DBSCAN適用于任意形狀的簇和包含離群點(diǎn)的數(shù)據(jù)集。

???- 系統(tǒng)聚類適用于探索性數(shù)據(jù)分析和層次結(jié)構(gòu)的可視化。

???- EM聚類適用于高斯分布的簇和需要概率解釋的場(chǎng)景。

?

每種聚類算法都有其優(yōu)勢(shì)和局限性，選擇合適的算法需要考慮數(shù)據(jù)的特性、聚類的目標(biāo)以及算法的計(jì)算成本。在實(shí)際應(yīng)用中，可能需要嘗試多種算法，以找到最適合特定數(shù)據(jù)集和任務(wù)的聚類方法。

衡量分類的指標(biāo)：混淆矩陣的概念（重點(diǎn)196-197）

混淆矩陣（Confusion Matrix）是一個(gè)表格，用于描述分類模型的性能。它特別適用于監(jiān)督學(xué)習(xí)中的分類問題，通過比較模型預(yù)測(cè)的類別和實(shí)際的類別來評(píng)估模型的準(zhǔn)確性。

決策樹分類過程

決策樹是一種監(jiān)督學(xué)習(xí)算法，用于分類和回歸任務(wù)。在分類問題中，決策樹通過一系列的問題將數(shù)據(jù)分割成不同的分支，最終達(dá)到可以預(yù)測(cè)目標(biāo)變量的葉節(jié)點(diǎn)。以下是決策樹分類過程的一般步驟：

?

1. **特征選擇**：

???- 在每個(gè)節(jié)點(diǎn)，決策樹算法需要選擇一個(gè)特征來進(jìn)行分割。特征選擇的目的是找到一個(gè)特征，使得基于該特征的分割能夠最大化數(shù)據(jù)的目標(biāo)變量的同質(zhì)性。

?

2. **分割數(shù)據(jù)集**：

???- 根據(jù)所選特征及其閾值，將數(shù)據(jù)集分割成兩個(gè)或多個(gè)子集。這個(gè)分割過程通?；谔卣髦档谋容^（例如，小于或大于某個(gè)閾值）。

?

3. **構(gòu)建樹的節(jié)點(diǎn)**：

???- 每個(gè)分割的數(shù)據(jù)子集成為一個(gè)節(jié)點(diǎn)（如果是一個(gè)葉節(jié)點(diǎn)，則為分類結(jié)果；如果是一個(gè)內(nèi)部節(jié)點(diǎn)，則繼續(xù)分割）。

?

4. **遞歸分割**：

???- 對(duì)每個(gè)分割得到的子集重復(fù)步驟1-3，直到滿足停止條件，例如：

?????- 達(dá)到預(yù)設(shè)的最大樹深度。

?????- 所有數(shù)據(jù)點(diǎn)屬于同一類別。

?????- 子集中的數(shù)據(jù)點(diǎn)數(shù)量低于某個(gè)閾值。

?????- 沒有足夠的信息增益來進(jìn)行進(jìn)一步的分割。

?

5. **剪枝**：

???- 為了防止過擬合，決策樹算法通常會(huì)進(jìn)行剪枝操作，包括預(yù)剪枝（在生長(zhǎng)過程中剪枝）和后剪枝（在生長(zhǎng)完成后剪枝）。

?

6. **輸出決策樹**：

???- 最終，得到一個(gè)決策樹模型，它可以通過一系列的問題來預(yù)測(cè)新數(shù)據(jù)點(diǎn)的類別。

?

7. **分類新數(shù)據(jù)**：

???- 當(dāng)有新數(shù)據(jù)需要分類時(shí)，從決策樹的根節(jié)點(diǎn)開始，根據(jù)特征的值沿著樹向下移動(dòng)，直到達(dá)到一個(gè)葉節(jié)點(diǎn)，該葉節(jié)點(diǎn)的類別即為預(yù)測(cè)結(jié)果。

?

### 決策樹分類的關(guān)鍵概念：

?

- **信息增益**：是決策樹中常用的一種特征選擇方法，用于評(píng)估特征分割數(shù)據(jù)集的效果。信息增益高的特征更有可能被選擇用于分割。

- **基尼不純度**：另一種特征選擇方法，用于衡量數(shù)據(jù)集中的不確定性或不純度。

- **熵**：信息論中的一個(gè)概念，用于衡量數(shù)據(jù)的不確定性。決策樹中使用熵來評(píng)估數(shù)據(jù)集的初始不純度。

- **特征重要性**：在決策樹中，特征的重要性通常由它們?cè)跇渲械奈恢煤皖l率來確定。

?

### 優(yōu)點(diǎn)：

- 決策樹模型易于理解和解釋。

- 可以處理數(shù)值型和類別型數(shù)據(jù)。

- 對(duì)數(shù)據(jù)的準(zhǔn)備要求不高。

?

### 缺點(diǎn)：

- 容易過擬合，特別是在數(shù)據(jù)特征多或數(shù)據(jù)點(diǎn)少的情況下。

- 對(duì)于某些類型的數(shù)據(jù)，構(gòu)建的樹可能很深，導(dǎo)致分類效率降低。

?

決策樹是一種強(qiáng)大的分類工具，尤其適用于需要模型可解釋性的場(chǎng)景。然而，為了提高模型的泛化能力，通常需要使用剪枝技術(shù)或集成多個(gè)決策樹（如隨機(jī)森林）來減少過擬合。

有監(jiān)督學(xué)習(xí)概念

有監(jiān)督學(xué)習(xí)是一種機(jī)器學(xué)習(xí)范式，其中模型從標(biāo)記的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)，以便能夠預(yù)測(cè)或決定未見過數(shù)據(jù)的輸出。這些訓(xùn)練數(shù)據(jù)包括輸入特征和對(duì)應(yīng)的期望輸出。通過學(xué)習(xí)這些數(shù)據(jù)，模型能夠識(shí)別數(shù)據(jù)間的模式，并在給定新輸入時(shí)做出準(zhǔn)確的預(yù)測(cè)。常見任務(wù)包括分類（將數(shù)據(jù)分為不同的類別）和回歸（預(yù)測(cè)連續(xù)值）。

無監(jiān)督學(xué)習(xí)概念

無監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一種方法，它處理的數(shù)據(jù)沒有標(biāo)簽或標(biāo)記。算法嘗試自行發(fā)現(xiàn)數(shù)據(jù)中的結(jié)構(gòu)、模式或分布，常見的任務(wù)包括聚類和關(guān)聯(lián)規(guī)則學(xué)習(xí)。由于缺乏指導(dǎo)信息，無監(jiān)督學(xué)習(xí)旨在探索數(shù)據(jù)的內(nèi)在特性和關(guān)聯(lián)，常用于數(shù)據(jù)壓縮、異常檢測(cè)和發(fā)現(xiàn)隱藏的模式。

離群點(diǎn)概念

離群點(diǎn)（Outlier）是指在數(shù)據(jù)集中顯著偏離其他觀測(cè)值的點(diǎn)。它們可能由于測(cè)量誤差、數(shù)據(jù)錄入錯(cuò)誤、實(shí)驗(yàn)設(shè)計(jì)不當(dāng)或真實(shí)的變異性而產(chǎn)生。離群點(diǎn)在數(shù)據(jù)分析中非常重要，因?yàn)樗鼈兛赡苡绊懡y(tǒng)計(jì)分析的結(jié)果，包括均值、方差等統(tǒng)計(jì)量的計(jì)算，以及機(jī)器學(xué)習(xí)模型的性能。

?

### 離群點(diǎn)的特點(diǎn)：

1. **異常性**：離群點(diǎn)與數(shù)據(jù)集中的其他點(diǎn)相比具有顯著差異。

2. **稀有性**：數(shù)據(jù)集中的離群點(diǎn)數(shù)量通常較少。

3. **影響性**：離群點(diǎn)可能會(huì)對(duì)分析結(jié)果產(chǎn)生不成比例的影響。

?

### 離群點(diǎn)的檢測(cè)方法：

1. **標(biāo)準(zhǔn)差法**：基于數(shù)據(jù)的均值和標(biāo)準(zhǔn)差來識(shí)別離群點(diǎn)。

2. **箱型圖（Boxplot）**：利用四分位數(shù)和四分位距來識(shí)別離群點(diǎn)。

3. **密度基方法**：基于數(shù)據(jù)點(diǎn)的局部密度與其他點(diǎn)的比較來識(shí)別離群點(diǎn)。

4. **基于距離的方法**：如K-最近鄰（KNN）算法，通過測(cè)量數(shù)據(jù)點(diǎn)與其他點(diǎn)的距離來識(shí)別。

5. **基于聚類的方法**：如DBSCAN，通過數(shù)據(jù)點(diǎn)的密度可達(dá)性來識(shí)別離群點(diǎn)。

?

### 離群點(diǎn)的處理：

1. **刪除**：如果離群點(diǎn)是由于錯(cuò)誤產(chǎn)生的，可以將其從數(shù)據(jù)集中刪除。

2. **修正**：如果離群點(diǎn)是由于可識(shí)別的錯(cuò)誤產(chǎn)生的，可以嘗試修正這些錯(cuò)誤。

3. **保留**：如果離群點(diǎn)代表了重要的變異性或異常情況，可能需要保留它們以進(jìn)行進(jìn)一步分析。

4. **加權(quán)**：在某些模型中，可以對(duì)離群點(diǎn)進(jìn)行加權(quán)，以減少它們對(duì)分析結(jié)果的影響。

?

離群點(diǎn)的檢測(cè)和處理是數(shù)據(jù)分析中的重要步驟，有助于提高模型的準(zhǔn)確性和可靠性。

數(shù)據(jù)挖掘的步驟

數(shù)據(jù)挖掘通常包括以下主要步驟：

?

1. **業(yè)務(wù)理解**：明確項(xiàng)目目標(biāo)和需求，了解業(yè)務(wù)背景和問題域。

?

2. **數(shù)據(jù)理解**：收集初始數(shù)據(jù)，理解數(shù)據(jù)的基本特征，識(shí)別數(shù)據(jù)質(zhì)量問題。

?

3. **數(shù)據(jù)預(yù)處理**：包括數(shù)據(jù)清洗（去除噪聲和不一致的數(shù)據(jù)）、數(shù)據(jù)集成（合并多個(gè)數(shù)據(jù)源）、數(shù)據(jù)選擇（選擇與分析任務(wù)相關(guān)的數(shù)據(jù)子集）和數(shù)據(jù)變換（將數(shù)據(jù)轉(zhuǎn)換成適合挖掘的形式）。

?

4. **數(shù)據(jù)探索**：使用可視化和簡(jiǎn)單的統(tǒng)計(jì)分析來進(jìn)一步了解數(shù)據(jù)，檢查數(shù)據(jù)的分布和關(guān)系。

?

5. **模型選擇**：根據(jù)業(yè)務(wù)問題和數(shù)據(jù)特性選擇合適的數(shù)據(jù)挖掘模型和算法。

?

6. **特征工程**：從原始數(shù)據(jù)中提取、選擇和構(gòu)建新的特征，以提高模型的性能。

?

7. **模型訓(xùn)練**：使用訓(xùn)練數(shù)據(jù)集來訓(xùn)練選定的模型。

?

8. **模型評(píng)估**：使用測(cè)試數(shù)據(jù)集來評(píng)估模型的性能，通常包括準(zhǔn)確率、召回率、F1分?jǐn)?shù)等指標(biāo)。

?

9. **模型優(yōu)化**：根據(jù)評(píng)估結(jié)果調(diào)整模型參數(shù)或選擇不同的模型，以提高性能。

?

10. **知識(shí)表示**：將挖掘出的知識(shí)以容易理解的形式呈現(xiàn)給用戶，可能包括可視化技術(shù)、報(bào)告生成或?qū)⒅R(shí)集成到?jīng)Q策支持系統(tǒng)中。

?

11. **部署**：將模型部署到生產(chǎn)環(huán)境中，以實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)分析和決策支持。

?

12. **監(jiān)控和維護(hù)**：持續(xù)監(jiān)控模型的性能，根據(jù)數(shù)據(jù)的變化或業(yè)務(wù)需求進(jìn)行模型的更新和維護(hù)。

?

數(shù)據(jù)挖掘是一個(gè)迭代的過程，可能需要多次循環(huán)這些步驟，以不斷改進(jìn)模型和結(jié)果。此外，數(shù)據(jù)挖掘項(xiàng)目的成功不僅取決于技術(shù)實(shí)現(xiàn)，還依賴于對(duì)業(yè)務(wù)需求的深入理解和數(shù)據(jù)的質(zhì)量。

衡量關(guān)聯(lián)規(guī)則的關(guān)鍵要素：支持度、置信度、規(guī)則的提升

關(guān)聯(lián)規(guī)則分析步驟

通常，如果一個(gè)關(guān)聯(lián)規(guī)則滿足最小支持度閾值(minimumsupportthreshold)和最小置信度閾值(minimumconfidencethreshotd)，那么就認(rèn)為該關(guān)聯(lián)規(guī)則是有意義的，而用戶或?qū)＜铱梢栽O(shè)置最小支持度閾值和最小置信度閾值。

關(guān)聯(lián)規(guī)則分析的步驟如下：

發(fā)現(xiàn)所有的頻繁項(xiàng)集。根據(jù)定義，這些項(xiàng)集的頻度至少應(yīng)等于(預(yù)先設(shè)置的)最小支持度。關(guān)聯(lián)規(guī)則的整個(gè)性能主要取決于這一步。根據(jù)所獲得的頻繁項(xiàng)集，產(chǎn)生相應(yīng)的強(qiáng)關(guān)聯(lián)規(guī)則(這些規(guī)則必須滿足最小置信度胞模水閾值)。

特征選擇的概念

特征工程的目的之一是服務(wù)于數(shù)據(jù)的預(yù)測(cè)建模。

需從眾多輸入變量中篩選出對(duì)輸出變量預(yù)測(cè)具有意義的重要變量，減少輸入變量個(gè)數(shù)，實(shí)現(xiàn)輸入變量空間的降維。該過程稱為特征選擇。

具體策略通常包括：

過濾式(filter)策略：即特征選擇與預(yù)測(cè)建?！胺侄沃钡乜疾熳兞咳≈档牟町惓潭?，以及輸入變量與輸出變量的相關(guān)性，篩選出重要變量并由此構(gòu)建新的訓(xùn)練集，為后續(xù)建立基于重要變量的預(yù)測(cè)模型奠定基礎(chǔ)。這里的“過濾”是指以閾值為標(biāo)準(zhǔn)，過濾掉某些指標(biāo)較高或較低的變量。包裹式(wrapper)策略：即將特征選擇“包裹”到一個(gè)指定的預(yù)測(cè)模型中。它將預(yù)測(cè)模型作為評(píng)價(jià)變量重要性的工具，完成重要變量的篩選，并由此構(gòu)建新的訓(xùn)練集，為后續(xù)建立基于重要變量的預(yù)測(cè)模型奠定基礎(chǔ)。嵌入式(embedding)策略：即把特征選擇“嵌入”到整個(gè)預(yù)測(cè)建模中，與預(yù)測(cè)建?！叭跒橐惑w”。在預(yù)測(cè)建模的同時(shí)，度量變量的重要性，并最終給出基于重要變量的預(yù)測(cè)模型。

特征提取的概念

從眾多具有相關(guān)性的輸入變量中提取出較少的綜合變量，用綜合變量代替原有輸入變量，實(shí)現(xiàn)輸入變量空間的降維。該過程稱為特征提取。

基本策略基于空間變換（主成分分析）

二、判斷題5*2’

2分類陽性（少數(shù)類樣本）樣本：召回率與精度之間的關(guān)系：對(duì)于任何二分類問題都有召回率越高，精度越低，面向類別

10折交叉驗(yàn)證（留一份做測(cè)試）

驗(yàn)證集：調(diào)整參數(shù)，用到泛化誤差，用到訓(xùn)練過程

三、簡(jiǎn)答題2*10’

EM期望最大化

RelliefF（特征最大化）思想：

ReliefF是一種用于特征選擇的算法，它通過以下簡(jiǎn)化的步驟來評(píng)估特征對(duì)分類任務(wù)的重要性：

?

初始化權(quán)重：所有特征的權(quán)重開始時(shí)通常設(shè)為0。

迭代更新：對(duì)于數(shù)據(jù)集中的每個(gè)實(shí)例，找到與該實(shí)例最近的同類實(shí)例和不同類的實(shí)例。

調(diào)整權(quán)重：根據(jù)實(shí)例之間的距離，調(diào)整特征的權(quán)重。距離越小，特征的區(qū)分能力越強(qiáng)，權(quán)重增加；反之，權(quán)重減少。

歸一化：迭代完成后，將所有特征的權(quán)重歸一化，使它們的總和為1。

選擇特征：根據(jù)權(quán)重，選擇權(quán)重最高的前幾個(gè)特征用于后續(xù)的模型訓(xùn)練。

ReliefF算法的優(yōu)點(diǎn)是能夠適應(yīng)多類問題，并且通過考慮實(shí)例之間的距離，有效地識(shí)別出有助于分類的特征。

數(shù)據(jù)挖掘的概念

數(shù)據(jù)挖掘有哪些功能

數(shù)據(jù)挖掘是數(shù)據(jù)分析過程的一個(gè)擴(kuò)展，它使用自動(dòng)化的算法來探索大型數(shù)據(jù)集并發(fā)現(xiàn)模式、關(guān)聯(lián)、異常和其他有用的信息。以下是數(shù)據(jù)挖掘的一些主要功能：

?

1. **分類**：將數(shù)據(jù)項(xiàng)分配到預(yù)先定義的類別中。

2. **聚類**：將數(shù)據(jù)集中的項(xiàng)分組，使得同一組內(nèi)的項(xiàng)比其他組內(nèi)的項(xiàng)更相似。

3. **關(guān)聯(lián)規(guī)則學(xué)習(xí)**：發(fā)現(xiàn)數(shù)據(jù)項(xiàng)之間的有意義的關(guān)聯(lián)或模式，例如在購(gòu)物籃分析中發(fā)現(xiàn)商品之間的購(gòu)買關(guān)系。

4. **異常檢測(cè)**：識(shí)別數(shù)據(jù)集中的異?；螂x群點(diǎn)，這些點(diǎn)可能代表欺詐行為、系統(tǒng)故障或其他重要的變化。

5. **趨勢(shì)分析**：識(shí)別數(shù)據(jù)隨時(shí)間變化的趨勢(shì)和模式。

6. **鏈接分析**：發(fā)現(xiàn)數(shù)據(jù)之間的鏈接和關(guān)系，例如社交網(wǎng)絡(luò)中的好友關(guān)系。

7. **序列模式分析**：在數(shù)據(jù)集中發(fā)現(xiàn)重復(fù)出現(xiàn)的項(xiàng)目序列。

8. **特征提取**：從原始數(shù)據(jù)中提取出有助于理解數(shù)據(jù)的關(guān)鍵特征。

9. **降維**：減少數(shù)據(jù)的復(fù)雜性，同時(shí)盡可能保留原始數(shù)據(jù)的重要信息。

10. **預(yù)測(cè)建模**：構(gòu)建模型來預(yù)測(cè)未來事件或行為。

11. **推薦系統(tǒng)**：基于用戶的歷史行為或偏好來推薦商品或服務(wù)。

12. **文本分析**：從非結(jié)構(gòu)化文本數(shù)據(jù)中提取信息，進(jìn)行情感分析、主題建模等。

?

集成學(xué)習(xí)（7.1、7.2）的相關(guān)概念、

集成學(xué)習(xí)的基本思路是：建模階段，基于一組獨(dú)立的訓(xùn)練集，分別建立與之對(duì)應(yīng)的一組回歸或分類預(yù)測(cè)模型。這里的每個(gè)預(yù)測(cè)模型稱為基礎(chǔ)學(xué)習(xí)器(BaseLearner)。預(yù)測(cè)階段，基礎(chǔ)學(xué)習(xí)器將分別給出各自的預(yù)測(cè)結(jié)果。對(duì)各預(yù)測(cè)結(jié)果進(jìn)行平均或投票，確定最終的預(yù)測(cè)結(jié)果

一方面，集成學(xué)習(xí)可以解決預(yù)測(cè)模型的高方差。另一方面，集成學(xué)習(xí)可將一組弱模型聯(lián)合起來使其成為一個(gè)強(qiáng)模型。

Bagging特征思想

Bagging（Bootstrap Aggregating）是一種集成學(xué)習(xí)技術(shù)，用于提高模型的穩(wěn)定性和準(zhǔn)確性，減少過擬合。Bagging的核心思想是通過構(gòu)建多個(gè)模型并對(duì)它們的預(yù)測(cè)結(jié)果進(jìn)行聚合，以提高整體模型的性能。以下是Bagging的關(guān)鍵特征和思想：

?

1. **自助采樣（Bootstrap Sampling）**：

???- Bagging使用自助采樣來創(chuàng)建多個(gè)不同的訓(xùn)練數(shù)據(jù)集。每個(gè)訓(xùn)練集是通過從原始數(shù)據(jù)集中隨機(jī)有放回地選擇樣本得到的，這意味著同一個(gè)樣本可能在多個(gè)訓(xùn)練集中重復(fù)出現(xiàn)。

?

2. **模型多樣性**：

???- 由于每個(gè)訓(xùn)練集都是從原始數(shù)據(jù)集中隨機(jī)抽取的，因此每個(gè)模型訓(xùn)練的數(shù)據(jù)略有不同，這增加了模型的多樣性。

?

3. **模型訓(xùn)練**：

???- 在每個(gè)訓(xùn)練集上獨(dú)立地訓(xùn)練一個(gè)基模型（如決策樹）。基模型通常是相同的類型，但可以是任何預(yù)測(cè)模型。

?

4. **聚合預(yù)測(cè)**：

???- Bagging通過聚合所有基模型的預(yù)測(cè)來形成最終預(yù)測(cè)。對(duì)于分類問題，通常使用多數(shù)投票法；對(duì)于回歸問題，則使用平均值。

?

5. **減少方差**：

???- Bagging主要目的是減少模型的方差。由于多個(gè)模型獨(dú)立訓(xùn)練，它們的預(yù)測(cè)結(jié)果可能不同，聚合這些結(jié)果可以平滑個(gè)別模型的波動(dòng)。

?

6. **提高準(zhǔn)確性**：

???- 通過聚合多個(gè)模型的預(yù)測(cè)，Bagging通常能夠提高模型的準(zhǔn)確性，尤其是在基模型容易過擬合的情況下。

?

7. **并行化**：

???- 由于每個(gè)基模型是獨(dú)立訓(xùn)練的，Bagging可以很容易地并行化，這有助于提高訓(xùn)練效率。

?

8. **穩(wěn)定性**：

???- Bagging提高了模型的穩(wěn)定性，使得模型對(duì)數(shù)據(jù)中的小波動(dòng)和異常值不那么敏感。

?

9. **適用性**：

???- Bagging適用于那些具有高方差預(yù)測(cè)的模型，如決策樹，但對(duì)于已經(jīng)具有較低方差的模型，如線性回歸，可能不會(huì)帶來太大的改進(jìn)。

?

Bagging的一個(gè)著名實(shí)現(xiàn)是隨機(jī)森林（Random Forest），它不僅使用自助采樣，還在決策樹的分裂過程中引入隨機(jī)性，通過隨機(jī)選擇特征子集來進(jìn)一步增加模型的多樣性。

隨機(jī)森林思想特征

隨機(jī)森林（Random Forest）是一種集成學(xué)習(xí)方法，它通過構(gòu)建多個(gè)決策樹并將它們的預(yù)測(cè)結(jié)果進(jìn)行聚合來提高模型的準(zhǔn)確性和魯棒性。以下是隨機(jī)森林的關(guān)鍵思想和特征：

?

1. **多個(gè)決策樹**：

???- 隨機(jī)森林由多個(gè)決策樹組成，每棵樹都是獨(dú)立構(gòu)建的。

?

2. **自助采樣**：

???- 每棵決策樹都是在原始數(shù)據(jù)集的一個(gè)不同子集上訓(xùn)練得到的，這個(gè)子集是通過自助采樣（Bootstrap Sampling）得到的。

?

3. **特征隨機(jī)性**：

???- 在每棵樹的每個(gè)分裂節(jié)點(diǎn)，隨機(jī)森林不是考慮所有可能的特征，而是隨機(jī)選擇一部分特征，然后從中選擇最佳分裂特征。這種隨機(jī)性增加了樹之間的多樣性。

?

4. **降低過擬合**：

???- 由于每棵樹都是基于不同的數(shù)據(jù)和特征子集構(gòu)建的，隨機(jī)森林能夠減少模型的過擬合風(fēng)險(xiǎn)。

?

5. **高準(zhǔn)確性**：

???- 通過聚合多個(gè)決策樹的預(yù)測(cè)結(jié)果，隨機(jī)森林通常能夠提供比單個(gè)決策樹更準(zhǔn)確的預(yù)測(cè)。

?

6. **方差-偏差權(quán)衡**：

???- 隨機(jī)森林通過增加模型的數(shù)量（即樹的數(shù)量）來降低方差，同時(shí)保持較低的偏差。

?

7. **特征重要性評(píng)估**：

???- 隨機(jī)森林能夠評(píng)估各個(gè)特征對(duì)預(yù)測(cè)結(jié)果的重要性，這有助于特征選擇和理解數(shù)據(jù)。

?

8. **并行處理**：

???- 由于每棵樹是獨(dú)立訓(xùn)練的，隨機(jī)森林可以很容易地在多核處理器上并行化，提高訓(xùn)練效率。

?

9. **模型穩(wěn)定性**：

???- 隨機(jī)森林對(duì)單個(gè)樹的異常預(yù)測(cè)不敏感，因?yàn)樗蕾囉谒袠涞木酆辖Y(jié)果。

?

10. **適用性廣泛**：

????- 隨機(jī)森林適用于多種類型的數(shù)據(jù)和問題，包括分類和回歸任務(wù)。

?

11. **抗噪聲能力**：

????- 隨機(jī)森林能夠處理數(shù)據(jù)中的噪聲和異常值，因?yàn)樗蕾囉诙鄠€(gè)樹的共識(shí)。

?

12. **無需參數(shù)調(diào)優(yōu)**：

????- 與單棵決策樹相比，隨機(jī)森林不太依賴于參數(shù)調(diào)優(yōu)，因?yàn)槠湫阅芡ǔｋS著樹的數(shù)量增加而提高。

?

隨機(jī)森林是一種強(qiáng)大的機(jī)器學(xué)習(xí)算法，它結(jié)合了多個(gè)弱預(yù)測(cè)模型（決策樹）來構(gòu)建一個(gè)強(qiáng)預(yù)測(cè)模型。通過減少過擬合和提高準(zhǔn)確性，隨機(jī)森林在許多實(shí)際應(yīng)用中都取得了成功。

AdaBoost特征思想（泛型的）

AdaBoost（Adaptive Boosting）是一種集成學(xué)習(xí)算法，它通過迭代地訓(xùn)練弱分類器（通常是決策樹樁）并集中關(guān)注之前模型中被錯(cuò)誤分類的樣本來提高模型的性能。以下是AdaBoost的關(guān)鍵特征和思想：

?

1. **弱學(xué)習(xí)器**：

???- AdaBoost使用弱學(xué)習(xí)器作為基模型，這些學(xué)習(xí)器的性能略好于隨機(jī)猜測(cè)。

?

2. **迭代訓(xùn)練**：

???- 算法通過迭代過程構(gòu)建多個(gè)弱學(xué)習(xí)器。在每一輪迭代中，一個(gè)新的弱學(xué)習(xí)器被訓(xùn)練來糾正之前學(xué)習(xí)器的錯(cuò)誤。

?

3. **加權(quán)樣本**：

???- 在每一輪迭代中，錯(cuò)誤分類的樣本會(huì)被賦予更高的權(quán)重，這樣新的弱學(xué)習(xí)器就會(huì)更加關(guān)注這些樣本。

?

4. **調(diào)整權(quán)重**：

???- 每個(gè)弱學(xué)習(xí)器都會(huì)根據(jù)其在訓(xùn)練集上的性能獲得一個(gè)權(quán)重，性能越好的弱學(xué)習(xí)器獲得的權(quán)重越高。

?

5. **最終預(yù)測(cè)**：

???- 所有弱學(xué)習(xí)器的預(yù)測(cè)結(jié)果通過加權(quán)投票或加權(quán)平均的方式進(jìn)行聚合，形成最終的預(yù)測(cè)。

?

6. **關(guān)注錯(cuò)誤分類**：

???- AdaBoost通過增加錯(cuò)誤分類樣本的權(quán)重，使模型在后續(xù)迭代中更加關(guān)注這些樣本。

?

7. **提高準(zhǔn)確性**：

???- 通過逐步改進(jìn)模型對(duì)錯(cuò)誤分類樣本的預(yù)測(cè)，AdaBoost通常能夠提高整體模型的準(zhǔn)確性。

?

8. **減少偏差**：

???- AdaBoost試圖減少模型的偏差，但過度迭代可能導(dǎo)致過擬合。

?

9. **控制方差**：

???- 通過適當(dāng)選擇弱學(xué)習(xí)器的復(fù)雜度，AdaBoost可以控制模型的方差。

?

10. **易于實(shí)現(xiàn)**：

????- AdaBoost算法相對(duì)簡(jiǎn)單，易于實(shí)現(xiàn)和理解。

?

11. **對(duì)噪聲敏感**：

????- AdaBoost對(duì)異常值和噪聲比較敏感，因?yàn)樗^分強(qiáng)調(diào)了錯(cuò)誤分類的樣本。

?

12. **可解釋性**：

????- 雖然AdaBoost提高了模型的性能，但可能會(huì)降低模型的可解釋性。

?

AdaBoost是一種強(qiáng)大的分類算法，特別適用于那些可以通過調(diào)整權(quán)重來改進(jìn)的弱學(xué)習(xí)器。然而，使用AdaBoost時(shí)需要注意避免過擬合，可能需要通過交叉驗(yàn)證等技術(shù)來確定迭代次數(shù)。AdaBoost在許多實(shí)際問題中都表現(xiàn)出了良好的性能，尤其是在數(shù)據(jù)集較小或樣本類別不平衡的情況下。

四、應(yīng)用題2*20’

決策樹（P209-211）決策樹原理詳解（無基礎(chǔ)的同樣可以看懂）-CSDN博客

Apiro算法

大白話解析Apriori算法python實(shí)現(xiàn)（含源代碼詳解）_apriori算法python代碼-CSDN博客

FP-growing

FP-growth算法理解和實(shí)現(xiàn)_fpgrowth算法的全稱-CSDN博客

ROC曲線繪制（fpr-tpr）AUC的三種計(jì)算方法及代碼_auc計(jì)算-CSDN博客

?

?

柚子快報(bào)邀請(qǐng)碼778899分享：數(shù)據(jù)挖掘知識(shí)點(diǎn)復(fù)習(xí)

http://yzkb.51969.com/

精彩內(nèi)容