柚子快報激活碼778899分享：神經(jīng)網(wǎng)絡(luò)背后的數(shù)學(xué)原理

http://yzkb.51969.com/

原文地址：The Math Behind Neural Networks

2024 年 3 月 29 日

深入研究現(xiàn)代人工智能的支柱——神經(jīng)網(wǎng)絡(luò)，了解其數(shù)學(xué)原理，從頭開始實現(xiàn)它，并探索其應(yīng)用。

神經(jīng)網(wǎng)絡(luò)是人工智能 （AI） 的核心，為從發(fā)現(xiàn)照片中的物體到翻譯語言的各種應(yīng)用提供動力。在本文中，我們將深入探討神經(jīng)網(wǎng)絡(luò)是什么，它們是如何工作的，以及為什么它們在當(dāng)今技術(shù)驅(qū)動的世界中很重要。

1：基礎(chǔ)知識

1.1：什么是神經(jīng)網(wǎng)絡(luò)？

神經(jīng)網(wǎng)絡(luò)是生物學(xué)和計算機科學(xué)的酷炫融合，靈感來自我們大腦處理復(fù)雜計算任務(wù)的設(shè)置。從本質(zhì)上講，它們是旨在發(fā)現(xiàn)模式和理解感官數(shù)據(jù)的算法，這使它們可以做很多事情，例如識別人臉、理解口語、做出預(yù)測和理解自然語言。

生物啟示

我們的大腦有大約860億個神經(jīng)元，它們都連接在一個復(fù)雜的網(wǎng)絡(luò)中。這些神經(jīng)元通過稱為突觸的連接聊天，其中信號可以變強或變?nèi)?，從而影響傳遞的信息。這是我們學(xué)習(xí)和記憶事物的基礎(chǔ)。

人工神經(jīng)網(wǎng)絡(luò)借鑒了本書的一頁，使用分層連接的數(shù)字神經(jīng)元或節(jié)點。您有接收數(shù)據(jù)的輸入層、咀嚼這些數(shù)據(jù)的隱藏層以及吐出結(jié)果的輸出層。當(dāng)網(wǎng)絡(luò)獲得更多數(shù)據(jù)時，它會調(diào)整連接強度（或“權(quán)重”）來學(xué)習(xí)，有點像我們大腦的突觸如何增強或減弱。

從感知器到深度學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)始于1958年一種叫做感知器的東西，這要歸功于弗蘭克·羅森布拉特（Frank Rosenblatt）。這是一個基本的神經(jīng)網(wǎng)絡(luò)，用于簡單的“是”或“否”類型的任務(wù)。從那里，我們構(gòu)建了更復(fù)雜的網(wǎng)絡(luò)，如多層感知器（MLP），由于具有一個或多個隱藏層，它可以理解更復(fù)雜的數(shù)據(jù)關(guān)系。

然后是深度學(xué)習(xí)，它是關(guān)于具有許多層的神經(jīng)網(wǎng)絡(luò)。這些深度神經(jīng)網(wǎng)絡(luò)能夠從大量數(shù)據(jù)中學(xué)習(xí)，它們是我們聽到的許多人工智能突破的幕后推手，從擊敗人類圍棋選手到為自動駕駛汽車提供動力。

通過模式理解

神經(jīng)網(wǎng)絡(luò)的最大優(yōu)勢之一是它們能夠?qū)W習(xí)數(shù)據(jù)中的模式，而無需直接針對特定任務(wù)進行編程。這個過程被稱為“訓(xùn)練”，讓神經(jīng)網(wǎng)絡(luò)能夠掌握總體趨勢，并根據(jù)他們所學(xué)到的知識做出預(yù)測或決策。

由于這種能力，神經(jīng)網(wǎng)絡(luò)具有超強的通用性，可用于廣泛的應(yīng)用，從圖像識別到語言翻譯，再到預(yù)測股票市場趨勢。他們正在證明，曾經(jīng)被認為需要人類智能的任務(wù)現(xiàn)在可以通過人工智能來解決。

1.2：神經(jīng)網(wǎng)絡(luò)的類型

在深入研究它們的結(jié)構(gòu)和數(shù)學(xué)之前，讓我們先來看看我們今天可能發(fā)現(xiàn)的最流行的神經(jīng)網(wǎng)絡(luò)類型。這將使我們更好地了解他們的潛力和能力。我將在以后的文章中嘗試涵蓋所有這些內(nèi)容，因此請務(wù)必訂閱！

前饋神經(jīng)網(wǎng)絡(luò) （FNN）

從基礎(chǔ)開始，前饋神經(jīng)網(wǎng)絡(luò)是最簡單的類型。這就像數(shù)據(jù)的單行道——信息直接從輸入端傳輸，穿過任何隱藏層，然后從另一端傳到輸出端。這些網(wǎng)絡(luò)是簡單預(yù)測和將事物分類的首選。

卷積神經(jīng)網(wǎng)絡(luò) （CNN）

CNN是計算機視覺領(lǐng)域的大佬。由于它們的特殊圖層，它們具有捕捉圖像中空間模式的訣竅。這種能力使他們在識別圖像、發(fā)現(xiàn)其中的物體以及對他們所看到的事物進行分類方面成為明星。這就是您的手機可以在照片中區(qū)分狗和貓的原因。

遞歸神經(jīng)網(wǎng)絡(luò) （RNN）

RNN 具有各種記憶力，非常適合任何涉及數(shù)據(jù)序列的事情，例如句子、DNA 序列、筆跡或股票市場趨勢。它們將信息循環(huán)回，使它們能夠記住序列中以前的輸入。這使他們在預(yù)測句子中的下一個單詞或理解口語等任務(wù)中表現(xiàn)出色。

長短期記憶網(wǎng)絡(luò) （LSTM）

LSTM 是一種特殊品種的 RNN，旨在長時間記住事物。它們旨在解決 RNN 在長序列中忘記內(nèi)容的問題。如果您正在處理需要長時間保留信息的復(fù)雜任務(wù)，例如翻譯段落或預(yù)測電視劇中接下來會發(fā)生什么，LSTM 是您的首選。

生成對抗網(wǎng)絡(luò) （GAN）

想象一下，在貓捉老鼠的游戲中有兩個人工智能：一個生成虛假數(shù)據(jù)（如圖像），另一個試圖捕捉什么是假的，什么是真的。那是 GAN。這種設(shè)置允許 GAN 創(chuàng)建令人難以置信的逼真圖像、音樂、文本等。他們是神經(jīng)網(wǎng)絡(luò)世界的藝術(shù)家，從頭開始生成新的、逼真的數(shù)據(jù)。

2：神經(jīng)網(wǎng)絡(luò)的架構(gòu)

At the core of neural networks are what we call neurons or nodes, inspired by the nerve cells in our brains. These artificial neurons are the workhorses that handle the heavy lifting of receiving, crunching, and passing along information. Let’s dive into how these neurons are built. 神經(jīng)網(wǎng)絡(luò)的核心是我們所說的神經(jīng)元或節(jié)點，其靈感來自我們大腦中的神經(jīng)細胞。這些人工神經(jīng)元是處理接收、處理和傳遞信息的繁重工作的主要力量。讓我們深入了解這些神經(jīng)元是如何構(gòu)建的。

2.1：神經(jīng)元的結(jié)構(gòu)

神經(jīng)元直接從我們感興趣的數(shù)據(jù)或其他神經(jīng)元的輸出中獲取輸入。這些輸入就像一個列表，列表中的每個項目都代表數(shù)據(jù)的不同特征。

對于每個輸入，神經(jīng)元都會做一些數(shù)學(xué)運算：它將輸入乘以“權(quán)重”，然后添加“偏差”。將權(quán)重視為神經(jīng)元決定輸入重要性的方式，將偏差視為一種調(diào)整，以確保神經(jīng)元的輸出恰到好處。在網(wǎng)絡(luò)訓(xùn)練期間，它會調(diào)整這些權(quán)重和偏差，以更好地完成工作。

接下來，神經(jīng)元將所有這些加權(quán)輸入和偏差相加，并通過稱為激活函數(shù)的特殊函數(shù)運行總數(shù)。這一步是神奇的地方，允許神經(jīng)元通過以非線性方式彎曲和拉伸數(shù)據(jù)來處理復(fù)雜的模式。此函數(shù)的常用選擇是 ReLU、Sigmoid 和 Tanh，每種方法都有其調(diào)整數(shù)據(jù)的方式。

2.2：圖層

具有 3 層的 FNN 架構(gòu) — 圖片由作者提供

神經(jīng)網(wǎng)絡(luò)是分層結(jié)構(gòu)的，有點像分層蛋糕，每一層由多個神經(jīng)元組成。這些層的堆疊方式形成了網(wǎng)絡(luò)的架構(gòu)：

輸入層

這是數(shù)據(jù)進入網(wǎng)絡(luò)的地方。這里的每個神經(jīng)元對應(yīng)于數(shù)據(jù)的一個特征。在上圖中，輸入層是左側(cè)的第一層，其中包含兩個節(jié)點。

隱藏圖層

這些是夾在輸入和輸出之間的層，從上圖中可以看出。你可能只有一個或一堆這樣的隱藏層，做著繁重的計算和轉(zhuǎn)換工作。您擁有的層（以及每層中的神經(jīng)元）越多，網(wǎng)絡(luò)可以學(xué)習(xí)的模式就越復(fù)雜。但是，這也意味著需要更多的計算能力，并且網(wǎng)絡(luò)更有可能過于沉迷于訓(xùn)練數(shù)據(jù)，這個問題被稱為過擬合。

輸出層

這是網(wǎng)絡(luò)的最后一站，它在那里吐出結(jié)果。根據(jù)任務(wù)的不同，例如對數(shù)據(jù)進行分類，該層可能為每個類別都有一個神經(jīng)元，使用類似于 softmax 函數(shù)的東西來給出每個類別的概率。在上圖中，最后一層僅包含一個節(jié)點，表明該節(jié)點用于回歸任務(wù)。

2.3：層在學(xué)習(xí)中的作用

隱藏層是網(wǎng)絡(luò)的特征檢測器。當(dāng)數(shù)據(jù)在這些層中移動時，網(wǎng)絡(luò)可以更好地發(fā)現(xiàn)和組合輸入特征，將它們分層到對數(shù)據(jù)的更復(fù)雜的理解中。

隨著數(shù)據(jù)通過的每一層，網(wǎng)絡(luò)都可以拾取更復(fù)雜的模式。早期的圖層可能會學(xué)習(xí)形狀或紋理等基本知識，而更深的圖層則掌握了更復(fù)雜的想法，例如識別圖片中的物體或人臉。

3：神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)

3.1：加權(quán)總和

神經(jīng)計算過程的第一步是將輸入聚合到神經(jīng)元中，每個輸入乘以各自的權(quán)重，然后添加一個偏差項。此操作稱為加權(quán)和或線性組合。在數(shù)學(xué)上，它表示為：

NN 的加權(quán)和公式 — 圖片由作者提供

解釋：

z?是加權(quán)和，

wi?表示與第 i 個輸入相關(guān)的權(quán)重，

xi?是神經(jīng)元的第 i 個輸入，

b?是偏置項，這是一個唯一的參數(shù)，允許調(diào)整輸出和加權(quán)和。

加權(quán)和至關(guān)重要，因為它構(gòu)成了任何非線性變換之前神經(jīng)元的原始輸入信號。它允許網(wǎng)絡(luò)對輸入進行線性轉(zhuǎn)換，調(diào)整神經(jīng)元輸出中每個輸入的重要性（權(quán)重）。

3.2：激活函數(shù)

正如我們之前所說，激活函數(shù)在決定神經(jīng)網(wǎng)絡(luò)的輸出方面起著關(guān)鍵作用。它們是決定神經(jīng)元是否應(yīng)該被激活的數(shù)學(xué)方程式。激活函數(shù)為網(wǎng)絡(luò)引入了非線性屬性，使其能夠?qū)W習(xí)復(fù)雜的數(shù)據(jù)模式并執(zhí)行超越單純線性分類的任務(wù)，這對于深度學(xué)習(xí)模型至關(guān)重要。在這里，我們深入探討了激活函數(shù)的幾種關(guān)鍵類型及其意義：

Sigmoid 激活函數(shù)

Sigmoid Plot — 圖片由作者提供

此函數(shù)將其輸入壓縮到 0 到 1 之間的狹窄范圍內(nèi)。這就像取任何值，無論大小，并將其轉(zhuǎn)換為概率。

Sigmoid 函數(shù) — 圖片由作者提供

您將在二元分類網(wǎng)絡(luò)的最后一層中看到 sigmoid 函數(shù)，您需要在兩個選項之間做出決定——是或否、真或假、1 或 0。

雙曲正切函數(shù) （tanh）

tanh Plot — 圖片由作者提供

Tanh 將輸出范圍擴展到 -1 和 1 之間。這會使數(shù)據(jù)以 0 為中心，使下層更容易從中學(xué)習(xí)。

tanh formula — 圖片由作者提供

它通常位于隱藏層中，通過平衡輸入信號來幫助對更復(fù)雜的數(shù)據(jù)關(guān)系進行建模。

整流線性單元 （ReLU）

ReLU Plot — 圖片由作者提供

ReLU 就像一個看門人，它傳遞正值不變，但阻止負值，將它們變?yōu)榱?。這種簡單性使其非常高效，并有助于克服訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時的一些棘手問題。

ReLU 函數(shù) — 圖片由作者提供

它的簡單性和效率使 ReLU 非常受歡迎，尤其是在卷積神經(jīng)網(wǎng)絡(luò) （CNN） 和深度學(xué)習(xí)模型中。

泄漏整流線性單元 （Leaky ReLU）

Leaky ReLU Plot — 圖片由作者提供

當(dāng)輸入小于零時，Leaky ReLU 允許微小的非零梯度，即使神經(jīng)元沒有主動放電，它們也能保持活力和踢動。

柚子快報激活碼778899分享：神經(jīng)網(wǎng)絡(luò)背后的數(shù)學(xué)原理

http://yzkb.51969.com/

文章來源