柚子快報(bào)激活碼778899分享：神經(jīng)網(wǎng)絡(luò)背后的數(shù)學(xué)原理

http://yzkb.51969.com/

原文地址：The Math Behind Neural Networks

2024 年 3 月 29 日

深入研究現(xiàn)代人工智能的支柱——神經(jīng)網(wǎng)絡(luò)，了解其數(shù)學(xué)原理，從頭開始實(shí)現(xiàn)它，并探索其應(yīng)用。

神經(jīng)網(wǎng)絡(luò)是人工智能 （AI） 的核心，為從發(fā)現(xiàn)照片中的物體到翻譯語(yǔ)言的各種應(yīng)用提供動(dòng)力。在本文中，我們將深入探討神經(jīng)網(wǎng)絡(luò)是什么，它們是如何工作的，以及為什么它們?cè)诋?dāng)今技術(shù)驅(qū)動(dòng)的世界中很重要。

1：基礎(chǔ)知識(shí)

1.1：什么是神經(jīng)網(wǎng)絡(luò)？

神經(jīng)網(wǎng)絡(luò)是生物學(xué)和計(jì)算機(jī)科學(xué)的酷炫融合，靈感來(lái)自我們大腦處理復(fù)雜計(jì)算任務(wù)的設(shè)置。從本質(zhì)上講，它們是旨在發(fā)現(xiàn)模式和理解感官數(shù)據(jù)的算法，這使它們可以做很多事情，例如識(shí)別人臉、理解口語(yǔ)、做出預(yù)測(cè)和理解自然語(yǔ)言。

生物啟示

我們的大腦有大約860億個(gè)神經(jīng)元，它們都連接在一個(gè)復(fù)雜的網(wǎng)絡(luò)中。這些神經(jīng)元通過稱為突觸的連接聊天，其中信號(hào)可以變強(qiáng)或變?nèi)酰瑥亩绊憘鬟f的信息。這是我們學(xué)習(xí)和記憶事物的基礎(chǔ)。

人工神經(jīng)網(wǎng)絡(luò)借鑒了本書的一頁(yè)，使用分層連接的數(shù)字神經(jīng)元或節(jié)點(diǎn)。您有接收數(shù)據(jù)的輸入層、咀嚼這些數(shù)據(jù)的隱藏層以及吐出結(jié)果的輸出層。當(dāng)網(wǎng)絡(luò)獲得更多數(shù)據(jù)時(shí)，它會(huì)調(diào)整連接強(qiáng)度（或“權(quán)重”）來(lái)學(xué)習(xí)，有點(diǎn)像我們大腦的突觸如何增強(qiáng)或減弱。

從感知器到深度學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)始于1958年一種叫做感知器的東西，這要?dú)w功于弗蘭克·羅森布拉特（Frank Rosenblatt）。這是一個(gè)基本的神經(jīng)網(wǎng)絡(luò)，用于簡(jiǎn)單的“是”或“否”類型的任務(wù)。從那里，我們構(gòu)建了更復(fù)雜的網(wǎng)絡(luò)，如多層感知器（MLP），由于具有一個(gè)或多個(gè)隱藏層，它可以理解更復(fù)雜的數(shù)據(jù)關(guān)系。

然后是深度學(xué)習(xí)，它是關(guān)于具有許多層的神經(jīng)網(wǎng)絡(luò)。這些深度神經(jīng)網(wǎng)絡(luò)能夠從大量數(shù)據(jù)中學(xué)習(xí)，它們是我們聽到的許多人工智能突破的幕后推手，從擊敗人類圍棋選手到為自動(dòng)駕駛汽車提供動(dòng)力。

通過模式理解

神經(jīng)網(wǎng)絡(luò)的最大優(yōu)勢(shì)之一是它們能夠?qū)W習(xí)數(shù)據(jù)中的模式，而無(wú)需直接針對(duì)特定任務(wù)進(jìn)行編程。這個(gè)過程被稱為“訓(xùn)練”，讓神經(jīng)網(wǎng)絡(luò)能夠掌握總體趨勢(shì)，并根據(jù)他們所學(xué)到的知識(shí)做出預(yù)測(cè)或決策。

由于這種能力，神經(jīng)網(wǎng)絡(luò)具有超強(qiáng)的通用性，可用于廣泛的應(yīng)用，從圖像識(shí)別到語(yǔ)言翻譯，再到預(yù)測(cè)股票市場(chǎng)趨勢(shì)。他們正在證明，曾經(jīng)被認(rèn)為需要人類智能的任務(wù)現(xiàn)在可以通過人工智能來(lái)解決。

1.2：神經(jīng)網(wǎng)絡(luò)的類型

在深入研究它們的結(jié)構(gòu)和數(shù)學(xué)之前，讓我們先來(lái)看看我們今天可能發(fā)現(xiàn)的最流行的神經(jīng)網(wǎng)絡(luò)類型。這將使我們更好地了解他們的潛力和能力。我將在以后的文章中嘗試涵蓋所有這些內(nèi)容，因此請(qǐng)務(wù)必訂閱！

前饋神經(jīng)網(wǎng)絡(luò) （FNN）

從基礎(chǔ)開始，前饋神經(jīng)網(wǎng)絡(luò)是最簡(jiǎn)單的類型。這就像數(shù)據(jù)的單行道——信息直接從輸入端傳輸，穿過任何隱藏層，然后從另一端傳到輸出端。這些網(wǎng)絡(luò)是簡(jiǎn)單預(yù)測(cè)和將事物分類的首選。

卷積神經(jīng)網(wǎng)絡(luò) （CNN）

CNN是計(jì)算機(jī)視覺領(lǐng)域的大佬。由于它們的特殊圖層，它們具有捕捉圖像中空間模式的訣竅。這種能力使他們?cè)谧R(shí)別圖像、發(fā)現(xiàn)其中的物體以及對(duì)他們所看到的事物進(jìn)行分類方面成為明星。這就是您的手機(jī)可以在照片中區(qū)分狗和貓的原因。

遞歸神經(jīng)網(wǎng)絡(luò) （RNN）

RNN 具有各種記憶力，非常適合任何涉及數(shù)據(jù)序列的事情，例如句子、DNA 序列、筆跡或股票市場(chǎng)趨勢(shì)。它們將信息循環(huán)回，使它們能夠記住序列中以前的輸入。這使他們?cè)陬A(yù)測(cè)句子中的下一個(gè)單詞或理解口語(yǔ)等任務(wù)中表現(xiàn)出色。

長(zhǎng)短期記憶網(wǎng)絡(luò) （LSTM）

LSTM 是一種特殊品種的 RNN，旨在長(zhǎng)時(shí)間記住事物。它們旨在解決 RNN 在長(zhǎng)序列中忘記內(nèi)容的問題。如果您正在處理需要長(zhǎng)時(shí)間保留信息的復(fù)雜任務(wù)，例如翻譯段落或預(yù)測(cè)電視劇中接下來(lái)會(huì)發(fā)生什么，LSTM 是您的首選。

生成對(duì)抗網(wǎng)絡(luò) （GAN）

想象一下，在貓捉老鼠的游戲中有兩個(gè)人工智能：一個(gè)生成虛假數(shù)據(jù)（如圖像），另一個(gè)試圖捕捉什么是假的，什么是真的。那是 GAN。這種設(shè)置允許 GAN 創(chuàng)建令人難以置信的逼真圖像、音樂、文本等。他們是神經(jīng)網(wǎng)絡(luò)世界的藝術(shù)家，從頭開始生成新的、逼真的數(shù)據(jù)。

2：神經(jīng)網(wǎng)絡(luò)的架構(gòu)

At the core of neural networks are what we call neurons or nodes, inspired by the nerve cells in our brains. These artificial neurons are the workhorses that handle the heavy lifting of receiving, crunching, and passing along information. Let’s dive into how these neurons are built. 神經(jīng)網(wǎng)絡(luò)的核心是我們所說(shuō)的神經(jīng)元或節(jié)點(diǎn)，其靈感來(lái)自我們大腦中的神經(jīng)細(xì)胞。這些人工神經(jīng)元是處理接收、處理和傳遞信息的繁重工作的主要力量。讓我們深入了解這些神經(jīng)元是如何構(gòu)建的。

2.1：神經(jīng)元的結(jié)構(gòu)

神經(jīng)元直接從我們感興趣的數(shù)據(jù)或其他神經(jīng)元的輸出中獲取輸入。這些輸入就像一個(gè)列表，列表中的每個(gè)項(xiàng)目都代表數(shù)據(jù)的不同特征。

對(duì)于每個(gè)輸入，神經(jīng)元都會(huì)做一些數(shù)學(xué)運(yùn)算：它將輸入乘以“權(quán)重”，然后添加“偏差”。將權(quán)重視為神經(jīng)元決定輸入重要性的方式，將偏差視為一種調(diào)整，以確保神經(jīng)元的輸出恰到好處。在網(wǎng)絡(luò)訓(xùn)練期間，它會(huì)調(diào)整這些權(quán)重和偏差，以更好地完成工作。

接下來(lái)，神經(jīng)元將所有這些加權(quán)輸入和偏差相加，并通過稱為激活函數(shù)的特殊函數(shù)運(yùn)行總數(shù)。這一步是神奇的地方，允許神經(jīng)元通過以非線性方式彎曲和拉伸數(shù)據(jù)來(lái)處理復(fù)雜的模式。此函數(shù)的常用選擇是 ReLU、Sigmoid 和 Tanh，每種方法都有其調(diào)整數(shù)據(jù)的方式。

2.2：圖層

具有 3 層的 FNN 架構(gòu) — 圖片由作者提供

神經(jīng)網(wǎng)絡(luò)是分層結(jié)構(gòu)的，有點(diǎn)像分層蛋糕，每一層由多個(gè)神經(jīng)元組成。這些層的堆疊方式形成了網(wǎng)絡(luò)的架構(gòu)：

輸入層

這是數(shù)據(jù)進(jìn)入網(wǎng)絡(luò)的地方。這里的每個(gè)神經(jīng)元對(duì)應(yīng)于數(shù)據(jù)的一個(gè)特征。在上圖中，輸入層是左側(cè)的第一層，其中包含兩個(gè)節(jié)點(diǎn)。

隱藏圖層

這些是夾在輸入和輸出之間的層，從上圖中可以看出。你可能只有一個(gè)或一堆這樣的隱藏層，做著繁重的計(jì)算和轉(zhuǎn)換工作。您擁有的層（以及每層中的神經(jīng)元）越多，網(wǎng)絡(luò)可以學(xué)習(xí)的模式就越復(fù)雜。但是，這也意味著需要更多的計(jì)算能力，并且網(wǎng)絡(luò)更有可能過于沉迷于訓(xùn)練數(shù)據(jù)，這個(gè)問題被稱為過擬合。

輸出層

這是網(wǎng)絡(luò)的最后一站，它在那里吐出結(jié)果。根據(jù)任務(wù)的不同，例如對(duì)數(shù)據(jù)進(jìn)行分類，該層可能為每個(gè)類別都有一個(gè)神經(jīng)元，使用類似于 softmax 函數(shù)的東西來(lái)給出每個(gè)類別的概率。在上圖中，最后一層僅包含一個(gè)節(jié)點(diǎn)，表明該節(jié)點(diǎn)用于回歸任務(wù)。

2.3：層在學(xué)習(xí)中的作用

隱藏層是網(wǎng)絡(luò)的特征檢測(cè)器。當(dāng)數(shù)據(jù)在這些層中移動(dòng)時(shí)，網(wǎng)絡(luò)可以更好地發(fā)現(xiàn)和組合輸入特征，將它們分層到對(duì)數(shù)據(jù)的更復(fù)雜的理解中。

隨著數(shù)據(jù)通過的每一層，網(wǎng)絡(luò)都可以拾取更復(fù)雜的模式。早期的圖層可能會(huì)學(xué)習(xí)形狀或紋理等基本知識(shí)，而更深的圖層則掌握了更復(fù)雜的想法，例如識(shí)別圖片中的物體或人臉。

3：神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)

3.1：加權(quán)總和

神經(jīng)計(jì)算過程的第一步是將輸入聚合到神經(jīng)元中，每個(gè)輸入乘以各自的權(quán)重，然后添加一個(gè)偏差項(xiàng)。此操作稱為加權(quán)和或線性組合。在數(shù)學(xué)上，它表示為：

NN 的加權(quán)和公式 — 圖片由作者提供

解釋：

z?是加權(quán)和，

wi?表示與第 i 個(gè)輸入相關(guān)的權(quán)重，

xi?是神經(jīng)元的第 i 個(gè)輸入，

b?是偏置項(xiàng)，這是一個(gè)唯一的參數(shù)，允許調(diào)整輸出和加權(quán)和。

加權(quán)和至關(guān)重要，因?yàn)樗鼧?gòu)成了任何非線性變換之前神經(jīng)元的原始輸入信號(hào)。它允許網(wǎng)絡(luò)對(duì)輸入進(jìn)行線性轉(zhuǎn)換，調(diào)整神經(jīng)元輸出中每個(gè)輸入的重要性（權(quán)重）。

3.2：激活函數(shù)

正如我們之前所說(shuō)，激活函數(shù)在決定神經(jīng)網(wǎng)絡(luò)的輸出方面起著關(guān)鍵作用。它們是決定神經(jīng)元是否應(yīng)該被激活的數(shù)學(xué)方程式。激活函數(shù)為網(wǎng)絡(luò)引入了非線性屬性，使其能夠?qū)W習(xí)復(fù)雜的數(shù)據(jù)模式并執(zhí)行超越單純線性分類的任務(wù)，這對(duì)于深度學(xué)習(xí)模型至關(guān)重要。在這里，我們深入探討了激活函數(shù)的幾種關(guān)鍵類型及其意義：

Sigmoid 激活函數(shù)

Sigmoid Plot — 圖片由作者提供

此函數(shù)將其輸入壓縮到 0 到 1 之間的狹窄范圍內(nèi)。這就像取任何值，無(wú)論大小，并將其轉(zhuǎn)換為概率。

Sigmoid 函數(shù) — 圖片由作者提供

您將在二元分類網(wǎng)絡(luò)的最后一層中看到 sigmoid 函數(shù)，您需要在兩個(gè)選項(xiàng)之間做出決定——是或否、真或假、1 或 0。

雙曲正切函數(shù) （tanh）

tanh Plot — 圖片由作者提供

Tanh 將輸出范圍擴(kuò)展到 -1 和 1 之間。這會(huì)使數(shù)據(jù)以 0 為中心，使下層更容易從中學(xué)習(xí)。

tanh formula — 圖片由作者提供

它通常位于隱藏層中，通過平衡輸入信號(hào)來(lái)幫助對(duì)更復(fù)雜的數(shù)據(jù)關(guān)系進(jìn)行建模。

整流線性單元 （ReLU）

ReLU Plot — 圖片由作者提供

ReLU 就像一個(gè)看門人，它傳遞正值不變，但阻止負(fù)值，將它們變?yōu)榱?。這種簡(jiǎn)單性使其非常高效，并有助于克服訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)的一些棘手問題。

ReLU 函數(shù) — 圖片由作者提供

它的簡(jiǎn)單性和效率使 ReLU 非常受歡迎，尤其是在卷積神經(jīng)網(wǎng)絡(luò) （CNN） 和深度學(xué)習(xí)模型中。

泄漏整流線性單元 （Leaky ReLU）

Leaky ReLU Plot — 圖片由作者提供

當(dāng)輸入小于零時(shí)，Leaky ReLU 允許微小的非零梯度，即使神經(jīng)元沒有主動(dòng)放電，它們也能保持活力和踢動(dòng)。

柚子快報(bào)激活碼778899分享：神經(jīng)網(wǎng)絡(luò)背后的數(shù)學(xué)原理

http://yzkb.51969.com/

文章來(lái)源