柚子快報(bào)激活碼778899分享：AIGC的初識(shí)

http://yzkb.51969.com/

?歡迎來(lái)到自然語(yǔ)言處理的世界? ?博客主頁(yè)：卿云閣

?歡迎關(guān)注?點(diǎn)贊?收藏??留言?

?本文由卿云閣原創(chuàng)！

?首發(fā)時(shí)間：?2023年12月26日?

??希望可以和大家一起完成進(jìn)階之路！

?作者水平很有限，如果發(fā)現(xiàn)錯(cuò)誤，請(qǐng)留言轟炸哦！萬(wàn)分感謝！

AIGC是什么？

? ? ? 當(dāng)下熱門科技詞匯，AIGC當(dāng)之無(wú)愧位列其中 但你真的了解AIGC嗎？從某一天開(kāi)始，我們突然發(fā)現(xiàn)ai生成圖片，音頻，圖片，視頻等等內(nèi)容啦。而且難以分清創(chuàng)作者是人類還是ai，AIGC是指由AI生成的內(nèi)容，是AI-generated content的縮寫。想chatgbt生成的文章，都屬于AIGC。

? ? 當(dāng)AIGC在國(guó)內(nèi)火爆的同時(shí)，海外流行的是另一個(gè)詞"Generation AI"，生成式AI，生成式AI所生成的內(nèi)容就是AIGC。所以像chatgbt這種就屬于生成式ai，在國(guó)內(nèi)AIGC這個(gè)詞更加的流行，很多情況下AIGC也用于指代生成式ai。

? ? AI、機(jī)器學(xué)習(xí)、監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)、大語(yǔ)言模型之間的關(guān)系？

? ? AI是計(jì)算機(jī)科學(xué)與技術(shù)下的一個(gè)學(xué)科，目的是讓AI去理解人類的智能，從而解決問(wèn)題和完成任務(wù)，早在1956年ai就被確定成了一個(gè)學(xué)科領(lǐng)域，機(jī)器學(xué)習(xí)是ai的一個(gè)子集，它不需要人類做顯示的編程，而是讓計(jì)算機(jī)通過(guò)算法自覺(jué)的學(xué)習(xí)和改進(jìn)，去做出預(yù)測(cè)和決策，顯示編程就類似于if(一個(gè)男生&&長(zhǎng)的還很帥）他一定是csdn公司的，這個(gè)過(guò)程中，計(jì)算機(jī)沒(méi)有進(jìn)行任何的學(xué)習(xí)，但是如果我們可以給計(jì)算機(jī)大量的數(shù)據(jù)，讓其進(jìn)行自主的學(xué)習(xí)和判斷，這種就是機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)領(lǐng)域中有多個(gè)分支，包括監(jiān)督學(xué)習(xí)（有標(biāo)簽，如分類和回歸（房?jī)r(jià)預(yù)測(cè)）），無(wú)監(jiān)督學(xué)習(xí)（無(wú)標(biāo)簽，比如聚類算法（新聞文章），強(qiáng)化學(xué)習(xí)（從結(jié)果反饋中行動(dòng)，下圍棋）。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)方法，運(yùn)用人工神經(jīng)網(wǎng)絡(luò)。

? ? ?生成式ai是深度學(xué)習(xí)的一種應(yīng)用，利用神經(jīng)網(wǎng)絡(luò)識(shí)別現(xiàn)有的內(nèi)容和模式，學(xué)習(xí)生成新的內(nèi)容，內(nèi)容形式可以是圖片文本等等。

深度學(xué)習(xí)和大語(yǔ)言模型有何區(qū)別？

? ?大語(yǔ)言模型是深度學(xué)習(xí)的一個(gè)應(yīng)用，專注于自然語(yǔ)言處理。大說(shuō)明模型的參數(shù)量特別大，需要海量的文本數(shù)據(jù)集。

啥是大語(yǔ)言模型？

? ? 2022年11月30日，OpenAI發(fā)布了ChatGPT，成為擁有100萬(wàn)用戶的最快在線產(chǎn)品。大語(yǔ)言模型首先需要通過(guò)監(jiān)督文本進(jìn)行大量的無(wú)監(jiān)督學(xué)習(xí)。參數(shù)量越大，可能效果更好。

Transformer是什么？它在大語(yǔ)言模型中的作用是什么？

Transformer出來(lái)之后自然語(yǔ)言處理的方向就被改變啦。

? ? ? Transformer提出之前，我們大部分用的是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），每一步的輸出取決于當(dāng)前的隱藏狀態(tài)和當(dāng)前的輸入，等上一個(gè)步驟完成后才能進(jìn)行當(dāng)前的運(yùn)算，無(wú)法并行計(jì)算效率低。而且不擅長(zhǎng)處理長(zhǎng)文本，詞之間的距離越遠(yuǎn)，影響越弱，

? ? ?為了彌補(bǔ)這一個(gè)缺點(diǎn)，后來(lái)出現(xiàn)了lstm(長(zhǎng)短期記憶網(wǎng)絡(luò)），但是其也沒(méi)有解決并行計(jì)算的能力，后來(lái)Transformer的出現(xiàn)啦，其特點(diǎn)在于自注意力機(jī)制，他會(huì)注意這個(gè)詞和其它詞語(yǔ)之間的相關(guān)性有多強(qiáng)。

? ? 還有一個(gè)特點(diǎn)在于位置編碼，在語(yǔ)言里字很重要，順序不一樣也會(huì)導(dǎo)致意思大相徑庭，所以我們會(huì)用序列這個(gè)詞，Transformer既可以捕獲每個(gè)詞的意思還可以捕獲每個(gè)詞的位置，從而理解不同詞的順序關(guān)系，借助位置編碼詞可以不按照順序輸送給Transformer，模型可以同時(shí)處理所有的位置。

在計(jì)算時(shí)每個(gè)詞都可以獨(dú)立的計(jì)算，不需要等待其它位置的計(jì)算結(jié)果，大大的提高了訓(xùn)練的速度。

Transformer是一種由編碼-解碼結(jié)構(gòu)組成的深度學(xué)習(xí)模型，用于生成文本？

有人說(shuō)它是通過(guò)預(yù)測(cè)下一個(gè)詞的概率來(lái)進(jìn)行文本生成的，這種效果有點(diǎn)像自動(dòng)補(bǔ)全。

假如我們讓Transformer做一個(gè)翻譯法語(yǔ)的任務(wù)。

? ? ?首先我們輸入的文本會(huì)被token化，也就是先把輸入拆成各個(gè)的token，token可以理解成文本的一個(gè)基本單位，取決于不同的token化方法，長(zhǎng)單詞可能會(huì)被分成多個(gè)token。然后每一個(gè)token會(huì)用一個(gè)整數(shù)表示，這個(gè)數(shù)字被叫做token id。

?然后我們?cè)侔阉鼈魅氲角度雽樱度雽邮亲屆總€(gè)token都用向量表示，向量可以簡(jiǎn)單的看出是一段數(shù)字，大于一個(gè)數(shù)字。關(guān)系越大，距離的越近。向量長(zhǎng)度越大包含的信息越多。

通過(guò)編碼器的嵌入層得到詞向量后，下一步是對(duì)向量進(jìn)行位置編碼，這個(gè)是一個(gè)很大的特點(diǎn)。

位置編碼就是把位置向量和上一步得到的詞向量，傳給編碼器。

編碼器的作用是把輸入轉(zhuǎn)換成一種更抽象的表示形式，這個(gè)表示形式也是向量，捕捉關(guān)鍵特征的核心是自注意力機(jī)制，模型會(huì)關(guān)注序列中的其他詞，如果兩個(gè)詞bu之間的相關(guān)性更強(qiáng)，那么她們的相關(guān)性更高。

自注意包含了對(duì)文本的一個(gè)全面的關(guān)注，在輸出的結(jié)果里，不僅包含這個(gè)詞本身的信息還融合了上下文的相關(guān)信息，編碼器的結(jié)果會(huì)根據(jù)上下文的關(guān)系不斷的調(diào)整，Transformer實(shí)際使用了多頭注意力，有的關(guān)注名詞，有點(diǎn)關(guān)注動(dòng)詞等等，而且可以做并行運(yùn)算，多頭注意力還有一個(gè)前神經(jīng)網(wǎng)絡(luò)，會(huì)對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的處理，編碼器實(shí)際上是有多個(gè)堆疊在一起。

解碼器是大語(yǔ)言模型生成一個(gè)個(gè)詞的關(guān)鍵，編碼器把各個(gè)數(shù)據(jù)的抽象表示傳給解碼器，還會(huì)先接受一個(gè)特殊值，這個(gè)值表示輸出序列的開(kāi)頭(已經(jīng)生成的文本），文本要經(jīng)過(guò)嵌入層和位置編碼，然后被輸入多頭注意力層，此時(shí)的自注意力只會(huì)關(guān)注這個(gè)詞和它前面的詞（帶掩碼的多頭注意力）。

注意力會(huì)捕捉編碼器的輸出和解碼器即將輸出之間的對(duì)應(yīng)關(guān)系，從而將原始序列的融入輸出序列的輸出過(guò)程中，解碼器的神經(jīng)網(wǎng)絡(luò)的作用和解碼器的類似，通過(guò)額外的運(yùn)算增強(qiáng)表達(dá)能力。

解碼器的最后階段包含，一個(gè)線性層和一個(gè)softman層，轉(zhuǎn)換成詞匯表的概率分布，代表下一個(gè)token的概率，大多數(shù)情況下模型會(huì)選擇概率更高的token。

ChatGPT的訓(xùn)練過(guò)程

無(wú)監(jiān)督學(xué)習(xí)預(yù)訓(xùn)練

通過(guò)高質(zhì)量的對(duì)話數(shù)據(jù)，對(duì)基座模型進(jìn)行監(jiān)督微調(diào)

用問(wèn)題和多個(gè)對(duì)應(yīng)回答的數(shù)據(jù)讓人類進(jìn)行高質(zhì)量的排序，制作評(píng)分預(yù)測(cè)的獎(jiǎng)勵(lì)數(shù)據(jù)

用獎(jiǎng)勵(lì)模型給回答進(jìn)行評(píng)分，利用評(píng)分進(jìn)行反饋進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練。

柚子快報(bào)激活碼778899分享：AIGC的初識(shí)

http://yzkb.51969.com/

相關(guān)閱讀