數(shù)字人有兩類，真人驅(qū)動(dòng)與非。

各具特色展魅力，應(yīng)用場(chǎng)景廣闊。

目前數(shù)字人的類型，按照是否是真人驅(qū)動(dòng)，主要有兩種：一種是傳統(tǒng)的對(duì)真人進(jìn)行動(dòng)作與面部捕捉，進(jìn)而通過數(shù)字人反饋和體現(xiàn)出來動(dòng)作形態(tài)，即所有的內(nèi)容都是真人表現(xiàn)出來的。

不過，這種數(shù)字人的形象可以是傳統(tǒng)“捏臉”建模而成的，也可以是通過換臉得到的；數(shù)字人的聲音可以是真人的原始聲音，也可以是按照預(yù)置模型輸出加工后的變音。

另一種是沒有真人參與的。

數(shù)字人形象可以通過建模而成，也可以通過預(yù)先采集用戶數(shù)據(jù)訓(xùn)練得到；聲音則是文本通過預(yù)訓(xùn)練模型加工而成的；數(shù)字人的語音感情、動(dòng)作和面部表情也都是通過預(yù)先采集用戶數(shù)據(jù)進(jìn)行訓(xùn)練與標(biāo)注得到的；其互動(dòng)的方式則通過抓取實(shí)時(shí)數(shù)據(jù)在語言模型中加工后通過TTS語音輸出。

無真人參與的直播形式，因其可以降低人工成本，可以批量、穩(wěn)定復(fù)制，在技術(shù)成熟的情況下，在很長(zhǎng)一段時(shí)間內(nèi)，可能會(huì)成為企業(yè)生產(chǎn)視頻和直播內(nèi)容的優(yōu)選方式。

不過，需要注意的是，這種直播的效果與直播團(tuán)隊(duì)的腳本生產(chǎn)能力有很大關(guān)系。

無真人參與的數(shù)字人模型會(huì)預(yù)先采集數(shù)據(jù)，進(jìn)行模型訓(xùn)練，主要數(shù)據(jù)和訓(xùn)練過程如下：(1)人物形象數(shù)據(jù)：采集多角度、多種環(huán)境，以及多種物體遮罩的場(chǎng)景下的數(shù)據(jù)，數(shù)據(jù)覆蓋的場(chǎng)景越多，訓(xùn)練出來的模型在使用過程中就相對(duì)更加穩(wěn)定，不會(huì)“翻車”。

(2)動(dòng)作與面部表情：捕捉真人在設(shè)備下的形態(tài)、表情、手勢(shì)、眼神等變化，生成模型。

(3)聲音預(yù)訓(xùn)練模型：生成特定音色的聲線。

(4)感情標(biāo)注：使用標(biāo)注什么樣的文本會(huì)對(duì)應(yīng)什么樣的感情，從而讓數(shù)字人表現(xiàn)出不同的情感。

在使用過程中，文本腳本將被分割成無數(shù)的文字句段，數(shù)字人利用訓(xùn)練好的模型，“讀出”句段并輔之以特定的動(dòng)作與感情，從而使動(dòng)作與語音在合成后輸出。

此外，觀眾的互動(dòng)數(shù)據(jù)，將在語音模型加工后，插入當(dāng)前句段閱讀完成后，數(shù)字人透完互動(dòng)文本后，會(huì)繼續(xù)下一個(gè)文本腳本的句段，以保證連續(xù)性、當(dāng)然，GPT加工的互動(dòng)文字也可以以文字的形式在直播間彈幕上體現(xiàn)。