數(shù)字人系統(tǒng)復雜，涵蓋多模塊功能。

了解其框架，探索科技新領域。

數(shù)字人框架現(xiàn)代數(shù)字人系統(tǒng)的框架根據(jù)具體需求和應用場景的不同而有所差異，主要包括以下四個模塊。

1. 語音合成與識別使用語音合成技術將文本轉(zhuǎn)換為語音，為數(shù)字人賦予語音交互能力。

利用語音識別技術，將用戶的語音指令轉(zhuǎn)換為文本或命令，以實現(xiàn)與數(shù)字人的語音交互。

2.人物形象、動作與面部表情傳統(tǒng)數(shù)字人形象主要利用 2D 或 3D 建模軟件, 根據(jù)采集到的數(shù)據(jù)創(chuàng)建數(shù)字人的3D模型，通過添加骨骼系統(tǒng)，以實現(xiàn)動畫效果。

智能模型制作數(shù)字人形象，則是根據(jù)收集和準備用于訓練智能模型的數(shù)據(jù)，例如真實人物的運動捕捉數(shù)據(jù)、面部表情數(shù)據(jù)等，利用機器學習模型，使用標注數(shù)據(jù)模型，學習與預測數(shù)字人的行為與面部表情。

3.音視頻合成真人驅(qū)動下，使用動作捕捉的方式，音視頻能夠保持一致。

非真人驅(qū)動下，音頻需要預先錄制或者通過TTS 用文本轉(zhuǎn)換成語音，面部表情則根據(jù)算法使用語音進行驅(qū)動與同步，從而保證音頻與面面、口形、表情等的對齊與一致。

4.交互真人驅(qū)動下的交互都是由真人完成的。

非真人驅(qū)動下，傳統(tǒng)數(shù)字人沒有交互或只能通過識別出的預置關鍵詞對應的文本轉(zhuǎn)換為語音進行回復；在機器學習下智能交互，則可以將識別或抓取到的關鍵詞交給語言模型進行加工反饋，再將文字通過模型的形式輸出，既保證了互動性，又使得音色不會失真。