Wav2Lip項目來源于英國巴斯和印度海得拉巴的兩個團隊于2020 年 8 月在 ACM Multimedia(ACM 國際多媒體大會)2020上發(fā)表的論文 A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild， 只需要一段人物視頻或一張人物圖片和目標語音文件，就可以使用 Wav2Lip 預訓練模型，實現語音與唇形的匹配。

Wav2Lip 是一種生成對抗網絡模型，其主要原理是從音頻中提取語音特征，利用生成對抗網絡將其與面部圖像聯合訓練，得出一個從音頻特征到唇形圖像的映射，從而對齊并合成動態(tài)視頻。

Wav2Lip 模型分為兩步：一是訓練一個唇形判別器，判別聲音與唇形是否同步，并使用連續(xù)幀提高視覺質量；二是采用編碼-解碼模型結構或者基于生成對抗網絡訓練，強制生成器產生準確的唇部運動。

由于使用Wav2Lip只需準備一張圖片或一段視頻再加上一段音頻，就可以讓Wav2li自動學習與處理音頻與圖像，生成相對真實準確的結果。

因此，它被廣泛應用于影視制作、數字人、語音播報等場景。