DeepSeek-V3發(fā)布于2024年12月26日。

DeepSeek-V3作為一款基于大型稀疏專家模型（MoE）的自研LLM模型，在參數(shù)量上達(dá)到了671億，激活參數(shù)為37億。這一數(shù)據(jù)規(guī)模不僅在當(dāng)前人工智能領(lǐng)域具有突破性，也體現(xiàn)了公司對技術(shù)深度和廣度的投入。該模型在14.8Ttoken上進(jìn)行了預(yù)訓(xùn)練，展示了其強(qiáng)大的數(shù)據(jù)處理能力和學(xué)習(xí)效率。