柚子快報(bào)邀請(qǐng)碼778899分享：語(yǔ)言模型 Llama中文大模型

http://yzkb.51969.com/

關(guān)于Llama中文大模型

歡迎來(lái)到Llama中文大模型：已經(jīng)基于大規(guī)模中文數(shù)據(jù)，從預(yù)訓(xùn)練開(kāi)始對(duì)Llama2模型進(jìn)行中文能力的持續(xù)迭代升級(jí)。

Llama中文大模型?：https://github.com/LlamaFamily/Llama-Chinese

在線(xiàn)體驗(yàn)?：https://llama.family

基于Llama2的開(kāi)源中文預(yù)訓(xùn)練大模型Atom-7B?：https://huggingface.co/FlagAlpha/Atom-7B-Chat???????

Llama中文大模型

中文預(yù)訓(xùn)練模型Atom-7B

? Atom大模型

原子大模型Atom由Llama中文社區(qū)和原子回聲聯(lián)合打造，在中文大模型評(píng)測(cè)榜單C-Eval中位居前十（8月21日評(píng)測(cè)提交時(shí)間）。

類(lèi)別 模型名稱(chēng) 珞模型加載名稱(chēng) 下載地址 預(yù)訓(xùn)練 Atom-7B FlagAlpha/Atom-7B HuggingFace?|?ModelScope?|?WiseModel Chat Atom-7B-Chat FlagAlpha/Atom-7B-Chat HuggingFace?|?ModelScope?|?WiseModel

Atom系列模型包含Atom-7B和Atom-13B，基于Llama2做了中文能力的持續(xù)優(yōu)化。Atom-7B和Atom-7B-Chat目前已完全開(kāi)源，支持商用，可在Hugging Face倉(cāng)庫(kù)：https://huggingface.co/FlagAlpha?獲取模型。

Llama2官方模型

類(lèi)別 模型名稱(chēng) 珞模型加載名稱(chēng) 下載地址 預(yù)訓(xùn)練 Llama2-7B meta-llama/Llama-2-7b-hf HuggingFace?|?迅雷網(wǎng)盤(pán) 預(yù)訓(xùn)練 Llama2-13B meta-llama/Llama-2-13b-hf HuggingFace?|?迅雷網(wǎng)盤(pán) 預(yù)訓(xùn)練 Llama2-70B meta-llama/Llama-2-70b-hf HuggingFace Chat Llama2-7B-Chat meta-llama/Llama-2-7b-chat-hf HuggingFace?|?迅雷網(wǎng)盤(pán) Chat Llama2-13B-Chat meta-llama/Llama-2-13b-chat-hf HuggingFace?|?迅雷網(wǎng)盤(pán) Chat Llama2-70B-Chat meta-llama/Llama-2-70b-chat-hf HuggingFace?|?迅雷網(wǎng)盤(pán) Code CodeLlama-7b meta-llama/Llama-2-70b-chat-hf 迅雷網(wǎng)盤(pán) Code CodeLlama-7b-Python meta-llama/Llama-2-70b-chat-hf 迅雷網(wǎng)盤(pán) Code CodeLlama-7b-Instruct meta-llama/Llama-2-70b-chat-hf 迅雷網(wǎng)盤(pán) Code CodeLlama-13b meta-llama/Llama-2-70b-chat-hf 迅雷網(wǎng)盤(pán) Code CodeLlama-13b-Python meta-llama/Llama-2-70b-chat-hf 迅雷網(wǎng)盤(pán) Code CodeLlama-13b-Instruct meta-llama/Llama-2-70b-chat-hf 迅雷網(wǎng)盤(pán) Code CodeLlama-34b meta-llama/Llama-2-70b-chat-hf 迅雷網(wǎng)盤(pán)

Meta官方在2023年8月24日發(fā)布了Code Llama，基于代碼數(shù)據(jù)對(duì)Llama2進(jìn)行了微調(diào)，提供三個(gè)不同功能的版本：基礎(chǔ)模型（Code Llama）、Python專(zhuān)用模型（Code Llama - Python）和指令跟隨模型（Code Llama - Instruct），包含7B、13B、34B三種不同參數(shù)規(guī)模。不同模型能力區(qū)別如下表所示：

模型類(lèi)別 模型名稱(chēng) 代碼續(xù)寫(xiě) 代碼填充 指令編程 Code Llama CodeLlama-7b ? ? ? CodeLlama-13b ? ? ? CodeLlama-34b ? ? ? Code Llama - Python CodeLlama-7b-Python ? ? ? CodeLlama-13b-Python ? ? ? CodeLlama-34b-Python ? ? ? Code Llama - Instruct CodeLlama-7b-Instruct ? ? ? CodeLlama-13b-Instruct ? ? ? CodeLlama-34b-Instruct ? ? ?

關(guān)于Code Llama的詳細(xì)信息可以參考官方Github倉(cāng)庫(kù)codellama：https://github.com/facebookresearch/codellama

Llama2中文微調(diào)模型

基于中文指令數(shù)據(jù)集對(duì)Llama2-Chat模型進(jìn)行了微調(diào)，使得Llama2模型有著更強(qiáng)的中文對(duì)話(huà)能力。LoRA參數(shù)以及與基礎(chǔ)模型合并的參數(shù)均已上傳至Hugging Face，目前包含7B和13B的模型。

類(lèi)別 模型名稱(chēng) 珞模型加載名稱(chēng) 基礎(chǔ)模型版本 下載地址 合并參數(shù) Llama2-Chinese-7b-Chat FlagAlpha/Llama2-Chinese-7b-Chat meta-llama/Llama-2-7b-chat-hf HuggingFace 合并參數(shù) Llama2-Chinese-13b-Chat FlagAlpha/Llama2-Chinese-13b-Chat meta-llama/Llama-2-13b-chat-hf HuggingFace LoRA參數(shù) Llama2-Chinese-7b-Chat-LoRA FlagAlpha/Llama2-Chinese-7b-Chat-LoRA meta-llama/Llama-2-7b-chat-hf HuggingFace LoRA參數(shù) Llama2-Chinese-13b-Chat-LoRA FlagAlpha/Llama2-Chinese-13b-Chat-LoRA meta-llama/Llama-2-13b-chat-hf LlzLl zLlLHuggingFace

柚子快報(bào)邀請(qǐng)碼778899分享：語(yǔ)言模型 Llama中文大模型

http://yzkb.51969.com/

相關(guān)閱讀