港中文賈佳亞團隊聯(lián)合MIT發(fā)布全球首個70B長文本大語言模型
Casasbahia家居優(yōu)選跨境快訊2023-10-093630
0月9日，港中文賈佳亞團隊宣布聯(lián)合MIT發(fā)布超長文本擴展技術LongLoRA，據(jù)介紹，兩行代碼、一臺8卡A100機器，可以將7B模型的文本長度拓展到100k tokens，70B模型的文本長度拓展到32k tokens。
同時，該研究團隊還基于LongLoRA技術，發(fā)布全球首個擁有70B參數(shù)量的長文本對話大語言模型LongAlpaca。
目前，LongLoRA技術和LongAlpaca已開源。
本文內(nèi)容根據(jù)網(wǎng)絡資料整理，出于傳遞更多信息之目的，不代表金鑰匙跨境贊同其觀點和立場。
轉載請注明，如有侵權，聯(lián)系刪除。
Casasbahia家居優(yōu)選
