柚子快報邀請碼778899分享:M2 運行 llamafile
Tokopedia印尼優(yōu)選綜合2025-05-05480
柚子快報邀請碼778899分享:M2 運行 llamafile
安裝llamafile很簡單,進入官網(wǎng),按照步驟安裝運行即可。 https://github.com/Mozilla-Ocho/llamafile
下載 llava-v1.5-7b-q4.llamafile賦予運行權(quán)限chmod +x llava-v1.5-7b-q4.llamafile運行 ./llava-v1.5-7b-q4.llamafile -ngl 9999 速度確實是比 ollama 快,ollama 用 qwen 1.5 7B 的模型。llamafile運行的是LLaVA 1.5,也是 7B 模型。下次試試能不能把 qwen 模型接入。
運行時遇到了一個問題 the cpu feature AVX was required at build time but isn’t available on this system,解決這個問題,首先用 arm64 的 shell,然后用 root 啟動 llamafile。
arch -arm64 sh
su
./llava-v1.5-7b-q4.llamafile -ngl 9999
柚子快報邀請碼778899分享:M2 運行 llamafile
參考文章
評論可見,查看隱藏內(nèi)容
本文內(nèi)容根據(jù)網(wǎng)絡(luò)資料整理,出于傳遞更多信息之目的,不代表金鑰匙跨境贊同其觀點和立場。
轉(zhuǎn)載請注明,如有侵權(quán),聯(lián)系刪除。