柚子快報(bào)邀請碼778899分享：大模型在cpu上使用llama

http://yzkb.51969.com/

from llama_cpp import Llama

model = Llama(model_path="llama-2-7b-chat.ggmlv3.q4_0.bin")

錯(cuò)誤：gguf_init_from_file: invalid magic characters 'tjgg'等，也就是無法加載模型

因?yàn)樽钚掳娴膌lama-cpp-python不支持ggml文件格式了

解決方案：

1、降低版本（最簡單）：

pip install llama-cpp-python==0.1.78

2、直接下載對應(yīng)GGUF的模型

3、利用llama.cpp內(nèi)部轉(zhuǎn)換函數(shù)進(jìn)行轉(zhuǎn)換

參考出處：TheBloke/Llama-2-13B-GGML · Could not load Llama model from path (huggingface.co)

運(yùn)行結(jié)果：

柚子快報(bào)邀請碼778899分享：大模型在cpu上使用llama

http://yzkb.51969.com/

推薦鏈接