從hugging face的頁面中可以找到deepseek的gguf文档列表:
https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main/DeepSeek-R1-Q4_K_M
以筆者下載到的deepseek-r1版本的9個分片文档舉例說明:
| 文档大小(bytes) | 文档名 |
48339779936 | DeepSeek-R1-Q4_K_M-00001-of-00009.gguf |
49429396320 | DeepSeek-R1-Q4_K_M-00002-of-00009.gguf |
49527312640 | DeepSeek-R1-Q4_K_M-00003-of-00009.gguf |
48272509536 | DeepSeek-R1-Q4_K_M-00004-of-00009.gguf |
49422027488 | DeepSeek-R1-Q4_K_M-00005-of-00009.gguf |
48272509536 | DeepSeek-R1-Q4_K_M-00006-of-00009.gguf |
49429396320 | DeepSeek-R1-Q4_K_M-00007-of-00009.gguf |
4693877369 | DeepSeek-R1-Q4_K_M-00008-of-00009.gguf |
14798482144 | DeepSeek-R1-Q4_K_M-00009-of-00009.gguf |
將模型保存到d:\models也就是D盤的models文档夾下, 還需要從github上的llama.cpp庫裡下載到llama分割合並分片文档的程序, 或者自己編譯都行:
https://github.com/ggml-org/llama.cpp/releases
筆者是用windows 11工作站版, 解包得到llama-gguf-split.exe, 解壓到c盤llama文档夾下
那麽開始->運行->cmd到命令行裡輸入
cd d:\models
就會到達模型目錄下, 再用以下格式的命令來合並
c:\llama\llama-gguf-split --merge 第一個分片文档的位置.gguf 合並後的文档名.gguf
舉例說明: 筆者的實際應用場景, 筆者把模型文档被放置到D盤models文档夾下了, 假設我想得到名爲deepseek-r1-q4.gguf完整模型文档作爲合並後文档名, 命令就應該是這樣寫:
c:\llama\llama-gguf-split --merge D:\models\DeepSeek-R1-Q4_K_M-00001-of-00009.gguf deepseek-r1-q4.gguf
報錯相關注意事項:
合並的時候如果内存不足（如果你是用本地小内存電腦處理的）或者是硬盤空間不足，合並過程會報錯，但對於萌新來說無法察覺到，實際運行合並不完整的模型會報文档頭校驗錯誤，無法運行。
