廣州益美銷毀處理公司 12 月 5 日消息:供本地使用的 LLM（大型語言模型）常日視為一組權重分布在數 GB 文件中。這些軟件無法干脆單獨使用，這一般使得它們比其他軟件更難分發和運行。給定的模型也恐怕經歷了更改和調整，如果使用不同的版本，則會導致不同的結果。

Mozilla 的立異團隊最近發布了 llamafile，這是一種開源方法，用于將一組權重轉變為單個可在六種不同操作系統（macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD）上運行的二進制文件，無需安裝。這大大簡化了大型語言模型（LLMs）的分發和運行，并確保特定版本的 LLM 仍舊一致性和可重現性。

這一成就離不開 [Justine Tunney] 的獻出，他是一次構建、多處運行框架 Cosmopolitan 的創造者。另一個緊要部分是 llama.cpp，它在運行自托管 LLM 方面具有緊要作用。

有一些使用 Mistral-7B、WizardCoder-Python-13B 和 LLaVA 1.5 LLMs 的示例二進制文件可供使用。需要謹慎的是，要么您使用的是 Windows 平臺，只有 LLaVA 1.5 能運行，因為它是唯一一個符合 Windows 對可執行文件 4 GB 大小限制的模型。萬一遇到問題，請查看「常見問題」列表以獲取故障排除提示。

llamafile 的宣布標志著在大型語言模型的分發和運行方面的進步。這不僅降低了使用這些模型的技術門檻，也使得開發者和研究人員或將更容易地在多種操作系統上使用這些強大的 AI 工具。

隨著越來越多的 LLMs 的開發和應用，llamafile 供給了一個有效的解決方案，以確保這些模型的有效和一致的使用。

據了解，在這里提到的權重是指在機器學習和人工智能領域中的一個術語。在大型語言模型（LLMs，如 GPT-4）中，權重是模型在訓練過程中學習到的參數，用來鐵定輸入數據怎么轉換為輸出結果。這些權重決定了模型應該解釋和處置輸入的數據。

因此，當說到 LLMs 日常以多個 Gigabyte 的文件形式分發一組權重時，意味著這些文件包含了模型在訓練過程中學到的所有必要參數。這些權重文件自己無從干脆使用，需要通過確定的軟件框架或環境來加載和運行，這使得與其他類型的軟件相比，它們的分發和運行更加復雜。

（舉報）