GGUF（GPTモデルフォーマット）とは？
読み方: ジージーユーエフ
30秒まとめ
ローカルLLM実行用の標準ファイルフォーマット。llama.cppで広く採用。
GGUF（GPTモデルフォーマット）の意味・定義
GGUF（GPT-Generated Unified Format）は、ローカル環境でLLMを実行するための標準的なモデルファイルフォーマットです。llama.cppプロジェクトで開発され、旧フォーマットのGGMLを置き換えました。モデルのメタデータ（アーキテクチャ、量子化情報、トークナイザー設定等）をファイル内に含むため、単一ファイルでモデルの完全な情報を保持できます。4bit、5bit、8bitなど様々な量子化レベルに対応し、GPU不要のCPU推論も可能です。LM Studio、Ollama、GPT4All、Jan、KoboldCppなどのローカルLLMツールがGGUFフォーマットを標準サポートしており、Hugging Faceで多数のGGUFモデルが公開されています。