ローカルLLMとは？
読み方: ローカルエルエルエム
30秒まとめ
クラウドを使わず自分のPCやサーバー上で動かすLLM。プライバシーとコスト面で有利。
ローカルLLMの意味・定義
ローカルLLM（Local LLM）は、OpenAIやAnthropicなどのクラウドAPIを使わず、自分のPCやオンプレミスサーバー上で直接実行するLLMを指します。Llama 3、Mistral、Phi-3、Gemmaなどのオープンウェイトモデルを、LM Studio、Ollama、GPT4All、Janなどのツールで簡単に実行できます。メリットとして、データが外部に送信されないためプライバシーが完全に保護される、API料金がかからない、インターネット不要でオフライン動作可能などがあります。量子化技術により、8-16GBのRAMを搭載した一般的なPCでも7B-13Bパラメータのモデルを実用的な速度で動作させることが可能です。