▼ もうちょっと詳しく

ChatGPTやClaudeは、クラウド上の他社サーバーで動いています。これに対し、自分の手元のマシン(ノートPC、ワークステーション、自宅サーバー)で動かすLLMが「ローカルLLM」です。

メリットは「外部にデータを送らなくていい」「課金されない」「ネットがなくても動く」。デメリットは「マシンスペックが要る」「最新最強モデルとはちょっと差がある」。地産地消のAI、という比喩がたまに使われます。

▼ ちょっとだけ深い話

オープンソースのLLM(Llama、Mistral、Gemmaなど)が出てきたおかげで、ローカル運用がぐっと身近になりました。量子化やLoRAと組み合わせて、ノートPCでもそこそこ動く時代です。