llama.cpp (llama.cpp)
▼ ざっくり言うと
LLMをC/C++で「ノートPCでも動く」よう超軽量化したオープンソース実装です。
▼ もうちょっと詳しく
2023年、ゲオルギ・ゲルガノフという独立開発者がたった一人で書き始めたプロジェクト。Llamaを純粋なC/C++で実装し直して、超軽量化しました。GPUなし、メモリ16GBのノートPCでもLLMが動く、という奇跡を実現。
量子化形式GGUFもここから生まれました。個人開発者がオープンソースで業界を動かした、近年でもっとも輝かしい事例の一つ。Ollamaなどの「ローカルLLM」サービスの土台にもなっています。
一人が書いたC++コードがAI業界の地盤を作る、というのは美しすぎる話です。
あなたの読了: 0 / 390 語
