▼ もうちょっと詳しく

Microsoft Research が2024年に発表。通常のLLMの重みは16bitの浮動小数点が標準ですが、BitNet は重みを-1, 0, 1の3値だけで表現します(厳密には1.58bit、ほぼ1ビット)。メモリは何分の1、推論速度は数倍という、大胆な軽量化。

ふつう、量子化を極端にすると性能が大きく落ちるものですが、BitNet は「最初からその制約で学習することで性能を保つ」というアプローチ。1.58bitなのにフル精度LLMに近い性能を出せる、と論文で報告されて、業界が「本当?」と半信半疑ながら注目しています。

▼ ちょっとだけ深い話

実用普及にはまだ時間がかかりそうですが、「専用ハードを作れば1ビットLLM時代が来る」と予想する人もいます。スマホで巨大LLMが動く未来の鍵かもしれません。