LPU (Language Processing Unit)
▼ ざっくり言うと
Groq社が作っている、LLM推論専用の超高速チップです。
▼ もうちょっと詳しく
スタートアップGroqが独自に開発したASIC型のチップ。LLMの推論だけに特化して、GPUの何倍ものスピードで応答を返せます。「ChatGPTで何秒もかかる答えが、ほぼ瞬時に返ってくる」を実演する、見せ場のあるチップ。
ただし学習はできない(推論専用)、メモリ容量に制約ありなどの弱点もあるので、用途は限定的。「速さで殴る」という選択肢。
LPUのデモを見ると、いまのChatGPTがやけにのんびり見える、という現象が起きます。
あなたの読了: 0 / 393 語

