Mambaマンバ (Mamba (Selective State Space Model))

▼ ざっくり言うと

Transformerに挑戦する、より高速な新世代のシーケンス処理アーキテクチャです。

▼ もうちょっと詳しく

2023年末に発表された、State Space Model(SSM)系の新型アーキテクチャ。Transformerの「長文ほど計算が重くなる(O(N²))」弱点を克服し、長文でも線形時間で動く設計です。

「ポストTransformer候補」として注目されて、業界が一瞬ざわつきました。完全にTransformerを置き換えたわけではなく、並走しながら一部用途で採用されつつある状況。期待は大きいが、王座交代までは至らず、というのが2025年時点。

「ポストTransformer」の登場は、毎年のように予告されては延期されます。

あなたの読了: 0 / 388