▼ もうちょっと詳しく

2024年にNVIDIAらが発表。LoRAは重みを低ランクで近似するだけでしたが、DoRAは重みを『方向』と『大きさ』に分解して、それぞれを別々に学習します。これで、LoRAより精度が高く、フルファインチューニングに近い結果が出る、と報告されています。

計算量はLoRAとほぼ同じなので、「同じコストで精度アップ」という美味しい改良。LLM・拡散モデル両方で使われ始めている新しい標準候補です。