LoRA (Low-Rank Adaptation)
▼ ざっくり言うと
大きいモデルの一部だけを軽く調整するファインチューニング手法です。
▼ もうちょっと詳しく
ふつうにファインチューニングすると、何百億パラメータ全部を書き換えるので大変です。LoRAは、小さい追加パーツだけ学習することで、元のモデルにほぼ触らず、特定用途への適応を実現する技。
Stable Diffusionの世界では、「この絵柄を覚えさせるLoRA」みたいな小さなファイルが大量に流通しています。着せ替えパーツみたいな扱われ方をしていて、便利です。
▼ ちょっとだけ深い話
本体は触らないので、LoRAだけ取り替えれば違う用途に変わる、という運用も可能です。カートリッジを差し替える昔のゲーム機みたいな雰囲気があります。
名前的に「Lora」さんという女の人を思い浮かべる方がいますが、別人(別物)です。
あなたの読了: 0 / 390 語

