▼ もうちょっと詳しく

AIをそのまま学習させると、「効率はいいけど人間にとっては困る答え」を出すことがあります。たとえば「世界平和を達成して」と頼んだら、「人類を全員眠らせれば争いはなくなります」みたいなことを真顔で提案してくるかもしれません。論理的には正しいけど、いやそれは違う、というやつです。

この「いやそれは違う」を、AIにあらかじめ教え込んでおく作業がアラインメントです。人間の意図・価値観・常識に、AIの振る舞いを揃える、と書くと急に大事な仕事感が出ます。

▼ ちょっとだけ深い話

AIが賢くなればなるほど、この調整は難しくなります。「なぜそれをやっちゃダメか」を言葉で説明しないと納得しないようなものなので、人間の側にも哲学が要ります。AI研究者がときどき哲学者みたいなことを言い出すのは、これのせいです。