▼ もうちょっと詳しく

AIが賢くなればなるほど、「意図せぬことをやらかしたら大事故になる」リスクも増えます。これを未然に防ごう、というのがAIセーフティ。車にブレーキとシートベルトを付ける作業のAI版、と思ってください。

具体的には、AIを変な指示に乗せないアラインメント研究、危険な使われ方をブロックする仕組み、AIの内部を覗いて理解する解釈性研究などが含まれます。技術屋さんと哲学者と倫理学者がいつも揉めながら進めている分野です。

▼ ちょっとだけ深い話

Anthropicや OpenAI の一部、業界全体に「セーフティ専門のチーム」が置かれるようになりました。ただし社内政治で居心地が悪くなって退職する、というのも周期的に起きていて、業界の中の繊細な部分です。