▼ もうちょっと詳しく

文章の中の単語を一部隠して「ここに入る単語を当てよ」とAIに考えさせたり、画像の一部を隠して「ここを復元せよ」と命じたりする学習方式です。正解は元のデータ自体に書いてあるので、人間がラベルを付ける必要がありません。

現代のLLMの大規模学習は、ほぼこれです。「次に来る単語を当てる」という単純なゲームを延々とやらせるうちに、AIが言語を扱えるようになる、という不思議な現象が起きています。