▼ もうちょっと詳しく

2017年にGoogleの研究者たちが提案した、ニューラルネットの新しい設計です。これが衝撃的に良くて、その後のLLMはほぼ全部このTransformer系になりました。AIの世界に「Before/After」を作った発明です。

ちなみに、変身ロボットアニメとは無関係です。学会で「Transformerが」と話していた人が、隣の席のお子さんに「ロボットの話?」と聞かれて気まずくなる、ということが世界中で起きていると思われます。

▼ ちょっとだけ深い話

Transformerの肝は「アテンション」という仕組みで、これによって長い文脈をうまく扱えるようになりました。GPTのT、BERT、T5、その他もろもろ、現代の有名どころは全部これの子孫です。