▼ もうちょっと詳しく

AIに長い資料を渡したいとき、「ここまでしか読めません」という上限があります。これがコンテキストウィンドウ。トークンという単位で測ります。

昔のLLMは数千トークン(本のページにして10ページくらい)が限界でしたが、最近は何十万トークン(本まるごと1冊)くらい入るようになってきました。広くなったけど、長くなると性能が落ちる問題もあり、容量と質はまた別、という事情があります。

▼ 気をつけること

会話が長くなると、最初のほうの話をAIが忘れることがあります。「あれ、さっきお願いしたやつ覚えてる?」と聞くと、覚えてなかったりします。コンテキストウィンドウの中から、古いやつから押し出されているせいです。AIの記憶は意外と短い、と思っておくと安全です。