▼ もうちょっと詳しく

2007年から活動している非営利団体が、インターネット上のページを大規模にクロールして公開してくれています。ペタバイト級の生データで、ほとんどのLLMの学習データの土台になっています。

この団体がなかったら、ほぼ全てのLLM研究は成立しなかった、とも言われる存在。「インターネット全体のスナップショット」を公益として配ってくれている、地味だけど偉大な裏方です。