▼ もうちょっと詳しく

AIは文章をそのまま読むのではなく、細かく区切ってから処理します。その区切りの単位がトークン。英語だと「単語」とだいたい同じ、日本語だとそれより細かく(数文字単位や1文字単位)切り分けられます。

「ありがとう」が3トークンに分かれることもあれば、「artificial」が1トークンで済んだりします。日本語のほうがトークン消費が激しい、という不公平な現象も起きていて、APIの請求書を見て「えっ」となるパターンの一因です。

▼ 気をつけること

トークンは課金の単位でもあります。APIで使うと、入力トークン数と出力トークン数の合計でお金がかかる。長文を投げると財布が痛む、というのが今のAI課金の基本構造です。