トークンとは

AIが文章を処理する単位。日本語は1文字あたりのトークン消費が多め。
英語表記:token

トークンは、モデルが文章を扱うときの最小単位です。単語そのものではなく、単語を分割した断片であることが多く、料金や上限の計算はこの単位で行われます。

英語では1単語がおよそ1トークン前後ですが、日本語は1文字で1トークン以上を消費することがあり、同じ内容でも英語よりトークン数が増える傾向があります。長い資料を貼り付けると上限に達しやすいのはこのためです。

関連:コンテキストウィンドウ

実際に試してみる

用語は使ってみるのが一番わかりやすい方法です。登録なしで、日本語のまま質問できます。

無料でAIチャットを開く