トークンとは
AIが文章を処理する単位。日本語は1文字あたりのトークン消費が多め。
英語表記:token
トークンは、モデルが文章を扱うときの最小単位です。単語そのものではなく、単語を分割した断片であることが多く、料金や上限の計算はこの単位で行われます。
英語では1単語がおよそ1トークン前後ですが、日本語は1文字で1トークン以上を消費することがあり、同じ内容でも英語よりトークン数が増える傾向があります。長い資料を貼り付けると上限に達しやすいのはこのためです。
関連:コンテキストウィンドウ
プランを選ぶ
このまま続けられます: 無料
無料の質問を使い切りました。無料アカウントを作成すれば、カードなしですぐに続けられます。
下の手続きを完了すると、すぐにプレミアム機能が使えます。
AIが文章を処理する単位。日本語は1文字あたりのトークン消費が多め。
英語表記:token
トークンは、モデルが文章を扱うときの最小単位です。単語そのものではなく、単語を分割した断片であることが多く、料金や上限の計算はこの単位で行われます。
英語では1単語がおよそ1トークン前後ですが、日本語は1文字で1トークン以上を消費することがあり、同じ内容でも英語よりトークン数が増える傾向があります。長い資料を貼り付けると上限に達しやすいのはこのためです。
関連:コンテキストウィンドウ