トークンとは
トークンとは、AIが文章を扱うときに分ける処理上の単位です。
日本語では文字数と完全には一致せず、同じ文章でもモデルによって分かれ方が変わります。長い入力・出力、利用量の見積もり、要約の分割を考えるときの基礎になります。
WHAT YOU GET
この記事で分かること
- トークンは文字数や単語数と完全には一致しない処理単位
- 入力と出力の合計が、扱える量や費用に関係する
- 日本語の正確な数はモデルごとに変わるため公式計算手段で確認する
- 長文は分割・要約・再確認の流れで扱うと安定しやすい
30 SECONDS
30秒で分かる
- 文章をモデルが扱うための分割単位。
- 入力と出力の両方に関係し、制限の目安になる。
- 正確な換算はモデルや言語で異なる。
IN ONE LINE
一言でいうと
トークンは、生成AIがテキストを読む・書くときの分割単位です。仕事では「どれだけ入力できるか」「応答がどこで切れるか」を見る指標として使います。
EDITORIAL
THINKLAB編集部の実務チェック
APIの見積もりでは、質問文だけでなく、システム指示・資料・会話履歴・ツール定義など、実際に送る入力全体を計測します。AnthropicのToken countingは入力の推定値を返し、生成時の利用量と少し異なる場合があります。対応していない入力形式もあるため、実行後のusageと照合してください。
説明例の料金式は「入力トークン数÷単価の基準単位×入力単価＋出力トークン数÷単価の基準単位×出力単価」です。単価が100万トークン当たりなら基準単位は1,000,000です。キャッシュ・推論・ツール・再試行など別の条件や料金がある場合は、利用サービスの明細に合わせて追加します。
見積もりで『日本語○文字なら必ず○トークン』と固定しないことが重要です。実際に使うモデルと想定文書で計測し、入力だけでなく出力分も含めて余裕を取ります。
長い資料は一度に答えを出させるより、章ごとに要約・確認してから統合する方が、抜け漏れに気づきやすくなります。
- 見積もり: 入力・出力・再試行を合わせて計算する
- 長文: 章や論点で分割し、各段階の要約を人が確認する
- 比較: モデルごとの上限と料金は同じ単位で確認する
WHEN TO USE
どんな時に使う？
企画
長い議事録や調査資料をAIで扱う前に、分割方法と確認工程を決める。
開発
API利用量を試算し、入力・出力・再試行を含めた上限と費用を設計する。
管理職
資料を丸ごと投入する前に、機密情報と必要部分を分ける運用を決める。
EXAMPLES
具体例
- 利用量の考え方を示す架空の例です。1回の入力を1,200トークン、出力を300トークンと置くと、1,000回では入力1,200,000、出力300,000トークンです。料金を計算するときは両方へ同じ単価を掛けず、入力用と出力用の単価をそれぞれ確認します。実測値や現行料金ではありません。
- 計測する短文として「次の会議メモから担当者と期限を抽出してください」を用意します。同じ文章を利用モデルの公式計測手段へ渡し、文字数とトークン数を別々に記録します。句読点や改行を変えて再計測し、実際の分かれ方を比較します。ここでは未計測のトークン数を掲載していません。
- 100ページの資料を章ごとに要約し、各要約を確認してから全体の論点を統合する。
MISCONCEPTIONS
よくある誤解
誤解：トークンは文字数と同じ。
実際：言語・記号・モデルの分割方法で変わります。文字数からの換算は概算にとどめます。
誤解：上限内なら長文の内容を必ず正確に扱える。
実際：入れられる量と、重要条件を正しく反映できることは別です。分割と確認が必要です。
LEARNING PATH
基礎から比較までの読み方
FAQ
よくある質問
日本語1文字は何トークンですか？
固定ではありません。使うモデルと文章によって変わるため、正確な見積もりは公式の計算手段や実測で確認します。
トークン上限に収まれば長い資料をそのまま任せてよいですか？
重要な条件の抜け落ちを防ぐため、章ごとの要約と人による確認を挟むのが安全です。
SOURCES
出典
FRESHNESS
最終確認・更新履歴
更新日: 2026年10月12日
最終確認日: 2026年9月25日
確認: THINKLAB編集部
- 2026-10-12 · 架空の入力・出力利用量の計算例と、入力全体の計測・usage照合手順を追加（THINKLAB編集部）
- 2026-09-25 · 見積もり・長文分割・確認手順を追加（THINKLAB編集部）