• 作成日 : 2026年9月10日

AIのトークンとは？仕組みや数え方、上限・料金への影響を解説

生成AIを利用していると、「トークン」という言葉を目にすることがあります。AIにおけるトークンとは、文章などの情報を処理するための単位であり、APIの利用料金や一度に扱える情報量にも関係する概念です。

本記事では、AIのトークンの仕組みや数え方、日本語で利用する際の特徴、コンテキストウィンドウとの違い、トークン上限を超えた場合の影響などを解説します。

AIにおけるトークンとは？

AIにおけるトークンとは、LLM（大規模言語モデル）が入力や出力を処理するときに用いる情報の単位です。文字数や単語数と必ずしも一致せず、使用するモデルやトークナイザーによって分割方法が変わります。

トークンは入力情報をAIが処理できる単位に分割したもの

人間は文章を「文字」や「単語」で認識しますが、LLMは入力されたテキストをトークナイザーによって一定の単位に分割して処理します。このように分けられた一つひとつの単位を「トークン」と呼びます。ただし、文字数や単語数とトークン数が一致するとは限りません。 単語全体が1トークンになる場合もあれば、単語の一部分、記号、句読点などが別々のトークンとして扱われる場合もあります。

たとえば500文字の文章を入力したとしても「500トークン」とは限りません。文章そのものだけでなく、メッセージの役割や区切りなどを表現するためのフォーマット情報にもトークンが使われます。

なお、本記事ではわかりやすさを優先して文字数や文章を中心にトークンを解説していますが、AIサービスやモデルによっては、画像・音声・動画などの情報もトークンとして換算・処理されます。

トークン数は入力と出力の両方で消費される

APIを利用するときは、大きく入力トークンと出力トークンを考える必要があります。

長い社内規程を渡して要約させれば、規程本文が入力トークンとなり、生成された要約文が出力トークンとなります。

トークンは料金や処理できる情報量に関係する

トークンを理解することが重要なのは、AIの処理量やコストに直接関係するためです。

主に次のような場面で影響します。

APIを大量利用する企業では、1回あたりでは小さな差でも、月間数万回・数十万回と処理するとコスト差が大きくなる可能性があります。

AIのトークンが日本語だと多くなる？

日本語では、文字数とトークン数の関係が英語と異なる場合があります。「日本語は必ず英語の1.5倍」「漢字1文字は必ず○トークン」といった固定的な換算はできません。トークン数は使用するモデル、トークナイザー、文章の内容によって変わるため、実際の入力データで確認することが重要です。

日本語と英語ではトークンへの分割方法が異なる

英語では頻出する単語や単語の一部がまとまって1トークンになることがあります。日本語は漢字・ひらがな・カタカナ・英数字などが混在するため、文章によって分割結果が大きく変わります。

たとえば、次の2つは同じ意味に近い文章です。

どちらのトークン数が何個になるかは、利用するモデルのトークナイザーによって異なります。文字数から一律にトークン数を換算するよりも、公式のトークン計測機能を使うほうが正確です。

日本語のコストは実際の文章で確認する必要がある

従来は「1トークン＝英語約4文字」などの簡易的な換算が使われることもありましたが、このような換算値を日本語へそのまま当てはめるのは適切ではありません。

業務利用では「日本語だから何倍」と考えるより、実際に利用するプロンプトや資料を計測して月間コストへ反映する方法が適切です。

AIのトークンとコンテキストウィンドウの違いは？

AIのトークンとコンテキストウィンドウは、どちらもAIが扱える情報量に関係する用語ですが、意味は異なります。トークンはAIが文章などを処理する単位、コンテキストウィンドウはAIが一度に参照できるトークン量の範囲と考えると理解しやすいでしょう。

【トークン】AIが情報を処理するための単位

トークンとは、AIが文章などの入力・出力を処理するときに使う単位です。前述のとおり1トークンが1文字や1単語になるとは限らず、利用するモデルや文章の内容によって分割方法が異なります。

プロンプト、会話履歴、参照資料、AIが生成する回答などは、それぞれ一定数のトークンとして処理されます。APIでは、このトークン数が利用料金の計算に使われる場合もあります。

【コンテキストウィンドウ】一度に扱えるトークン量の上限

コンテキストウィンドウとは、AIが1回の処理で参照できる情報量の範囲です。モデルごとに上限が設定されており、その範囲内でプロンプトや会話履歴、参照資料などが処理されます。

両者の違いを整理すると、次のとおりです。

トークンが「情報量を数える単位」で、コンテキストウィンドウが「そのトークンをどこまで一度に扱えるかを示す枠」という違いがあります。

AIのトークンが業務コストや回答に与える影響は？

トークンはAPI料金だけでなく、一度に処理できる情報量にも関係します。大量の資料を扱うAIシステムでは、モデルの単価だけを見るのではなく、入力・出力トークン数、コンテキストウィンドウ、最大出力量まで含めて設計する必要があります。

API料金は入力・出力トークン数によって変わる

同じトークン数でも、選択するモデルによって料金は大きく異なります。すべての処理に高性能モデルを使用するより、業務の難易度に応じてモデルを使い分けるほうが費用を管理しやすくなります。

たとえば定型的な分類や簡単な情報抽出は低コストモデル、高度な判断を伴う文書分析は上位モデルといった分け方が考えられます。

コンテキストウィンドウによって一度に扱える情報量が決まる

コンテキストウィンドウとは、モデルが1回の処理で扱える情報量の上限です。「コンテキスト長」と表現されることもあります。

ただし、コンテキストウィンドウが大きいからといって、資料を無制限に詰め込むのが最適とは限りません。大量の不要情報まで入力すれば、処理コストが増え、必要な情報を探しにくくなる可能性があります。

長い文書を扱う場合は、必要な部分を検索して渡すRAG（検索拡張生成）や、会話履歴の要約・圧縮などを組み合わせる方法が有効です。

トークン上限は長文出力にも影響する

モデルには入力だけでなく出力側にも上限があります。

たとえば「100ページ分の文章を一度に生成してください」と指示しても、モデルの最大出力トークン数を超える内容を一度の応答で生成することはできません。

また、モデルによっては、利用者に表示される回答だけでなく、回答を生成するための推論処理にもトークンが使用されます。そのため、長文を生成する場合は、出力上限に一定の余裕を持たせることが重要です。

AIのトークンにかかるコストを削減するには？

トークンコストを抑えるには、単純に文章を短くするだけではなく、「必要な情報だけを入力する」「業務に合うモデルを使う」「リアルタイム処理が不要な業務を分ける」といった設計が重要です。プロンプトエンジニアリングとシステム設計の両面から見直しましょう。

必要な情報だけをAIへ入力する

大量の文書をそのままAIへ渡すと、回答に使わない情報まで入力トークンとして処理されます。

たとえば社内マニュアルについて質問する場合、次のような情報を毎回すべて渡す必要はありません。

質問に関連する部分だけを検索して入力すれば、入力トークンを抑えられます。

RAGを利用する場合も、検索で取得する文書数やチャンクサイズを必要以上に大きくしないことがポイントです。

プロンプトは短さより「必要十分な情報量」を意識する

プロンプトを短くすればトークン数は減りますが、削りすぎれば回答精度が下がる可能性があります。そのため、「短ければ短いほどよい」という考え方も適切ではありません。

たとえば、

「文章を読んだうえで、できるだけわかりやすく簡潔に要約してください。重要な内容については箇条書きを使って整理してください」

という指示は、

「以下を重要事項の箇条書きで要約」

のように整理できます。

一方、対象読者、出力形式、判断基準など回答品質に必要な条件まで削るべきではありません。プロンプトエンジニアリングでは、不要な重複を除きつつ、必要な条件を明確に伝えることが重要です。

業務に応じてモデルを使い分ける

トークン数が同じでも、モデルによって料金は異なります。

このようにルーティングすると、品質と費用のバランスを取りやすくなります。

バッチ処理を活用すると大量処理のコストを抑えられる場合がある

バッチ処理とは、複数のAI処理をまとめて実行する方法です。リアルタイムで回答を返す必要がない業務では、リクエストを1件ずつ即時処理するよりも、バッチ処理向けの仕組みを利用することでAPIコストを抑えられる場合があります。

大量の問い合わせ履歴の分類、商品説明文の生成、文書の要約・チェック、データセットの分析などは、即時性が求められなければバッチ処理と相性のよい業務です。

料金体系や処理時間、利用条件はAIサービスによって異なります。コスト削減を目的に導入する場合は、利用するサービスの料金プランを確認したうえで、リアルタイム処理が必要な業務と、まとめて処理できる業務を切り分けることが重要です。

AIのトークン数はどのように数える？

AIのトークン数は、文字数や単語数から一律に計算するのではなく、利用するAIモデルに対応したトークナイザーや計測機能を使って確認するのが基本です。モデルや言語、文章の内容によって分割方法が異なるため、実際の利用環境に合わせて把握することが重要です。

AIのトークン数はモデルに対応したツールで確認する

トークナイザーとは、入力された文章をAIが処理するトークンへ分割する仕組みです。AIサービスによっては、Web上の確認ツールやAPI、開発者向けライブラリなどが用意されており、入力した文章が何トークンになるか確認できます。

同じ文章でも利用するモデルによってトークン数が変わる場合があります。「日本語1文字＝1トークン」などの固定値で計算するのではなく、実際に使用するAIサービスやモデルに対応した方法で計測するのが適切です。

入力と出力のトークン数を分けて確認する

APIの利用料金を把握する場合は、入力トークンと出力トークンを分けて計測します。入力にはプロンプトだけでなく、会話履歴や参照資料、システム側の指示などが含まれる場合があります。出力はAIが生成した回答などに使われるトークンです。

月間コストを見積もる場合は、次のように計算できます。

月間コストの概算＝（平均入力トークン数×入力単価＋平均出力トークン数×出力単価）×月間実行回数

代表的な処理を複数回計測し、平均的な入力・出力トークン数を把握すると、より現実的な費用を試算できます。なお、料金体系やトークンの計測方法はAIサービスごとに異なるため、導入時には各サービスの公式ドキュメントを確認しましょう。

AIのトークン上限を超えるとどうなる？

AIには、一度に入力・処理・出力できるトークン数に上限があります。上限を超えた場合の挙動はAIサービスやモデルによって異なりますが、入力エラーが発生したり、古い情報が参照されにくくなったり、回答が途中で終了したりすることがあります。

入力できる上限を超えると処理できない場合がある

AIモデルには、一度に扱える情報量の上限としてコンテキストウィンドウが設定されています。プロンプトだけでなく、会話履歴や添付資料、参照情報などもこの範囲に含まれる場合があります。

これらの合計が上限を超えると、リクエスト自体が受け付けられずエラーになることがあります。また、サービスによっては古い会話履歴などが参照対象から外れる場合もあります。その結果、以前伝えた条件が回答に反映されにくくなる可能性があります。

出力トークンの上限に達すると回答が途中で終わることがある

AIには入力だけでなく、1回の回答で生成できる出力トークン数にも上限があります。長文の記事や大量のコードなどを一度に生成させると、上限に達して回答が途中で終了することがあります。

対策としては、長い資料を複数に分ける、不要な会話履歴を整理する、必要な箇所だけを入力する、長文の生成を章ごとに分割するといった方法があります。トークン上限を把握し、1回の処理に情報を詰め込みすぎないことが、安定した回答を得るために必要です。

AIにおけるトークンを理解してコストと業務効率を改善しよう

AIにおけるトークンは、LLMがテキストなどの情報を処理する単位であり、API料金や一度に扱える情報量を理解するうえで重要な概念です。文字数とトークン数は一致せず、日本語についても一律の換算率で判断することはできません。

業務でAIを利用する場合は、必要な情報だけを入力する、プロンプトを必要十分な長さに整える、用途に応じてモデルを使い分けるといった方法が有効です。

まずは実際に利用しているプロンプトや資料を確認し、「1回の処理で何トークン使っているのか」を把握するところから始めましょう。トークン消費量を可視化すれば、AIの利用コストと処理設計を具体的に改善しやすくなります。

• 監修：高萩雄空輝（ITエンジニア/IT・AIメディアライター/SEOコンサルタント）

  ITエンジニアとして、Javaによる業務アプリケーション開発やデータベースの保守・運用に従事。その後、IT分野の知見を基盤として、AI・機械学習・生成AI分野を専門的に学習し、SEOコンサルタント／Webライターとして独立。専門性を生かし、大手プログラミングスクールにて、トレンドや最新情報を反映したIT技術・AIに関する記名記事を多数執筆している。現在は、ITとAIの基礎理解を前提としたファクトチェックや表現の妥当性検証、過度な自動化を避けたAI活用設計を強みとし、生成AI活用記事の監修や品質基準の策定も行っている。