トークンとは｜生成AIの数え方・日本語の文字数目安と節約方法

トークンとは、生成AIが文章を読み書きするときに使う「文字のかたまり」の単位です。 入力できる量の上限も、出力の長さも、利用量の集計も、文字数ではなくトークン数で数えられます。日本語では文字数とトークン数が一致しないため、「目安で見積もってから、道具で数える」という順番で扱うと迷いません。

この記事では、同じ内容の日本語・英語・コード・JSON・表を実際に数えた結果と、文字数から概算する式、コピーして使える計測コード2通りを載せています。

確認環境：Python 3.11.15、tiktoken 0.14.0（エンコーディング o200k_base／cl100k_base）、anthropic（Python SDK）1.11.0。確認日 2026-10-05。Claude のトークンカウント API と各種の上限は、同日に開いた公式ドキュメントの記載に基づきます。

この記事の結論

• 日本語は「1文字＝1トークン」ではありません。 今回の計測（o200k_base）では、日本語の文は1文字あたり 0.65〜0.89 トークン、英語は1文字あたり約 0.2 トークンでした。
• 見積もりは「全角 1.0、半角 0.3 を掛けて足す」と多めに出るので、枠の計画に使えます。 正確な数が必要になったら計測に切り替えます。
• 数える道具はモデルごとに違います。 OpenAI 系のモデルは tiktoken で手元で数え、Claude は公式のトークンカウント API で数えます。別のモデルの数え方を流用しないのがコツです。
• コンテキストウィンドウ・最大出力トークン・課金の単位・利用量の上限は別のものです。 どの上限に当たったかで、打つ手が変わります。

トークンの早見表

トークンとは何か：文字数・単語数との違い

モデルは文章をそのまま読むのではなく、まず「トークナイザー」という仕組みで短いかたまりに分け、それぞれに番号を振ってから処理します。このかたまりがトークンです。よく出る並びは長いまま1トークンになり、あまり出ない並びは細かく分かれます。

実際の分かれ方を tiktoken（o200k_base）で表示した結果です。

# split.py
import tiktoken

enc = tiktoken.get_encoding("o200k_base")
for text in ["こんにちは", "備品予約システム", "リファクタリング",
             "equipment reservation", "2026-10-05", "１２３ＡＢＣ", "😀👍"]:
    ids = enc.encode(text)
    parts = [enc.decode_single_token_bytes(i).decode("utf-8", errors="replace") for i in ids]
    print(f"{text}\t{len(text)}文字\t{len(ids)}トークン\t{' / '.join(parts)}")

こんにちは   5文字 1トークン   こんにちは
備品予約システム    8文字 6トークン   備 / 品 / 予約 / シ / ステ / ム
リファクタリング    8文字 5トークン   リ / ファ / ク / タ / リング
equipment reservation   21文字    2トークン   equipment /  reservation
2026-10-05  10文字    6トークン   202 / 6 / - / 10 / - / 05
１２３ＡＢＣ  6文字 5トークン   １２ / ３ / Ａ / Ｂ / Ｃ
😀👍  2文字 2トークン   😀 / 👍

同じ8文字でも「備品予約システム」は6トークン、21文字の英語は2トークンです。文字数だけでも単語数だけでも決まらないことが分かります。

日本語・英語・コード・JSON・表を数えた結果

同じような内容を形式だけ変えて、tiktoken で数えました。コードはそのままコピーして動かせます。

# count_tokens.py  （pip install tiktoken）
import tiktoken

SAMPLES = {
    "日本語（漢字かな交じり）": "来週の定例会議は、火曜日の午前10時から第2会議室で行います。議題は備品予約システムの改修計画です。",
    "日本語（ひらがなのみ）": "らいしゅうのていれいかいぎは、かようびのごぜんじゅうじからおこないます。",
    "日本語（カタカナ語が多い）": "ユーザーインターフェースのレイアウトをリファクタリングして、パフォーマンスをチューニングします。",
    "英語": "The weekly meeting will be held in Meeting Room 2 next Tuesday at 10 a.m. The agenda is the renovation plan for the equipment reservation system.",
    "コード（Python）": 'def total_price(items):\n    """税込みの合計を返す"""\n    return sum(i["price"] * i["qty"] for i in items) * 1.1\n',
    "JSON（整形あり）": '{\n  "id": 1024,\n  "name": "プロジェクター",\n  "room": "第2会議室",\n  "reserved": true,\n  "tags": ["備品", "映像"]\n}',
    "JSON（1行に詰める）": '{"id":1024,"name":"プロジェクター","room":"第2会議室","reserved":true,"tags":["備品","映像"]}',
    "表（Markdown）": "| 備品 | 場所 | 状態 |\n|---|---|---|\n| プロジェクター | 第2会議室 | 予約済み |\n| ホワイトボード | 第1会議室 | 空き |\n",
    "表（タブ区切り）": "備品\t場所\t状態\nプロジェクター\t第2会議室\t予約済み\nホワイトボード\t第1会議室\t空き\n",
}

encodings = ["o200k_base", "cl100k_base"]
print("種類\t文字数\t" + "\t".join(encodings) + "\t1文字あたり(o200k_base)")
for label, text in SAMPLES.items():
    counts = [len(tiktoken.get_encoding(n).encode(text)) for n in encodings]
    print(f"{label}\t{len(text)}\t" + "\t".join(map(str, counts)) + f"\t{counts[0] / len(text):.2f}")

実行結果を表にしたものです。

読み取れることは3つあります。

• 日本語の文は、同じ内容の英語よりトークンが多くなります。 会議の案内文は日本語 42 に対して英語 31 でした（o200k_base）。
• エンコーディングが変わると日本語の数が変わります。 同じ日本語が o200k_base で 42、cl100k_base で 56 でした。英語はどちらも 31 です。
• 同じデータでも形式で差が出ます。 JSON は改行と字下げを外すと 49 から 34 に、表は Markdown からタブ区切りにすると 52 から 36 になりました。

この数値は上の文での計測値です。文章の種類が変われば割合も変わるので、目安として使い、大事な場面では自分の文章で数えてください。

文字数から概算する計算式と見積もりシート

計測の前に枠を計画したいときは、次の式で多めに見積もります。

概算トークン数 ＝ 半角（英数字・記号・空白）の文字数 × 0.3 ＋ それ以外の文字数 × 1.0   （小数は切り上げ）

この式を実測と並べた結果です。

# estimate.py  文字数からの概算と tiktoken の実測を並べる
import math
import tiktoken

def estimate_tokens(text: str) -> int:
    """概算: 半角（ASCII）は 0.3、全角などそれ以外は 1.0 を掛けて切り上げる"""
    ascii_chars = sum(1 for c in text if ord(c) < 128)
    other_chars = len(text) - ascii_chars
    return math.ceil(ascii_chars * 0.3 + other_chars * 1.0)

enc = tiktoken.get_encoding("o200k_base")
texts = {
    "日本語の説明文": "備品予約システムでは、利用者が会議室のプロジェクターやホワイトボードを画面から予約できます。予約は開始時刻の15分前まで変更でき、同じ時間帯に重なる予約は登録時に確認メッセージを表示します。管理者は月ごとの利用回数を一覧で確認し、利用の少ない備品を見直す材料にします。",
    "英語の説明文": "Users can reserve projectors and whiteboards from the screen. A reservation can be changed until 15 minutes before the start time, and overlapping reservations show a confirmation message.",
    "日本語と英数字の混在": "API のレスポンスは JSON 形式で、status が 200 のときは items 配列に最大 50 件の予約データが入ります。",
    "JSON": '{"id":1024,"name":"プロジェクター","room":"第2会議室","reserved":true}',
}
print("種類\t文字数\t概算\t実測\t概算÷実測")
for label, text in texts.items():
    est, real = estimate_tokens(text), len(enc.encode(text))
    print(f"{label}\t{len(text)}\t{est}\t{real}\t{est / real:.2f}")

種類  文字数 概算  実測  概算÷実測
日本語の説明文 134 133 94  1.41
英語の説明文  188 57  34  1.68
日本語と英数字の混在  67  44  35  1.26
JSON    59  26  25  1.04

4種類とも概算が実測以上になりました（1.04〜1.68倍）。 枠に収まるかどうかを先に判断する用途なら、この「多めに出る式」で足ります。記号の多い JSON では差が小さいので、余裕を2割ほど足しておくと安心です。

見積もりシート（タブ区切り）

表計算ソフトに貼って使える形です。係数は上の計測結果を切り上げたもので、数値は記入例です。

項目  形式  文字数 係数  概算トークン
システムプロンプト   日本語 800 1.0 800
会話の履歴   日本語 6000    1.0 6000
添付資料（英語の仕様書）    英語  20000   0.3 6000
添付資料（JSON）  JSON    5000    0.5 2500
今回の質問   日本語 200 1.0 200
入力の小計               15500
出力の上限（指定する値）                4000
合計（入力＋出力）               19500
余裕2割を足した値               23400

「余裕2割を足した値」が使うモデルのコンテキストウィンドウより小さければ、そのまま進められます。近い値になったら、次の章の方法で数えます。

トークン数を数える方法（コピペ用コード2通り）

OpenAI 系のモデル：tiktoken で手元で数える

tiktoken は OpenAI が公開しているトークナイザーのライブラリです。文字列を渡すと、API を呼ばずに手元でトークン数が分かります。

pip install tiktoken

# count_one.py
import tiktoken

enc = tiktoken.encoding_for_model("gpt-4o")   # モデル名からエンコーディングを選ぶ
text = "来週の定例会議は、火曜日の午前10時から第2会議室で行います。"
print(enc.name, len(enc.encode(text)))

o200k_base 26

モデル名とエンコーディングの対応は、ライブラリに問い合わせると分かります。

import tiktoken
for m in ["gpt-4o", "gpt-4o-mini", "gpt-4.1", "gpt-5", "o3", "gpt-4", "gpt-3.5-turbo"]:
    print(m, "->", tiktoken.encoding_for_model(m).name)

gpt-4o -> o200k_base
gpt-4o-mini -> o200k_base
gpt-4.1 -> o200k_base
gpt-5 -> o200k_base
o3 -> o200k_base
gpt-4 -> cl100k_base
gpt-3.5-turbo -> cl100k_base

OpenAI の Cookbook は、会話形式のリクエストではメッセージごとに区切りのトークンが加わり、ツールの定義を付けるとさらに増えるため、自前で数えた値は目安として扱うよう案内しています。本文だけを数えた値より、実際の入力は少し多くなると考えておきます。

Claude：公式のトークンカウント API で数える

Claude では、メッセージを送る前に同じ内容をトークンカウントの API に渡すと、入力トークン数が返ります。公式ドキュメントに載っている形に沿ったコードです。

pip install anthropic

# count_claude.py  （環境変数 ANTHROPIC_API_KEY が必要）
import anthropic

client = anthropic.Anthropic()

response = client.messages.count_tokens(
    model="claude-opus-5-5",
    system="あなたは社内の備品予約システムの案内役です。",
    messages=[
        {"role": "user", "content": "来週の火曜日に第2会議室のプロジェクターを予約できますか。"}
    ],
)
print(response.input_tokens)

返ってくる JSON の形は、公式ドキュメントの例では次のとおりです（system が "You are a scientist"、メッセージが "Hello, Claude" の場合）。

{ "input_tokens": 14 }

SDK 1.11.0 でこのコードを動かし、送信先が POST /v1/messages/count_tokens、本文が model・system・messages の3項目になることを、手元に立てた受け口で確かめました。公式ドキュメントに書かれている要点は次のとおりです。

どちらの方法を使うかの判断表

tiktoken の値を Claude の見積もりにそのまま使う、またはその逆は避けます。トークナイザーが違えば分け方も違うためです。

コンテキストウィンドウ・最大出力・課金単位・利用量の上限の違い

「トークンの上限」と呼ばれるものは4種類あり、混同しやすいところです。

Claude の公式ドキュメント（Context windows、Rate limits）で確認できた内容を補足します。

• コンテキストウィンドウには応答そのものも含まれます。 システムプロンプト、すべてのメッセージ（ツールの結果、画像、文書を含む）、ツール定義に加えて、その回に生成する出力と思考（thinking）のトークンも数に入ります。
• 会話は積み上がります。 前の回の出力は次の回の入力になるため、やり取りが続くほど入力トークンが増えます。
• 入力だけで枠を超えると 400 エラー（prompt is too long）になります。 Claude 4.5 以降のモデルでは、入力と max_tokens の合計が枠を超えていてもリクエストは受け付けられ、生成中に枠に達すると stop_reason が model_context_window_exceeded になって止まります。
• 枠と出力上限は別の数です。 公式ページには、1M トークンの枠を持つモデルと 200k トークンの枠のモデルがあり、1回のリクエストで生成できるのは最大 128k トークンと書かれています（2026-10-05 時点の記載）。
• 利用量の上限は2種類です。 月ごとの利用額の上限（spend limits）と、一定時間あたりの制限（rate limits）があり、後者は1分あたりのリクエスト数（RPM）、入力トークン数（ITPM）、出力トークン数（OTPM）で数えられます。超えると 429 エラーと、待ち時間を示す retry-after ヘッダーが返ります。

OpenAI のヘルプにも、コンテキストウィンドウとは別に出力の上限があること、推論を行うモデルでは見える回答に加えて推論用のトークンの分も空けておくことが書かれています。

トークンを節約する方法（効果の出どころ別）

節約策は「どの数を減らすのか」で分けると選びやすくなります。

手元でできる削減：形式を変える

計測結果の表のとおり、内容を変えずに形式だけで減らせる場合があります。

読みやすさが必要な場面では整形したままで構いません。大量のデータを渡すときに効いてきます。

履歴を予算に合わせて残すコード

新しい発言を優先し、決めたトークン数に収まる分だけを残す例です。

# trim.py  新しい発言を優先して、トークンの予算に収まる分だけ履歴を残す
import tiktoken

enc = tiktoken.get_encoding("o200k_base")

def count(text: str) -> int:
    return len(enc.encode(text))

def trim_history(messages: list[dict], budget: int) -> list[dict]:
    kept, used = [], 0
    for m in reversed(messages):          # 新しい順に見る
        n = count(m["content"])
        if used + n > budget:
            break
        kept.append(m)
        used += n
    return list(reversed(kept))

history = [
    {"role": "user", "content": "備品予約システムの画面一覧を作ってください。"},
    {"role": "assistant", "content": "予約一覧、予約登録、備品マスタ、利用状況の4画面を提案します。" * 3},
    {"role": "user", "content": "予約登録の入力項目を表にしてください。"},
    {"role": "assistant", "content": "備品、利用日、開始時刻、終了時刻、利用目的の5項目です。"},
    {"role": "user", "content": "終了時刻の入力チェックを決めたいです。"},
]
for m in history:
    print(count(m["content"]), m["role"])
kept = trim_history(history, budget=60)
print("残した件数:", len(kept), "/", len(history))
print("残した分の合計:", sum(count(m["content"]) for m in kept))

15 user
69 assistant
11 user
21 assistant
12 user
残した件数: 3 / 5
残した分の合計: 44

外した部分に大事な決定が含まれる場合は、捨てる前に要約を1件作って先頭に置くと、話の流れを保てます。

確かめて分かったこと

• 「こんにちは」は5文字で1トークンでした。 よく使われる並びは日本語でもまとまります。一方「備品予約システム」は8文字で6トークンで、語によって差が大きく出ます。
• カタカナ語の多い文は、1文字あたりのトークンが少なめでした（0.65）。 漢字かな交じり文（0.84）やひらがなだけの文（0.89）より小さい値です。
• 全角の英数字は半角より細かく分かれました。 「１２３ＡＢＣ」は6文字で5トークンです。数値や ID は半角にそろえると少なくなります。
• タブ区切りの表は1文字あたりの値は大きいのに、合計は Markdown の表より少なくなりました（36 と 52）。 見るべきは割合ではなく合計です。
• エンコーディングの違いは日本語に強く出ました。 o200k_base と cl100k_base で、英語は同じ 31、日本語は 42 と 56 でした。モデルを切り替えたら数え直します。
• tiktoken は最初の利用時にエンコーディングのファイルを取得します。 取得先に届かないネットワークでは、環境変数 TIKTOKEN_CACHE_DIR で指定した場所にファイルを置くと読み込めます。今回は npm の js-tiktoken 1.0.21 に同梱の表から同じ内容のファイルを組み立て、tiktoken が照合するハッシュ値と一致することを確かめて使いました。

よくある質問

Q. トークンと文字数の違いは？ A. 文字数は見たままの数、トークン数はモデルが分けたかたまりの数です。日本語では1文字が1トークンのことも、数文字が1トークンのこともあり、今回の計測では1文字あたり 0.65〜0.89 でした。

Q. 日本語1000文字は何トークンですか？ A. 目安は 650〜900 トークン、多めに見積もるなら 1,000 トークンです。これは o200k_base での計測値に基づく目安で、モデルや文章によって変わるため、正確な値は使うモデルの公式の数え方で確かめます。

Q. コンテキストウィンドウと最大出力トークンの違いは？ A. コンテキストウィンドウは入力と出力を合わせた全体の枠、最大出力トークンは1回の応答で生成できる量の上限です。枠に余裕があっても、出力の上限に達すると応答はそこで止まります。

Q. トークン数を数えられないときは？ A. まず概算の式（全角 1.0、半角 0.3）で枠に収まるかを判断します。そのうえで、OpenAI 系なら tiktoken、Claude ならトークンカウント API、送信後なら応答の usage の値を見ます。

Q. 会話が長くなるとトークンが増えるのはなぜですか？ A. 前のやり取りがすべて次の入力に含まれるためです。区切りのよいところで要約して新しい会話に引き継ぐと、入力を小さく保てます。

まとめ

• トークンはモデルが文章を分ける単位で、入力の枠も出力の長さも利用量もトークンで数えられます。
• 日本語は文字数とトークン数が一致しません。 今回の計測では1文字あたり 0.65〜0.89、英語は約 0.2 でした。
• 見積もりは「半角 × 0.3 ＋ それ以外 × 1.0」で多めに出し、余裕を2割足して枠と比べます。
• 数える道具はモデルに合わせます。 OpenAI 系は tiktoken、Claude はトークンカウント API です。
• コンテキストウィンドウ・最大出力・課金の単位・利用量の上限は別のもので、当たった上限によって対処が変わります。
• 節約は、履歴の要約・不要な添付の削除・出力長の指定・プロンプトキャッシュの4つを、減らしたい数に合わせて選びます。

参考・出典

• Anthropic「Token counting」 https://platform.claude.com/docs/en/build-with-claude/token-counting
• Anthropic「Context windows」 https://platform.claude.com/docs/en/build-with-claude/context-windows
• Anthropic「Prompt caching」 https://platform.claude.com/docs/en/build-with-claude/prompt-caching
• Anthropic「Rate limits」 https://platform.claude.com/docs/en/api/rate-limits
• OpenAI Help Center「What are tokens and how to count them?」 https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them
• OpenAI Cookbook「How to count tokens with tiktoken」 https://developers.openai.com/cookbook/examples/how_to_count_tokens_with_tiktoken

（いずれも 2026-10-05 に確認）

株式会社RJC ― SI事業・SES事業・AI駆動開発。RJCは一緒に成長を楽しめる会社です。