トークンとは?AIが文章を数える単位

トークンは「AIが文章を区切って読む単位」

Claude Codeを使っていると、「トークン」という言葉があちこちに出てきます。使用量の表示だったり、「コンテキストウィンドウが残りわずかです」みたいな警告だったり。最初はなんとなく「文字数のことかな」と思って流してしまいがちなんですが、これがちょっと違います。

トークンというのは、AIが文章を処理するときに区切る最小の単位のことです。人間は文章を読むとき、無意識に単語や文節で区切って理解しますよね。AIも似たようなことをしていて、入力された文章を細かいかたまりに分解してから中身を理解します。そのかたまり1つが1トークンです。

スーパーのレジで例えると

買い物カゴをレジに持っていくと、店員さんは商品を1点ずつスキャンして合計金額を出します。このとき数えているのは「重さ」でも「袋の数」でもなく、あくまで「商品の点数」です。

AIにとってのトークンもこれと同じで、文章の見た目の長さではなく「いくつのかたまりに分解されたか」で数えます。だから、短く見える文章でも分解のされ方によってトークン数が多くなることがありますし、逆に長めの文章が意外と少ないトークンで収まることもあります。

1トークン=1文字ではない

ここが一番の勘違いポイントです。英語だと、よく使う単語はまるごと1トークンになることが多く、逆に珍しい単語は複数のかたまりに割れます。日本語の場合は文字種の関係で、1文字が1トークン以上に相当することもあります。

つまり「500文字だから500トークン」のような単純な換算はできません。あくまで目安として、「文章が長くなればトークンも増える」くらいに捉えておくのが実用的です。

なぜトークンを気にする必要があるのか

理由は大きく2つあります。

入力と出力、両方が数えられる

意外と見落とされがちなんですが、トークンは「AIに渡した文章」と「AIが返してきた文章」の両方でカウントされます。こちらが送るプロンプトだけでなく、AIが生成した長い回答やコードも消費に含まれます。

「短い質問をしただけなのに消費が多い」と感じるときは、たいてい直前までのやりとりや読み込んだファイルの中身が積み上がっているか、回答自体が長かったかのどちらかです。

Claude Codeでの実感しやすい場面

Claude Codeはコードを扱うツールなので、ファイルを読み込む操作が頻繁に発生します。数千行あるソースコードを丸ごと読ませれば、そのぶん大量のトークンを消費します。逆に、必要な部分だけを指定して読ませれば節約できます。

正直、最初のうちは「とりあえず全部読ませておけば賢く答えてくれるだろう」と思ってやってしまうんですが、これは効率が悪いだけでなく、情報が多すぎてAIが要点を外す原因にもなります。人間だって、資料を100ページ渡されるより「この3ページを見て」と言われたほうが的確に答えられますよね。

節約のためにできること

• 必要なファイルや範囲を具体的に指定する
• 会話が長くなってきたら、話題の区切りで新しいセッションを始める
• 「簡潔に答えて」と伝えて、出力側のトークンを抑える
• 生成されたログや巨大な自動生成ファイルは、そのまま読ませない

細かく気にしすぎなくていい

とはいえ、1トークン単位でカリカリ計算する必要はありません。「長いものを渡せば増える」「会話が続けば積み上がる」という2点さえ頭に入っていれば、実務では十分です。上限に近づいたときにはツール側が知らせてくれるので、そのタイミングで会話を整理すれば問題ありません。

トークンは、AIとのやりとりにおける「予算」のようなものだと思っておくと感覚がつかみやすいと思います。無限ではないけれど、普通に使っている分にはそこまで枯渇するものでもない、という距離感です。