AIひとくちニュース

← 解説の一覧へ更新:2026.10.05 MON

AIは文章を小さく区切って読む

トークンとは?AIの料金と記憶のものさし

「100万トークンあたり」の料金、一度に読める量の上限…。AIが文章を区切って読む「トークン」のしくみと、上手な付き合い方をやさしく解説します。

かんたんまとめ
マウ

AIの料金のニュースで「100万トークンあたり」って出てきたんだけど、トークンってなに?

ビット

AIは文章を、そのまま1文字ずつ読むわけじゃないんだ。ことばのかけらに区切ってから読んでいて、そのかけらを「トークン」と呼ぶんだよ。

文章を区切ると、こんなイメージ
今日はいい天気ですね。
The weather is nice today.
どこで区切るかはAIによってちがう。英語はおよそ1単語、日本語は1〜数文字が1トークンになることが多い
マウ

区切り方なんて、使う人には関係なさそうだけど…?

ビット

それが関係あるんだ。トークンは、AIの世界の「ものさし」みたいなもので、料金や上限がこの数で決まるんだよ。

トークンの数で決まること
料金開発者向けの料金は、読ませた量(入力)と書かせた量(出力)のトークン数で決まる。出力のほうが高いことが多い
一度に読める量AIが一度に覚えておける量にも上限がある。コンテキストウィンドウと呼ばれる
一度に書ける量1回の答えの長さにも上限がある。長い文章が途中で切れることも
使える回数月ぎめのチャットAIでも、使いすぎると一時的に制限がかかることがある
マウ

「一度に覚えておける量」を超えたら、どうなるの?

ビット

会話がとても長くなると、はじめのほうの話を忘れたり、まちがえやすくなったりするんだ。だから、話題が変わったら新しい会話を始めるのがコツだよ。

たとえると

トークンはタクシーのメーター。走った距離(読み書きした量)が長いほど、料金が上がっていく

今回のポイント
マウ

トークンは、AIの料金と記憶の「ものさし」なんだね。

ビット

そのとおり!ひとことでいうと「AIは、トークンで読んで、トークンで払う」だよ。料金が大きく下がったニュースはこちらの記事も見てね。

用語ミニ解説
トークン
AIが文章を読んだり書いたりするときの、小さな区切り。料金や上限の計算に使われる
コンテキストウィンドウ
AIが一度に読んで覚えておける量の上限。トークンの数で表す
入力と出力
AIに読ませる文章が入力、AIが書く答えが出力。料金はそれぞれ別に決まっていることが多い

参考:Google(トークンについて) ↗Anthropic(トークンの数え方) ↗

この解説に関係する記事

解説の一覧へ