LLM・生成AI
トークンとは？
読み: とーくん英語: Token更新日: 2026-06-23
LLMが文章を処理するために分割する単位です。単語、文字、単語の一部などになります。
試験で問われるポイント
- 入力長や出力長はトークン数で制限されることがあります。
- 日本語では文字数とトークン数が一致しない場合があります。
- 料金や処理可能な文脈量にも関係します。
具体例
長い議事録を投入すると、コンテキストウィンドウの上限に達することがあります。
よくある誤解
- 1トークンは必ず1単語だと考える。
- 文字数だけ見ればLLMの処理量が分かると考える。
対応試験
生成AIパスポートG検定AWS AI Practitioner
関連する表記: トークン / Token / トークナイザー / Tokenizer / トークン化
関連問題で復習
生成AIパスポートLLM・テキスト生成AI
ユーザーが入力した文章をLLMが処理する前に、テキストを「トークン」に分割する処理を行うコンポーネントを何と呼ぶか。
AWS AI Practitioner生成AIの基礎
生成AIサービスでトークンベース課金がコストに影響する理由として最も適切なものはどれか。
AWS AI Practitioner基盤モデルの活用
トークン使用量を抑える方法として最も適切なものはどれか。
生成AIパスポートAI・生成AIの基礎
ChatGPTの利用料金が「トークン数」に基づいて計算される。日本語の場合、1文字あたりのトークン数として一般的なのはどれか。
生成AIパスポートLLM・テキスト生成AI
生成の多様性を制御する手法で、「累積確率がpに達するまでのトークンからサンプリングする」方式を何と呼ぶか。
生成AIパスポートLLM・テキスト生成AI
確率が高い上位k個のトークンに限定してサンプリングする手法を何と呼ぶか。
生成AIパスポートLLM・テキスト生成AI
常に最も確率の高いトークンを選ぶ決定的な生成手法を何と呼ぶか。
生成AIパスポートLLM・テキスト生成AI
言語モデルの評価指標で、値が低いほど次のトークンをよく予測できていることを示すものはどれか。
関連用語
FujiCertの用語解説は、各試験の公式問題ではなく、学習者が問題演習で つまずきやすい観点を整理した非公式の学習支援コンテンツです。