LLM・生成AI
Transformerとは？
読み: とらんすふぉーまー英語: Transformer更新日: 2026-06-23
Transformerとは、Self-Attentionを中心に文脈中の単語同士の関係を扱う、現在のLLMの基盤的なモデル構造です。
生成AIパスポートG検定AWS AI Practitioner
関連表記: Transformer / トランスフォーマー / Self-Attention / Attention
試験で問われるポイント
- RNNのような逐次処理に限定されず、並列処理しやすい構造です。
- 離れた単語同士の関係を捉えやすい点が重要です。
- GPTやBERTなど多くのモデルに使われます。
具体例
長文の前後関係を踏まえて、次に続く単語を予測するLLMで使われます。
混同しやすい点
- 画像処理専用の仕組みだと考える。
- トークン化が不要になる仕組みだと考える。
関連問題で復習
G検定ディープラーニングの要素技術
Seq2Seq、Transformer、Source-Target Attention、位置エンコーディングの関係として、最も適切なものはどれか。
G検定ディープラーニングの要素技術
Transformerの構造として、最も適切なものはどれか。
生成AIパスポート生成AI（ジェネレーティブAI）
RNNと比較したTransformerアーキテクチャの特徴として最も適切なものはどれか。
AWS AI Practitioner生成AIの基礎
TransformerアーキテクチャをベースとするLLMの導入を検討する企業が、その得意分野を整理しています。TransformerベースのLLMが得意としやすい処理として最も適切なものはどれか。
DS検定データサイエンス
CNN、RNN、Transformerの基本的な特徴と用途の対応として最も適切なものはどれか。
生成AIパスポート生成AI（ジェネレーティブAI）
Transformerに位置エンコーディングを加える主な目的はどれか。
G検定ディープラーニングの応用例
Depthwise Separable Convolutionを用いる軽量CNNは［ A ］、ハードウェアを考慮した探索で得られたモバイルモデルは［ B ］、ネットワーク構造を探索する考え方は［ C ］、画像パッチをAttentionで扱うモデルは［ D ］である。最も適切な組合せはどれか。
G検定ディープラーニングの要素技術
可変長文を扱うTransformerで、各トークンの隠れ特徴をそのトークン内でまとめて正規化し、バッチ内の他の文には依存させたくない。候補として最も適切なのは［ A ］である。