FujiCert

LLM・生成AI

Transformerとは？

読み: とらんすふぉーまー英語: Transformer更新日: 2026-06-23

Self-Attentionを中心に文脈中の単語同士の関係を扱う、現在のLLMの基盤的なモデル構造です。

試験で問われるポイント

  • RNNのような逐次処理に限定されず、並列処理しやすい構造です。
  • 離れた単語同士の関係を捉えやすい点が重要です。
  • GPTやBERTなど多くのモデルに使われます。

具体例

長文の前後関係を踏まえて、次に続く単語を予測するLLMで使われます。

よくある誤解

  • 画像処理専用の仕組みだと考える。
  • トークン化が不要になる仕組みだと考える。

対応試験

生成AIパスポートG検定AWS AI Practitioner

関連する表記: Transformer / トランスフォーマー / Self-Attention / Attention

関連問題で復習

G検定ディープラーニングの要素技術

「Transformer」の特徴として、最も適切なものはどれか。

生成AIパスポートLLM・テキスト生成AI

Transformerの特徴として適切なものを2つ選べ。

AWS AI Practitioner生成AIの基礎

TransformerベースのLLMが得意としやすい処理として最も適切なものはどれか。

G検定ディープラーニングの要素技術

「Positional Encoding（位置エンコーディング）」がTransformerで必要な理由として、最も適切なものはどれか。

G検定ディープラーニングの応用例

「Vision Transformer（ViT）」の説明として、最も適切なものはどれか。

生成AIパスポートAI・生成AIの基礎

Transformerアーキテクチャの核心技術で、入力の重要な部分に焦点を当てて処理する仕組みを何と呼ぶか。

生成AIパスポートLLM・テキスト生成AI

Transformerの「Self-Attention」の説明に関する次の記述のうち、最も不適切なものはどれか。

生成AIパスポートLLM・テキスト生成AI

Transformerでは入力を並列処理するため、単語の順序情報が失われる。この問題を解決する技術はどれか。

関連用語

大規模言語モデル（LLM）

大量のテキストで学習し、文章理解、生成、要約、翻訳、対話などを行う言語モデルです。

GPT

事前学習済みのTransformerを使い、文章生成や対話などを行うモデル系列です。

BERT

文脈を双方向から理解するTransformer系モデルで、文章分類や意味理解タスクに強みがあります。

FujiCertの用語解説は、各試験の公式問題ではなく、学習者が問題演習で つまずきやすい観点を整理した非公式の学習支援コンテンツです。