生成AIが長い文章を読んでも文脈を見失いにくいのは、単語同士の関係の強さを計算しているからです。生成AIパスポート第3章で扱うアテンション(注意機構)は、文章の中の各単語が、ほかの単語とどれだけ関係が深いかに重みを付ける仕組みです。Transformerの中核をなす技術として問われる点がポイントです。なお、この記事の問題例は主催団体の公式問題ではなく、シラバスに沿って作ったオリジナルの練習問題です。
アテンションは「注目度」に重みを付ける
文章を読むとき、人はすべての単語を同じ重さでは読んでいません。「その銀行は川のほとりにある」という文では、「銀行」が金融機関ではなく土手の意味だと、「川」という単語に注目して判断します。アテンションは、この注目を計算で行う仕組みです。
仕組みの中心は、ある単語から見て、ほかの単語がどれだけ関連するかを数値化し、関連の強い単語の情報を大きく取り込むことです。位置が離れた単語同士でも、関係が強ければ直接つながって扱えます。文章を先頭から順番に読む旧来の方法では捉えにくかった、離れた単語の関係を扱える点が特徴です。
セルフアテンションとTransformerの関係
入力された文章自身の中で注目先を決める形を、セルフアテンションと呼びます。Transformerは、このセルフアテンションを中心に組み立てられたモデルの構造で、現在の大規模言語モデルの土台になっています。
試験では、役割のすり替えが問われます。アテンションは単語の意味そのものを辞書で引く仕組みではありません。また、学習データを増やす作業でも、出力の安全を守るガードレールでもありません。「文章内の単語同士の関係に重みを付ける仕組み」という説明が正しい型です。逆に「単語の出現回数を数える仕組み」とする説明は誤りです。
位置の情報を別に足す理由
アテンション自体は、単語同士の関係を見る仕組みで、単語の並び順そのものは区別しにくい性質があります。そのためTransformerでは、単語が文の何番目にあるかという位置の情報を別に足して入力します。
試験では、この点がひっかけになります。「アテンションがあるため、単語の順序は一切関係ない」という説明は誤りです。順序の情報は別の形で与えられており、順序を変えれば意味も変わります。関係の重みと位置の情報は、別の役割だと分けて覚えます。
重みの大小が「文脈」を作る
同じ単語でも、文によって注目先は変わります。「彼は銀行に行った」と「土手は銀行と呼ばれる」という文では、注目すべき相手が違います。アテンションの重みは固定された辞書ではなく、入力された文ごとに計算し直される点が特徴です。だからこそ、同じ単語でも文脈に応じた意味で扱えます。
試験では「アテンションの重みは単語ごとにあらかじめ固定されている」という説明が誤りとして置かれることがあります。重みは文ごとに変わる、が正しい型です。また、計算の対象は入力文全体で、直前の単語だけを見る仕組みでもありません。離れた単語との関係も含めて重みを付ける点を押さえます。
確認問題
問1.アテンション(注意機構)の説明として正しいものはどれか。
答え:文章の中の単語同士の関係の強さに重みを付け、関連の強い単語の情報を大きく取り込む仕組み、という説明です。
問2.セルフアテンションの説明として正しいものはどれか。
答え:入力された文章自身の中で、各単語がほかの単語のどこに注目するかを決める形、という説明です。
まとめ
第3章のアテンション問題は、「単語同士の関係に重みを付ける」「セルフアテンションがTransformerの中核」「位置の情報は別に足す」の3点を押さえると安定します。辞書引きやデータ整備の作業と混同しないことが勝負どころです。
※この記事は生成AIパスポートのシラバスに沿って作成した解説で、公式問題ではありません。対策にはココナラで販売中の『生成AIパスポート 直前7日ドリル』もご活用ください。