生成AIパスポート 第2章「コサイン類似度」|埋め込みの「近さ」を測る仕組みとユークリッド距離との見分け方

記事
学び
文章の意味をAIがどうやって比べているのか。生成AIパスポート第2章で問われるコサイン類似度は、埋め込み(ベクトル化)された単語や文章の「近さ」を測る代表的な指標です。数字の大小だけでなく「方向」を見る、という考え方がポイントで、ユークリッド距離とのすり替えがよく出ます。2つの測り方の違いを整理します。なお、この記事の問題例は主催団体の公式問題ではなく、シラバスに沿って作ったオリジナルの練習問題です。

埋め込みは言葉を「向きのある矢印」に変える

まず前提になるのが埋め込みです。埋め込みとは、単語や文章を数値の列(ベクトル)に変換することです。たとえば「犬」と「猫」は意味が近いので、ベクトルにすると向きが近くなります。「犬」と「自動車」は意味が遠いので、向きが大きく離れます。つまり、意味の近さが「矢印の向きの近さ」として表される仕組みです。

この「向きの近さ」を数値で表すのがコサイン類似度です。2つのベクトルのなす角のコサイン(cos)を計算し、値は-1から1の範囲になります。1に近いほど2つのベクトルの向きが同じで、意味が近い。0に近いほど関係が薄く、-1に近いほど向きが正反対で、意味が反対に近い。試験では「コサイン類似度はベクトル間の角度から意味の類似度を測る指標」という説明が出ます。「角度」という言葉がポイントです。

ユークリッド距離との違い

よく並べて出されるのがユークリッド距離です。こちらは2点間の「直線の距離」を測るもので、値が小さいほど2つが近い、という読み方になります。コサイン類似度は「向き」を見るのに対し、ユークリッド距離は「位置そのものの距離」を見る、という違いがあります。

具体例で考えます。「犬」という単語が短い文章の中に出てくる場合と、長い文章の中に出てくる場合を比べるとします。文章が長いと、ベクトルの大きさ(長さ)は変わりますが、意味の向きはほぼ同じです。コサイン類似度は向きだけを見るので、文章の長さが違っても高い値になります。一方、ユークリッド距離は大きさの違いも距離に含めてしまうので、長さの違いで値が大きくなってしまいます。文章の長さに左右されずに意味の近さを比べたいときは、コサイン類似度が向いています。こう覚えると、2つのすり替えに対応できます。

RAGの検索でも使われている

コサイン類似度は、生成AIの実務でも使われています。第3章のRAGでは、質問文をベクトルに変換し、蓄積した文書のベクトルと比べて、コサイン類似度が高い文書を検索結果として取り出します。「質問と意味が近い文書を探す」という処理の裏側で、コサイン類似度が働いているのです。

試験では「RAGで関連文書を探すときに使う類似度の指標は何か」という形で、コサイン類似度が選択肢に出ることがあります。埋め込みとセットで覚えておくと、第2章と第3章をまたいだ問題にも対応できます。

確認問題

問1.「犬」と「猫」の埋め込みベクトルを比べたところ、コサイン類似度が0.9でした。「犬」と「自動車」のコサイン類似度は0.1でした。この結果から読み取れることは何か。
答え:「犬」と「猫」は意味が近く、「犬」と「自動車」は意味が遠い。コサイン類似度は1に近いほど意味が近いことを表すからです。

問2.長さの違う2つの文章の意味の近さを比べたいとき、ユークリッド距離よりもコサイン類似度が適している理由は何か。
答え:コサイン類似度はベクトルの向きだけを見るため、文章の長さ(ベクトルの大きさ)の違いに左右されにくいからです。

まとめ

コサイン類似度は「ベクトルの向きの近さ」で意味の近さを測る指標で、1に近いほど似ています。ユークリッド距離は「2点間の直線距離」で、値が小さいほど近いという読み方です。見分け方は「向きか、距離か」です。埋め込みとセットで覚え、RAGの検索でも使われることを押さえておくと、第2章の得点につながります。

※この記事は生成AIパスポートの出題範囲に沿って作成した解説で、公式問題ではありません。試験の最新情報は主催団体の公式サイトでご確認ください。生成AIパスポートの直前対策には『生成AIパスポート 直前7日ドリル』がおすすめです。
サービス数100万件のスキルマーケット、あなたにぴったりのサービスを探す