生成AIパスポート 第3章「マルチモーダルAI」｜文章・画像・音声をまとめて扱うAIの見分け方

生成AIパスポート 第3章「マルチモーダルAI」｜文章・画像・音声をまとめて扱うAIの見分け方

文章だけでなく、画像や音声もまとめて扱えるAIをマルチモーダルAIと呼びます。生成AIパスポート第3章では、マルチモーダルAIが何を指すのかと、単一の種類のデータだけを扱うAIとの違いが問われます。モダリティという言葉の意味を押さえることが、まず試されます。なお、この記事の問題例は主催団体の公式問題ではなく、シラバスに沿って作ったオリジナルの練習問題です。

1. マルチモーダルAIとは何か

マルチモーダルAIとは、テキスト・画像・音声・動画といった複数の種類のデータを組み合わせて処理できるAIのことです。モダリティとは、データの種類や形式のことで、テキストも画像もそれぞれ一つのモダリティです。たとえば、画像を見せて「この写真に写っているものを説明して」と尋ねると、文章で答えが返ってくるAIはマルチモーダルAIです。画像の内容を理解し、テキストで表現するという、種類をまたいだ処理をしているからです。音声を聞き取って要約文を作るAIも、音声とテキストの2つのモダリティを扱うためマルチモーダルAIに当たります。試験では、マルチモーダルAIを「複数のモダリティを組み合わせて処理するAI」と説明する選択肢が正解になります。データの種類が複数あるかどうかが、見分けのポイントです。

2. シングルモーダルとの違い

マルチモーダルAIと対になるのが、シングルモーダルAIです。シングルモーダルAIは、一つの種類のデータだけを扱うAIのことです。たとえば、文章を入力して文章を出力するだけのチャットボットは、テキストという一つのモダリティしか扱わないためシングルモーダルAIです。画像を分類するだけのAIも、画像という一つのモダリティしか扱わないためシングルモーダルAIです。試験のすり替えパターンとして、シングルモーダルAIの説明をマルチモーダルAIの説明として出すものがあります。「文章だけを扱うAI」をマルチモーダルAIとする説明は誤りです。扱うデータの種類が一つか複数かを確認してから、どちらの用語かを判断してください。入力と出力の両方を見ることも大切です。画像を入力して文章を出力するAIは、入出力で種類が変わっているためマルチモーダルAIです。

3. マルチモーダルAIの活用例

マルチモーダルAIの活用例として、試験では次のような場面が出ます。商品の写真と説明文を組み合わせて、商品紹介文を自動で作る場面です。写真の特徴と文章の情報を両方使っているため、マルチモーダルAIの活用例です。会議の音声を聞き取って議事録を作る場面も、音声とテキストを組み合わせているためマルチモーダルAIの活用例です。逆に、文章の要約だけを行う場面は、テキストしか扱っていないためマルチモーダルAIの活用例ではありません。活用例の問題では、「何のデータを組み合わせているか」を数えることが近道です。データの種類が二つ以上あればマルチモーダルAI、一つだけならシングルモーダルAIです。種類を数えるだけでも、多くの問題が解けます。

4. 確認問題

次のうち、マルチモーダルAIの説明として正しいものはどれでしょうか。A：テキストだけを扱うAIのこと。B：複数の種類のデータを組み合わせて処理するAIのこと。C：画像だけを分類するAIのこと。答えはBです。AはシングルモーダルAIの説明で、Cも画像という一つのモダリティしか扱わないためシングルモーダルAIです。マルチモーダルAIの問題では、まず扱うデータの種類を数えてください。

生成AIパスポートの直前対策には『生成AIパスポート 直前7日ドリル』（1,500円）がおすすめです。章別60問と本試験形式の模擬60問で、マルチモーダルAIのような第3章の用語もまとめて確認できます。