生成AIパスポート 第2章「自然言語処理」|言葉を扱うAIの基本と形態素解析の見分け方

記事
学び
生成AIパスポート 第2章「自然言語処理」|言葉を扱うAIの基本と形態素解析の見分け方

【お知らせ】Udemyの生成AIパスポート演習テスト講座が、無料クーポン(コード:9AED483900DE3ED456D9、先着3名)で受講できます。Udemyで「生成AIパスポート 演習テスト60問」と検索してください。

文章を読み、要約し、質問に答える。生成AIパスポート第2章で問われる自然言語処理は、AIが人間の言葉を扱うための技術の総称です。チャットAIが文章を理解できるのは、この技術があるからです。自然言語処理の流れと、言葉を細かく分ける形態素解析の役割を整理します。なお、この記事の問題例は主催団体の公式問題ではなく、シラバスに沿って作ったオリジナルの練習問題です。

自然言語処理とは何か

自然言語処理とは、コンピュータが人間の言葉を扱うための技術のことです。自然言語とは、私たちが日常で使う日本語や英語のような言葉で、コンピュータ用に作られたプログラミング言語と区別して呼ばれます。自然言語処理の仕事は、大きく3つあります。文章の意味を理解すること、文章を作り出すこと、そして言葉を別の言葉に変換することです。

具体的には、文章の要約、質問への回答、翻訳、感情の判定などが自然言語処理の応用です。生成AIのチャットも、自然言語処理の技術の上に成り立っています。試験では「自然言語処理の応用例として正しいものはどれか」という形で問われます。文章の要約や翻訳は自然言語処理、画像の認識や音声の合成は別の分野、という区別を押さえましょう。

形態素解析:文章を意味のある単位に分ける

日本語の文章をコンピュータが扱うとき、最初に行うのが形態素解析です。形態素とは、意味を持つ最小の単位のことで、「走る」を「走」と「る」に分けるような作業です。日本語は単語の間に空白がないため、まず文章を単語に切り分ける必要があります。この切り分けを形態素解析といいます。

たとえば「私は走る」という文は、「私」「は」「走る」ではなく、「私」「は」「走」「る」のように分解されます。分解したあと、それぞれの単語が名詞か動詞か、といった品詞の情報も付けられます。試験では「日本語の自然言語処理で最初に行う処理」として形態素解析が問われます。英語では単語の間に空白があるため、この切り分けは日本語ほど大きな問題になりません。

埋め込みとの違い:分けることと数字に変えること

形態素解析と混同されやすいのが、埋め込み(エンベディング)です。2つの役割は違います。形態素解析は文章を単語に「分ける」作業、埋め込みは分けた単語を「数字の列(ベクトル)に変える」作業です。順番でいえば、形態素解析で分けてから、埋め込みで数字に変えます。

コンピュータは言葉そのものを計算できないため、言葉を数字に置き換える必要があります。埋め込みでは、意味が近い単語ほど数字の並びも近くなるように変換します。試験では「形態素解析と埋め込みの違い」として、「分けるのが形態素解析、数字に変えるのが埋め込み」と問われます。自然言語処理の全体像は、「分ける→数字に変える→意味を理解する」という流れで覚えましょう。

確認問題

問1.日本語の文章を意味のある最小の単位に切り分ける処理を何というか。
答え:形態素解析。日本語は単語の間に空白がないため、まず文章を単語に切り分ける必要があるからです。

問2.形態素解析と埋め込み(エンベディング)の違いとして正しいものはどれか。
答え:形態素解析は文章を単語に分ける作業、埋め込みは単語を数字の列(ベクトル)に変える作業である。順番は形態素解析のあとに埋め込みが行われる。

まとめ

自然言語処理は、コンピュータが人間の言葉を扱う技術の総称です。要約・翻訳・質問応答などがその応用です。日本語ではまず形態素解析で文章を単語に分け、そのあと埋め込みで単語を数字に変えます。「分けるのが形態素解析、数字に変えるのが埋め込み」という違いを押さえましょう。第2章では、トークンや埋め込みと並んで、言葉を扱う流れを問う問題がよく出ます。

※この記事は生成AIパスポートの出題範囲に沿って作成した解説で、公式問題ではありません。試験の最新情報は主催団体の公式サイトでご確認ください。生成AIパスポートの直前対策には『生成AIパスポート 直前7日ドリル』がおすすめです。
サービス数100万件のスキルマーケット、あなたにぴったりのサービスを探す