【細野版】AIに不慣れな人のためのヒヤリハット事例集

所属している社団法人で、業務上のトラブル事例やヒヤリハット（事故には至らなかったものの、ヒヤッとした出来事）について調べています。また、参考として外部で発生した事例も確認しています。

私自身は、仕事の中でAIの活用方法をお伝えする機会が多いため、その際には業務利用におけるリスクや注意点についてもお話ししています。

AIの業務利用では大きく分けて次のようなヒヤリハットが考えられます。

入力時：機密情報や個人情報を入力してしまうことによる情報漏洩

出力時：AIが事実と異なる情報を生成するハルシネーションや、著作権などの権利侵害

運用時：セキュリティ対策の不足や、倫理的な問題への配慮不足

実際に、こうしたヒヤリハットがトラブルへ発展した事例も報告されており、正しい理解と適切な運用が重要だと感じています。

少し難しく感じる部分もあるかもしれませんが、□にチェックを付けながら一つずつ確認してみてください。 なお、ここでご紹介している以外にもさまざまなケースがありますので、これは気を付けたいなと思ったことがあれば、ご自身のチェックリストに追加して活用してみましょう。

AIの業務利用が不慣れな人のためのヒヤリハット参考事例集

1. 機密情報・個人情報の入力（情報漏洩リスク）

□ 未公開の決算数値や経営計画の入力：プレスリリースや役員向け報告書の作成を依頼する際、非公開数値をそのままプロンプトに貼り付け、外部AIの学習データに含まれるリスクを生じさせた。

□ 個人情報（顧客リスト・履歴書）の整形：顧客の氏名・電話番号・購買履歴や採用応募者の職務経歴書を、個人情報を伏せずに貼り付けて要約や抽出を行わせた。

□ ソースコードと機密キーの混入：社内システムのコードレビューを依頼した際、設定ファイル内に記述されていたAPIキーやデータベースの接続パスワードを消し忘れて送信した。

□ クライアント企業の機密提案書の翻訳：NDA（秘密保持契約）を結んでいる取引先の未発表製品仕様書を無料版・個人アカウントの翻訳ツール型AIに入力した。

□ 社内トラブル・人事労務相談の生データ：社員の懲戒事案やメンタルヘルスの相談ログを、匿名化せずに解決策立案プロンプトへ投入した。

□ 購買・調達の原価・見積データ：競合他社に対する価格戦略やサプライヤーの原価情報をそのまま読み込ませて見積書の下書きを作らせた。

□ 特許出願前の技術データ：新規発明の特許出願前であるにもかかわらず、実験データや設計図の要約を作成させ、公知化リスクを招きかけた。

□ 会議の文字起こしデータの一括投入：役員会議の音声テキスト化データをフィルタリングせず入力し、インサイダー情報や他社誹謗が含まれる内容を社外サーバーへ送信した。

2. ハルシネーション・誤情報の対外送信（信用失墜リスク）

□ 架空の法律・条文の引用：利用規約改定の草案作成時、AIが存在しない条文番号や判例を引用していたが、確認せずクライアントへ提出寸前になった。

□ 存在しない製品スペック・機能の回答：カスタマーサポートの回答文生成で、自社製品に搭載されていない架空の機能を「可能」と回答しそうになった。

□ 競合他社の情報・比較表の捏造：営業資料作成時、競合製品の価格や仕様がAIの推測で誤って記載され、不当景品類及び公正競争規約に触れかけた。

□ 誤った財務・計算結果の採用：複数ページの帳票データを要約させた際、AIが途中の四則演算を誤り、合計値が数千万円単位でずれた数値を稟議書に記載した。

□ 海外取引先への不適切な敬語・語彙：外国語メールのドラフトを作成させた際、AIが直訳や過剰な皮肉・無礼な慣用表現を使用していた。

□ 科学的根拠・エビデンス論文の捏造：マーケティング記事で、AIが生成した架空の教授名や論文タイトルを信頼できる情報源として掲載しかけた。

□ 古い規制・制度情報の出力：法改正前の古い手続き・税率を基にマニュアルを作成し、ユーザーへ誤った手続きを案内しかけた。

□ イベント日時・会場情報の混同：社外向けセミナー告知メール文で、過去の別イベントの日時や住所を合成して出力した内容をそのまま一斉配信しかけた。

3. 著作権・商標・権利侵害（法的リスク）

□ 他社キャラクター・ロゴの意図しない生成：販促用バナー画像を生成させた際、著名なアニメキャラクターや既存企業のロゴに酷似した意匠が出力され、そのまま広告入稿しかけた。

□ 既存の著作物・歌詞のほぼ完全な一致：キャッチコピーや記事本文を出力させた際、既存の書籍やWeb記事の表現が長文でそのまま複製されており、剽窃リスクを生じた。

□ 他社商標をプロンプトで指定した生成物：特定ブランド風のトーンを模倣するため商標名をプロンプトで多用し、ブランド価値の毀損や不正競争防止法に抵触しかけた。

□ 実在する人物のディープフェイク・肖像権侵害：社内プレゼン用スライドのイラスト生成で、実在のタレントや役員に酷似した顔画像が生成され、社外公開用スライドに混ざりかけた。

□ オープンソースライセンス（GPL等）の混入：コーディング補助AIが出力したコードに特定のライセンス義務が課されるコード片が含まれ、自社製品のコード開示義務リスクが発生しかけた。

□ ストックフォト・透かし（ウォーターマーク）の混入：画像生成ツールで出力した背景画像の一部に、有名画像提供サイトの透かしに類似したノイズが残っており、無断転載を疑われかけた。

□ 著作権で保護されたデータセットの要約配布：有償調査レポートを読み込ませ、その要約版を自社の独自レポートと称して無償配布しようとした。

□ 他社の特許技術に抵触する実装コード：特許で保護されているアルゴリズムの回避策を相談したつもりが、特許請求の範囲そのままのコードが出力され、実装しかけた。

4. 業務プロセス・システム障害・倫理的判断（運用・実行リスク）

□ 安全検証を行わないコードの本番反映：AIが生成したスクリプトをテスト環境で検証せず本番DBで実行し、データの上書きや一時的なサービス停止を起こしかけた。

□ セキュリティ脆弱性（SQLインジェクション等）の見落とし：AIが生成したWebアプリのコードに基本的な脆弱性が含まれていたが、開発者が精査せずレビューを通過させかけた。

□ 人事評価・採用選考のブラックボックス化：候補者の選定や合否判定をAIのスコアリングに過度に委ね、バイアスや不当評価が発生する寸前で踏みとどまった。

□ API連携による大量ループ・課金爆発：社内ボットにAI APIを組み込んだ際、無限ループが発生して短時間で数百万トークンを消費し、高額請求になりかけた。

□ プロンプトインジェクション攻撃への無防備：外部ユーザーが入力できるチャットボットに適切なガードレールを設けておらず、社内プロンプトや内部指示を画面上に暴露されかけた。

□ 倫理的・差別的表現のノーチェック公開：ターゲット層に向けたSNS投稿文に、性別や国籍に関する無自覚な偏見や差別を助長する表現が含まれたまま予約投稿されていた。

□ 過度な依存による業務手順の形骸化：マニュアルや監査手順の確認をAI任せにし、担当者が業務プロセスの正当性を誰も説明できない状態に陥りかけた。

□ シャドーAIによる野良ツールの拡散：情シス部門の承認を得ていない外部AIサービスを部署単位で勝手に導入し、バックアップやログ監視が一切機能していなかった。