Webサイト丸ごとをAI学習データにします

チャットボットが的外れな回答をする原因は、たいていモデル側ではなくデータ側にあります。 実際に他社サイトを調査したときに見つかったものです。 ・FAQ全19ページのHTMLに、PHPのエラー文がそのまま出力されていた 　（そのまま取り込むと、この文言がボットの回答に混ざります） ・手順の実体が画像226枚の側にあり、本文は1ページ平均574文字しかなかった 　（テキストだけ取ると「Nextを押下」程度しか答えられません） ・リンクの文字がすべて「こちら」で、ボットが行き先を案内できない状態だった こうしたものを取り除いて、AIが読める形に整えてお渡しします。 ＜やること＞ 1. 全ページを機械的に取得（sitemapと内部リンクから網羅します） 2. ヘッダー・フッター・広告など、本文以外を除去 3. エラー文・文字化け・重複を除去 4. 見出し単位でチャンク分割（Difyは切り方で回答精度が変わります） 5. リンクは「表示テキスト（絶対URL）」の形に展開 6. 取得件数と納品件数を突合し、欠落0件を数字で確認できる形にして報告 ＜納品形式＞ Markdown ／ CSV ／ JSONL（Q&A形式にも対応します） チャンクの粒度はご指定に合わせます。 ＜先に無料でやります＞ ご相談いただいた時点で、対象サイトを実際に見て ・総ページ数 ・取得が許可されているか（robots.txtを確認します） ・そのまま取り込むと混ざってしまう不要物 を調べ、サンプル3ページ分を無料でお渡しします。 中身を見てから発注をご判断ください。 ＜料金の目安＞ 〜30ページ　10,000円 〜60ページ　18,000円 それ以上は件数に応じてお見積りします。 ＜お受けできないこと＞ ・ログインが必要なページ ・利用規約で取得が禁止されているサイト ・画像内の文字（OCRが必要な場合は別途お見積り） ・個人情報の収集 ＜稼働について＞ 平日日中は返信が遅れることがあります。夜間・土日は確実に対応します。 まずは対象サイトのURLだけお送りください。取得できるかを先に確認してご返答します。