差分収集クローラー基盤を構築します

▼こんな方に向いています ・多数ページを定期巡回して変更を検出したい ・途中失敗や重複取得を制御したい ・収集データをDB・APIから利用したい ▼ご提供内容 多数の公開ページを継続巡回し、更新差分をデータベースへ保存するクローラー基盤を構築します。URLキュー、重複排除、再試行、レート制御、履歴管理、監視を実装します。 主な対応範囲 ・巡回・抽出・正規化ルール設計 ・URLキュー・重複排除・差分更新 ・再試行・レート制御・履歴DB ・監視・スケジュール・参照API ▼進め方 1. 現在の作業と完成イメージを確認 2. 対応範囲・納品物・追加費用の有無を整理 3. サンプルデータで小さく実装 4. 途中結果をご確認いただき調整 5. 動作確認後、手順とともに納品 仕様が固まっていない場合も、現在使っているファイルや画面、困っている作業をお知らせください。確認後、プラン内でできる範囲を具体的にご案内します。