旅行パッケージ価格データ自動取得システム開発

旅行パッケージサイトの検索結果から、最安値・便情報・プラン情報などを自動取得し、MongoDBへ蓄積するスクレイピングシステムを開発しました。 従来のHTML解析ではなく、ブラウザのNetwork解析を通じてAPIエンドポイントを特定し、直接HTTPSリクエストを送信する方式を採用しています。 また、Docker環境での実行および定期実行にも対応し、安定したデータ収集基盤を構築しました。