ウェブスクレイピング

■ 依頼内容 ハローワークに掲載されている建設業の求人情報を自動収集し、企業リストを作成できるシステムの開発を依頼したいです。 プログラミングなどの専門知識がないため、納品後は自分で簡単に操作・管理できる状態を希望しています。 実現可能な方法や最適なシステム構成についても、ご提案いただきたいです。 ■ 1. 収集対象 * 対象サイト：ハローワークの求人情報 * 対象業種：建設業 * 対象地域：沖縄県を除く日本全国 * 収集目標：まずは約3万件の求人情報を収集したいです。 現在掲載されている求人情報をできるだけ幅広く収集したいと考えています。 ※実際に取得可能な件数については、事前に調査・検証をお願いします。 ■ 2. 取得したい情報 求人ごとに、以下の情報を取得・保存できるようにしたいです。 * 会社名 * 電話番号 * 住所 * 求人情報（募集職種、仕事内容など、取得可能な情報） * 役職（求人情報や公開されている情報から取得可能な場合） 取得できない項目がある場合は、その理由と代替案をご説明ください。 ■ 3. 自動収集機能 1時間ごとに自動で求人情報を収集できる機能を希望しています。 また、必要なときに手動で収集を開始できるボタンも付けていただきたいです。 収集した情報は保存し、前回までのデータと比較できる仕組みにしてください。 ■ 4. 新着求人の抽出機能 今回、特に重視している機能です。 当日掲載された求人のうち、前回までの収集時点で取得していなかった求人だけを、新着求人として抽出したいです。 例えば、午前9時に収集し、午前10時に再度収集した場合、午前9時の時点では取得していなかった求人だけを抽出するイメージです。 一度取得した求人が、次回以降に何度も重複して出力されないようにしてください。 また、求人の識別には求人番号などを活用し、同じ会社が複数の異なる求人を掲載している場合は、それぞれ別の求人として管理できる仕様を希望します。 ■ 5. データの出力・管理 収集した求人情報を、営業リストとして使いやすい形式で保存・出力したいです。 ExcelやCSVなど、最適な形式をご提案ください。 また、以下の機能があると助かります。 * 収集した求人の一覧表示 * 新着求人だけの抽出 * 重複データの防止 * 収集日時の記録 * 収集件数の確認 * 必要に応じたデータのダウンロード ■ 6. 操作方法・納品条件 納品後は、開発者に毎回作業を依頼することなく、自分で継続して使用できるようにしてください。 希望する条件は以下のとおりです。 * 初心者でも簡単に操作できること * 自動収集の開始・停止ができること * 手動で収集を実行できること * 操作マニュアルが付属すること * プログラム本体と必要な設定ファイルを納品すること * 自分で継続利用できるライセンス・利用権限であること * 納品後の不具合修正や保守の条件が明確であること ■ 7. 予算・維持費 初期開発費は10万円以内を希望しています。 サーバー代などの月額維持費については、大量の求人情報を安定して収集できることを優先して検討したいです。 そのため、以下の項目を分けてお見積もりください。 * 初期開発費 * サーバー代などの月額維持費 * その他、継続利用に必要な費用 * 納品後の保守・修正費用 できるだけ費用を抑えつつ、長期間使用できるシステムを希望しています。 ■ 8. 事前に確認・提案していただきたいこと ご提案の際は、以下についても回答をお願いします。 1. 沖縄県を除く全国の建設業求人を、どの程度取得できる見込みか 2. 初回に約3万件の求人情報を取得することが可能か 3. 1時間ごとの自動収集が実現可能か 4. 新着求人を重複なく抽出できるか 5. 月額維持費はいくらになるか 6. 初期費用3万円以内で、どこまでの機能を実現できるか 7. ハローワークの公開仕様・利用条件に沿って継続運用できるか ハローワーク側の仕様や制限により希望する機能をすべて実現できない場合は、事前にその旨をご説明いただき、代替案をご提案ください。 まずは取得可能性を検証したうえで、実現可能な範囲と費用をご提示いただきたいです。 ご対応可能な方は、開発方法・納期・費用の内訳を含めてご提案をお願いいたします。 よろしくお願いいたします。