インターネット上の情報をまとめて検索できるようにしたいです

【1.自動化したい内容（何を自動化したいか）】 　競走馬のデータをインターネット上から収集して集計していただきたいです。 【2.希望するツール（なにで自動化したいか）】 　 相談希望 【3.依頼の背景・目的】 　競走馬の売買の前準備のために情報収集したく思っております。 　売買時に出走歴がない競走馬ですと、手掛かりとなるデジタル情報は、血統、売買価格、馬体重（初めて出走した時の体重）、獲得賞金くらいしか情報がないと思います。 　そこで、そのような情報を収集して、獲得賞金額や回収率（獲得賞金額/売買価格）が有利な競走馬を見つけ出し、売買の際の参考にしたいと考えております。 　競走馬のセリのデータ 　https://ittai.net/sale/ 　 　競走馬のデータが収録されたサイト 　https://www.netkeiba.com/ 　https://www.jbis.or.jp/ 　ただ、競走馬のデータが５０万～１００万件となるので、それをどう処理するかが問題となるかと思います。 【4.重視するポイント】 　事前に得られる情報である、血統と馬体重から獲得できる賞金額の期待値を算出し、競走馬の売買のための参考としたい 【5.ご予算（希望する金額、相談したい等）】 　応相談（当方、法人のため、相応の予算はあります） 【6.希望納期】 　特になし 【7.その他ご要望・注意事項】 　競走馬のデータの抽出と、件数が多いのをどう処理するかが問題となると思います。