対象サイトのニュース記事を一元管理（スクレイピング）したい

依頼内容 株の材料トレードで必要となる情報をスピーディーに収集するため、企業IRサイトやニュースサイト（最大で約1000件想定）の新着情報をスクレイピングして一元管理できるシステムを構築したいです。 加えて、特定条件によるフィルタリングやハイライト表示、通知機能を実装し、必要な情報を即時にキャッチできるようにしたいと考えています。 主な機能要件 スクレイピング機能 対象は企業のIRページやニュースサイトで、最大約1000件を想定。 新着記事の即時性が重要なので、できるだけリアルタイム（ほぼリアルタイム）での収集を希望。 表示・フィルタリング機能 まとめて表示するフィード画面を用意し、そこからさらに条件指定（例：時価総額、証券コード、キーワードなど）で絞り込みたい。 不要な情報は非表示にできるよう、カスタマイズ可能なフィルタリングが欲しい。 ハイライト表示 設定した単語や証券コードなど、条件に合致する文字を色付きや太字等で強調表示できる機能。 参考画像（一枚目）では、該当の証券コードを赤字で表示しているイメージ。 オプション画面/UI 二枚目の参考画像のように、フィルター条件やハイライト条件を設定・管理できる画面を用意してほしい。 UI/UXについては提案を歓迎します。 通知機能 設定したフィルタに合致するニュースが出た場合、LINEやDiscordなどに通知が届くようにしたい。 技術的要望・希望 スクレイピング 大量のサイトを効率よくクローリング・パースする手法を検討していただきたい。 同時アクセスや負荷分散などの考慮。 リアルタイム性 ほぼリアルタイムに近い形で記事を取得できる仕組みを希望。 更新間隔やシステム構成などアイデアがあれば提案してほしい。 UI/UX開発 フィード画面、フィルタ設定画面、通知設定画面などを見やすくまとめられる方だと助かります。 通知連携 WebhookやAPI連携により、LINEやDiscordに通知を送る仕組みを構築できる方を希望。 不明点・ヒアリング希望事項 運用サーバーや環境はどこで構築するか（クラウド、オンプレ等）。 どのような更新サイクルでスクレイピングを回すか。 個々のニュースサイトの構造やスクレイピング方法について、要望やリストがあるか。 フィルタリング・ハイライトで対応したい具体的な条件やキーワード数など。 ログの保存期間や閲覧方法（古い情報は必要か、どれくらい保持するか）。 納期・ご予算の目安。 応募時にいただきたい情報 自己紹介・実績 スクレイピングやWebシステム開発経験、通知連携の実装経験などがあれば教えてください。 ご提案や開発フローのイメージ どんな技術スタック（言語、フレームワーク、インフラ等）を想定しているか。 おおまかなスケジュール感や工程（要件定義 → デザイン/プロトタイプ → 開発 → テスト → 納品など）。 不明点や懸念点 即時性を確保するためのアプローチ、サイトごとのクローリング制限・負荷対策など。 大規模サイト向けスクレイピングの対応方法。 費用感・納期感 お見積もりのレンジ。 納期の希望や開発のボリューム感に応じたスケジュール例。 上記の内容で実現可能な方法や、さらに良いアイデアなどがあればぜひご提案いただけると助かります。ご応募・ご質問をお待ちしております！