各自治体ページのコロナ関連のポスター収集

概要：日本の自治体のページをスクレイピングして、コロナ関連のポスターを収集できるツールを作成する。 目的：研究 背景：コロナ関連のポスターは現在では削除されてしまっているものも多いため、魚拓サイト(https://web.archive.org/)を用いて探索する必要があります。これまでは手動で行ってきましたが、これを自動化できればと思い、ご相談させていただきたく依頼しました。 ・これまでの作業 京都市のページを例にお話させていただきます。他の自治体でも同様のことができればと考えております。 手動の場合、wayback machineの2020年ごろの魚拓から、京都市のページに行きます(https://web.archive.org/web/20200812095710/https://www.city.kyoto.lg.jp/) あとはページ上のリンクを辿って、コロナポスターのありそうなページに行き、データをダウンロードします (https://web.archive.org/web/20200929120346/https://www.city.kyoto.lg.jp/gyozai/page/0000273305.html) ・困難に思われる点 ただ、以上の手順を自動化するのは難しいのではないかと思います。難しい点は2つです。 問題点1: wayback machineの仕様として、「https://web.archive.org/web/」後の魚拓日付がリンク先ごとに異なり、また、規則性が不明であること。従って、異なる魚拓日付の同じページを通じてループしてしまう恐れがあること。しかし、元のリンクと大まかには近い日付のリンクには飛ぶようではある。 問題点2: 対象データがコロナポスターであることの判別が難しいこと。データ名に「corona」などと入っている訳でもなく、またpdfファイルにOCRがかかっていないことも多い。 ・現状の提案 問題1: [https://web.archive.org/web/魚拓日付/」以下のURLが重複したら探索が終了するようにする。 問題2: ページ内に文字として「コロナ感染症」などと含まれているページ上のデータを全てダウンロードする。この際、コロナポスター以外のデータも大量にダウンロードしてしまうが、それらは手動で選り分けることにする。 スクレイピングの技術的な限界等について、素人であるため、ツールに盛り込める機能からご相談しながら決められればと考えております。 ご検討の方、よろしくお願いいたします。