情報収集をするときや、データ分析をするときにWebページに乗っているデータがほしいことがあると思います。
APIなどが提供されていない場合、Webスクレイピングで対応する必要があります。
私は、Webスクレイピングをし、好みのデータ型で出力するPythonコードを作成します。出力としては様々なものに対応したいと考えています。Pythonに組み込むようであればPythonで使いやすいデータ型へ変換、他の言語やプログラムで読み込む場合は、CSVやJSON等への変換まで行います。
・ログインが必要なサイトについてはお断りさせてもらいます。
・マイナーなデータ型への変換は要相談でお願いします。