GitHubで注目されているツールは、本当にREADMEどおり簡単に使えるのか。
今回は、Python製のWebスクレイピングOSS「Scrapling」を実際にインストールし、固定したバージョン・commitで動作を検証しました。
単にREADMEを読んで機能をまとめた記事ではありません。
実際に環境を作り、
・インストールにどれくらい時間と容量が必要だったか
・通常のHTML解析は問題なく動くか
・Webページ取得はどう動くか
・ページ構造が変わったときのAdaptive機能はどう振る舞うか
・JavaScriptを使うブラウザ処理ではどこまで進めたか
・依存関係が不足している場合や接続先が落ちている場合にどう失敗するか
まで確認しました。
成功した結果だけを載せるのではなく、動かなかったケースや、実験環境側に問題があったケースもそのまま記録しています。
また、実験後には結果を固定し、別工程で証拠との整合性を検証しています。
今回検証したもの
対象はScrapling v0.4.15です。
検証途中で最新版に変わらないよう、Git commitまで固定して実験しました。
Scraplingは、HTMLのCSS/XPath解析だけでなく、HTTP取得、ブラウザを使ったページ取得、ページ構造の変更に追従するAdaptive機能などを備えたPython製Webスクレイピングツールです。
では、実際に入れて動かすとどうだったのか。
ここから先では、実測したインストール時間・容量、各テストの結果、Adaptive機能で実際に起きたこと、ブラウザ実行で止まった理由、失敗条件まで順番にまとめます。
実際に検証して分かったこと
今回の検証対象は Scrapling v0.4.15 です。
GitHubで注目されているツールは、本当にREADMEどおり簡単に使えるのか。
今回は、Python製のWebスクレイピングOSS「Scrapling」を実際にインストールし、固定したバージョン・commitで動作を検証しました。
単にREADMEを読んで機能をまとめた記事ではありません。
実際に環境を作り、
・インストールにどれくらい時間と容量が必要だったか
・通常のHTML解析は問題なく動くか
・Webページ取得はどう動くか
・ページ構造が変わったときのAdaptive機能はどう振る舞うか
・JavaScriptを使うブラウザ処理ではどこまで進めたか
・依存関係が不足している場合や接続先が落ちている場合にどう失敗するか
まで確認しました。
成功した結果だけを載せるのではなく、動かなかったケースや、実験環境側に問題があったケースもそのまま記録しています。
また、実験後には結果を固定し、別工程で証拠との整合性を検証しています。
今回検証したもの
対象はScrapling v0.4.15です。
検証途中で最新版に変わらないよう、Git commitまで固定して実験しました。
Scraplingは、HTMLのCSS/XPath解析だけでなく、HTTP取得、ブラウザを使ったページ取得、ページ構造の変更に追従するAdaptive機能などを備えたPython製Webスクレイピングツールです。
では、実際に入れて動かすとどうだったのか。
ここから先では、実測したインストール時間・容量、各テストの結果、Adaptive機能で実際に起きたこと、ブラウザ実行で止まった理由、失敗条件まで順番にまとめます。
実際に検証して分かったこと
今回の検証対象は Scrapling v0.4.15 です。