結論：
ブラウザ拡張機能で、OAuthサイトにログイン・データをPDF保存は実現可能。
スクレイピングの技術といえば、Selenium・Puppeteerが定番ですが、ブラウザ拡張機能による可能性をご紹介します。
Outh認証が必要なサイトにGoogleアカウントでログイン
ブラウザ拡張機能によるスクレイピングは
直接DOMを操作することができ、原始的で強力な手法です。各ブラウザの拡張機能です。
今回、OAuth認証の突破とPDF出力の検証をする機会およびその成功により、ビジネス用途において最も強力な選択肢の１つであると主張します。
具体的には以下のようなことが可能です:
- サイト内のテキストの読み込み・保存
- 画像や音楽、ファイルなどの保存
- 認証必要サイトへのログイン
- APIを通じた機能実行・データベース使用
などです。
スクレイピングに必要なほとんどの要件を十分に実現可能です。
従来手法との比較
Selenium・Puppeteerはスクレイピングのプロジェクトではよく選ばれる技術です。
これらはかなり強力技術で、スクレイピング需要を確実に満たすといえます。バックグラウンドや並行実行なども可能で、他システムとの連携も得意です。
一方で常駐するサーバが必要となり維持運用の複雑さ・維持コストがかかることが大変になってきます。
一方で、
ウェブブラウザ拡張機能での実現は、ブラウザの内部に内包されるため維持は不要。当然維持コストもかかりません。
加えて、スクレイピング対象のサービスそのものに追加される拡張機能ですので、サービスの延長ですぐに覚えることができます。
ビジネス用途においては、保守運用の要員がデータをチェックし確定する作業が必ず発生しますので、教育コストが小さく業務的に使用しやすいメリットがあります。
他システムとの連携についても、APIによる疎結合がトレンドである昨今においては従来手法よりもむしろ優位であるともいえます。
デメリットもお伝えします
- バッチ実行不可: 定時実行・条件実行
を行うことができません。特に条件実行ができないことは人的負担になるのでこのような要件の場合は実現が難しいです。
（数時間程度の条件であれば、拡張機能でも実現可能）
柔軟で強力なビジネス向けのスクレイピングツール
ウェブブラウザ拡張機能ツールの開発および出品・またソリューションのご提案など専門的に活動しております。
類似案件・ご相談はプロフィールから、メッセージでもお気軽にご相談ください。
