絞り込み条件を変更する
検索条件を絞り込む
有料ブログの投稿方法はこちら

すべてのカテゴリ

24 件中 1 - 24 件表示
カバー画像

Excel VBAのスクレイピングでデータ抽出を簡単に!【イメージ動画あり】

こんにちは、あやせです!私はココナラでExcelやVBAを活用した効率化サービスを提供しています。今回は、Excel VBAのスクレイピングを使用して、データ抽出する事例について紹介します。この方法で、どれだけ簡単にデータ抽出できるかをお伝えします。 スクレイピングでできることExcel VBAを使ったスクレイピングは、情報収集を簡単かつ迅速に行うための素晴らしい手段です。以下は、スクレイピングでできることの一部です。 データの収集: Excel VBAを活用することで、様々なサイトから必要な情報を自動的に収集できます。 定期的な更新: 定期的に情報を更新することで、最新の情報を常に手に入れることができます。 カスタマイズ可能なレポート: 抽出した情報をカスタマイズ可能なレポートにまとめ、分析しやすくします。 デモ動画: 不動産情報のスクレイピング動画では、実際にExcel VBAを使用して不動産情報をスクレイピングするプロセスを紹介しています。ぜひご覧ください! スクレイピングのメリット主に以下2つのメリットがあります。時間の節約: 手作業で情報を収集する手間を省き、時間を有効活用できます。 人的ミスの削減: 人為的なミスがなく、抽出されるデータは高い正確性を保ちます。 私の提供するサービス 私もExcel VBAを駆使したスクレイピングサービスを提供しています。あなたのやりたいことが整理できていなくても、私からご提案させて頂きます!情報抽出をお考えの方は、ぜひ一度ご相談ください。https://coconala.com/services/3078591まとめ Excel V
0
カバー画像

家具・雑貨 | イケア (IKEA) の商品のレビューをスクレイピングする

こんにちは😃 ノアです😀 今回は、pythonを使ってイケアの商品レビューをスクレイピングしていきたいと思います🥺 また、当アカウントではスクレイピングのサービスを出品していますので興味がある方は気軽にご相談ください🍉イケア(IKEA)はスウェーデン発祥の家具および家庭用品の小売チェーンで、自己組み立て可能な家具やシンプルなデザイン、手頃な価格が特徴です。顧客は家具をパーツごとに購入し、自宅で組み立てることができます。イケアのデザインは機能的でモダンなスタイルが多く、店舗内では実際の部屋が再現されて展示されています。低価格と広範な品揃えも魅力で、環境への配慮や社会的な貢献も行っています。 イケアは世界中で広く支持される家具ブランドとして知られています。 ちなみに、英語圏では "イケア" ではなく、「アイキーア」のように発音されます。 やることは大まかに以下の3つです  ・商品のレビューを収集したい IKEAの商品ページのURLを指定する  ・商品URLにアクセスして、商品ページからレビューを抽出する  ・そのデータをCSVに出力する ■データ収集する理由は? IKEAの商品のレビューを収集するメリット 1. 消費者の声を把握 2. 競合分析 3. 市場トレンドの把握 4. 評判管理 5. マーケティングに活用 6. 製品改善への活用 ・消費者の声を把握       商品のレビューは実際の消費者の意見や評価を知るための貴重な情報源です。       これにより、商品の良い点や改善すべき点を把握し、それに基づいて製品やサービスの品質向上に役立てることができます。       また、
0
カバー画像

Webスクレイピングってなに?

こんにちは!ばすけ大好きおじさん、略して「ばすおじ」です。世の中には膨大な情報が溢れていますが、その情報を自分の手元に収集することができれば、ビジネスや研究、あるいは趣味の世界でも大きな武器となります。そこで注目を集めるのが、Webスクレイピングです。今回は、そんなWebスクレイピングについて解説していきます。目次1. Webスクレイピングとは2. 活用法3. 注意点4. まとめ1. WebスクレイピングとはWebスクレイピングとは、Webサイトから情報を収集するための技術のことです。スクレイピングによって自動的にWebページを解析し、必要な情報を取得することができます。2. 活用法Webスクレイピングは、以下のような場面で活用されます。マーケティング競合他社の情報や消費者の意見・嗜好を分析するために、商品情報やレビューを収集することができます。データ分析企業や研究機関は、Web上のデータを集めて分析することで、市場調査や競合分析、業務効率化などに役立てることができます。ニュース収集特定のトピックに関する最新情報を迅速かつ正確に収集することができます。3. 注意点Webスクレイピングには、以下のような注意点があります。著作権の問題Webスクレイピングによって収集された情報は、その情報の著作権が存在する場合があります。収集した情報の使用には十分注意する必要があります。サイトの利用規約に違反しないことWebスクレイピングは、収集するデータの取り扱いに関するサイトの利用規約に違反することがあるため、利用規約を事前に確認することが重要です。サイトに負荷をかけないこと一度に多数のページを
0
カバー画像

コンテンツマーケティングの救世主!インスタグラムスクレイピングで、効率的な情報収集を実現しよう!

はじめに初めまして.ココナラでプログラミングや語学など様々なサービスを展開中のodrag0nと申します.タイトルの通り、本記事ではインスタグラムスクレイピングの重要性や、具体的な方法、そして実際に使用できるスクレイピングツールを参考資料として紹介しています。興味深い内容が満載の10000文字以上の記事となっておりますので、ぜひ最後までご覧ください。コンテンツマーケティングにおける情報収集の重要性現代のマーケティング戦略において、コンテンツマーケティングは欠かせない要素の一つとなっています。しかし、コンテンツを生み出すためには、ターゲットユーザーに合わせた情報収集が必要不可欠です。その中でも、SNSであるインスタグラムは現在、ビジネスにおいて最も有効なプラットフォームの一つとなっています。しかしながら、インスタグラムには膨大な数のアカウントが存在するため、情報収集には時間と手間がかかるものです。そこで、本記事では、インスタグラムスクレイピングの重要性と、その方法、有料で提供していたツールを特別に公開させていただきます。
0 500円
カバー画像

PythonとBeautifulSoupを使ったWebスクレイピングの高速化:処理速度向上のコツと事例紹介

Webスクレイピングは、ウェブページから情報を抽出する技術です。PythonとBeautifulSoupを使用してスクレイピングを行うことで、効率的にデータ収集が可能になります。しかし、大量のデータを扱う際は、処理速度が重要な要素となります。本記事では、PythonとBeautifulSoupを使ったWebスクレイピングの高速化について、実践的なコツと事例を紹介します。 目次 1.PythonとBeautifulSoupの基本 2.処理速度を向上させるポイント 3.実践的な高速化テクニック 4.事例紹介 5.まとめ 1.PythonとBeautifulSoupの基本 Pythonは、シンプルで読みやすいコードが特徴のプログラミング言語です。Webスクレイピングには、PythonのライブラリであるBeautifulSoupがよく使われます。BeautifulSoupは、HTMLやXMLのパース(解析)を行い、データ抽出を容易にします。 2.処理速度を向上させるポイント Webスクレイピングで処理速度を向上させるためには、以下のポイントを考慮してください。 (1) スクレイピング対象のページ数を最小限にする (2) 不要なタグや属性を除外する (3) 適切なセレクタを使用する (4) マルチスレッドやマルチプロセスを利用する 3.実践的な高速化テクニック (1) ページ数の最小化スクレイピング対象となるページ数を減らすことで、処理速度が向上します。例えば、ページネーションを活用することで、一度に取得するデータ量を制限できます。(2) 不要なタグや属性の除外 BeautifulSou
0
カバー画像

Excel VBAとWebスクレイピングを組み合わせた自動データ収集・レポート作成の効率化

はじめに 近年、データ分析や情報収集が企業のビジネス戦略において重要な役割を果たしています。特に、Web上からデータを取得し、Excelで解析することは日常業務の一部となっています。しかし、データの取得や解析に手作業を要することは効率が悪く、時間の無駄です。そこで、Excel VBAとWebスクレイピングを組み合わせた自動データ収集・レポート作成の効率化を解説します。目次 1.Webスクレイピングとは 2.Excel VBAとWebスクレイピングの基本 3.データ収集の自動化 4.レポート作成の自動化 5.実践例 6.まとめ Webスクレイピングとは Webスクレイピングとは、Webサイトから情報を抽出し、構造化されたデータとして保存する技術のことです。HTMLやXML形式で記述されているWebページから、必要なデータを効率的に取得することができます。 【Excel VBAとWebスクレイピングの基本】Excel VBAを使ってWebスクレイピングを行う場合、以下の手順が基本です。 ①Webサイトへアクセスし、HTMLソースコードを取得する。 ②取得したソースコードから必要なデータを抽出する。 ③抽出したデータをExcelシートに書き込む。 データ収集の自動化 ①Excel VBAを使ってWebスクレイピングを行い、データ収集を自動化する方法を紹介します。まず、参照設定で「Microsoft HTML Object Library」と「Microsoft XML, v6.0」を有効にします。↓②次に、Webサイトへアクセスし、HTMLソースコードを取得するVBAコードを作成しま
0
カバー画像

Pythonを使ったYahoo!ニュースの自動収集とExcelへの保存方法

Pythonを使ったWebスクレイピングの一例として、Yahoo!ニュースからビジネスカテゴリーのニュースを取得し、Excelファイルに保存する方法を紹介します。 手順 1. 必要なライブラリのインストール 本コードで使用するライブラリとして、requestsとbeautifulsoup4が必要です。pipを使って以下のコマンドでインストールします。2. Excelファイルの準備 Excelファイルを作成し、1行目にDate、Title、Linkのヘッダーを挿入しておきます。また、ファイル名をyahoo_news.xlsxとして保存しておきます。 3. ニュースの取得とExcelへの書き込み 以下のコードを実行することで、Yahoo!ニュースのビジネスカテゴリーから最新のニュースを取得し、Excelファイルに書き込みます。3.1ニュースの取得 ニュースの取得には、PythonのrequestsライブラリとBeautifulSoupライブラリを使用します。具体的には、requestsライブラリで対象とするウェブページにHTTPリクエストを送り、レスポンスを取得します。そして、BeautifulSoupライブラリを使用して、HTMLページからニュース記事のタイトルやリンク、日付などの要素を抽出します。この例では、以下のコードでニュースデータを取得しています。このコードでは、Yahoo!ニュースのビジネスカテゴリのページから、記事のタイトル、リンク、日付を取得しています。soup.find_all()メソッドで、HTMLコード中で指定したclass属性を持つ要素を抽出します。抽出した
0
カバー画像

Webスクレイピングを使ったマーケティング戦略の立案方法

Webスクレイピングは、マーケティング戦略の立案において非常に役立つツールです。Webスクレイピングを利用することで、市場調査や競合調査などの情報収集を効率的に行うことができます。本記事では、Webスクレイピングを使ったマーケティング戦略の立案方法について解説します。 【Step 1: 目的の設定】 まずは、マーケティング戦略の目的を明確に設定することが重要です。例えば、新規顧客獲得、既存顧客のリピート率向上、競合優位性の確保など、目的は様々です。目的を設定することで、情報収集の視点が明確化され、より効果的なWebスクレイピングが可能になります。 【Step 2: 情報収集の対象を決定】 次に、情報収集の対象を決定します。具体的には、競合情報や業界動向、顧客ニーズや反応、マーケティング施策の効果などが挙げられます。収集する情報の対象を明確化することで、Webスクレイピングの範囲を限定し、効率的に情報収集を行うことができます。 【Step 3: ツールの選択】 Webスクレイピングには、様々なツールがあります。例えば、PythonのBeautifulSoupやScrapy、SeleniumやPuppeteerなどが挙げられます。目的や収集する情報に応じて、最適なツールを選択することが大切です。 【Step 4: Webスクレイピングの実行】 Webスクレイピングの実行にあたっては、法令や規約を遵守することが重要です。また、情報の正確性や信頼性を確認することも必要です。Webスクレイピングによって収集された情報を分析し、マーケティング施策の改善や戦略の立案に活用することができます。
0
カバー画像

Webスクレイピングと人事業務の改善:採用情報の収集と効率的な候補者スクリーニングに活用

Webスクレイピングは、ビジネスの様々な分野で利用されており、人事業務においてもその効果が期待されています。本記事では、Webスクレイピングを用いた採用情報の収集や候補者スクリーニングについて解説します。 Webスクレイピングによる採用情報の収集 人材採用においては、候補者情報の収集が重要な課題となります。Webスクレイピングを用いることで、求人サイトや人材紹介サイトから効率的に候補者情報を収集することができます。Webスクレイピングを利用することで、手作業で行う場合に比べて大量の情報を短時間で収集することができます。また、Webスクレイピングを用いることで、求人サイトや人材紹介サイトの情報を集約し、採用情報を一元化することも可能になります。これにより、求人情報の重複や欠落を防ぎ、採用プロセスを効率化することができます。 Webスクレイピングによる候補者スクリーニングの効率化 候補者スクリーニングは、採用プロセスの中でも重要な工程のひとつです。Webスクレイピングを用いることで、自動的に履歴書や職務経歴書から必要な情報を抽出し、候補者のスクリーニングを効率化することができます。これにより、人事担当者の手間を軽減し、採用プロセスを迅速化することができます。 さらに、Webスクレイピングによって収集された候補者情報を人工知能の自然言語処理技術で解析することで、候補者のスキルや能力、志向性などを詳細に分析することもできます。このように、Webスクレイピングと人工知能の技術を組み合わせることで、より精度の高い候補者スクリーニングが実現可能になります。まとめ 本記事では、Webスクレイピ
0
カバー画像

ChatGPTとWebスクレイピング:AIとデータ収集技術の進化によるビジネスの変化

ChatGPTとWebスクレイピングは、それぞれ独自の技術ですが、組み合わせることで、より高度な自然言語処理やデータ解析が可能になります。本記事では、ChatGPTとWebスクレイピングを組み合わせた活用例について解説します。 【ChatGPTとWebスクレイピングを使った活用例】 レビュー分析 Webスクレイピングを用いて、製品やサービスのレビューを収集し、ChatGPTを使って自然言語処理を行うことで、その製品やサービスに対する顧客の感情や評価を分析することができます。また、ChatGPTを用いることで、顧客からの問い合わせに対して、より適切な回答を行うことができます。 購買傾向の分析 Webスクレイピングを用いて、商品の情報や価格を収集し、ChatGPTを使って自然言語処理を行うことで、購買傾向を分析することができます。例えば、特定の製品の価格が下がると、その製品に対する需要が増えるといった傾向を分析することができます。 顧客満足度の分析 Webスクレイピングを用いて、顧客のアンケートやフィードバックを収集し、ChatGPTを使って自然言語処理を行うことで、顧客満足度を分析することができます。顧客からのフィードバックに対して、ChatGPTを使って自動的に回答することも可能です。 自動翻訳 Webスクレイピングを用いて、複数の言語の情報を収集し、ChatGPTを使って自然言語処理を行うことで、自動的に翻訳を行うことができます。例えば、海外のニュース記事やブログを収集して、ChatGPTを使って自動翻訳を行うことができます。 【まとめ】 ChatGPTとWebスクレイピング
0
カバー画像

Excelを使ったWebスクレイピング入門:手順や注意点、実践に役立つテクニックを解説

【はじめに】 Webスクレイピングは、Webサイトからデータを取得するための方法のひとつです。一方、Excelは、表計算ソフトウェアであり、データの集計・分析・加工を行うことができます。本記事では、Excelを使ってWebスクレイピングを実践する方法を解説します。ExcelでWebスクレイピングを行うことで、手軽に多くのデータを取得し、効率的なデータ分析や可視化が可能になります。また、Webスクレイピングには倫理的な問題もあるため、適切な利用方法についても紹介します。 【Excelを使ったWebスクレイピングの方法】 ExcelでWebスクレイピングを行う方法は、基本的には次の手順で行います。 ①データ取得先のWebサイトを開く。 ②データを取得する箇所のHTMLタグを特定する。 ③取得するデータを指定する。 ④取得したいデータをコピーして、Excelに貼り付ける。 手順は簡単ですが、実際にWebスクレイピングを行う際には、HTMLの解析やプログラミングの知識が必要な場合があります。ExcelでWebスクレイピングを行う場合には、以下の手法が代表的です。 A:ウェブクエリによるWebスクレイピング B:VBAマクロによるWebスクレイピング 【A:ウェブクエリによるWebスクレイピング】 ウェブクエリを利用する方法は、Excelが提供するウェブデータ取得機能を使って、Webサイトからデータを取得する方法です。手順は次のようになります。 1:Excelファイルを新規作成し、シートを追加する。 「データ」タブを選択し、「Webデータを取得」をクリックする。 取得したいWebサイトの
0
カバー画像

Webスクレイピングの利用事例7選:企業が取り組んだ市場調査事例

Webスクレイピングは、インターネット上の情報を収集するための強力なツールです。この技術を活用することで、ビジネスにおいて競合調査や市場調査を効率的に行うことができます。この記事では、Webスクレイピングを活用して実際に企業が市場調査に取り組んだ事例を紹介します。 【事例1】 ある化粧品メーカーは、新製品の発売前に競合他社の製品情報を収集するためにWebスクレイピングを利用しました。同社は、競合他社の製品ページから製品名、価格、成分などの情報をスクレイピングして、比較分析に活用しました。また、競合他社が取り組んでいるキャンペーンや販売戦略なども収集し、自社の販売戦略の改善に活かしました。 【事例2】 ある旅行会社は、旅行予約サイトの口コミデータをスクレイピングして、顧客の旅行ニーズを分析しました。同社は、顧客がどのような旅行プランを求めているのか、どのような口コミが多いのかを調査し、それに基づいた旅行商品の開発や販売戦略の改善を行いました。 【事例3】 あるECサイトは、商品カテゴリーごとに競合他社の価格や在庫情報を収集するためにWebスクレイピングを利用しました。同社は、競合他社の価格や在庫状況に合わせて自社の価格を調整し、常に競合他社と比較して優位な価格設定を行いました。 【事例4】 ある小売店は、商品レビューサイトから自社が取り扱っている商品の評価やレビュー情報を収集するためにWebスクレイピングを利用しました。同社は、収集した情報を商品の改善や販売戦略の改善に活かすことで、顧客満足度の向上を目指しました。 【事例5】 ある保険会社は、同業他社のサイトから保険商品の情報
0
カバー画像

Webスクレイピングで競合調査!効率的に市場情報を収集する方法

Webスクレイピングを利用して、競合調査を行い市場情報を収集することは、ビジネスの様々な場面で役立つ方法の一つです。この記事では、Webスクレイピングを使った競合調査の方法やそのメリットについて解説します。 まずは、競合調査の目的を明確にすることが大切です。競合調査を行うことで、自社の製品やサービスが市場においてどのような位置にあるのか、競合他社がどのような戦略をとっているのかを知ることができます。これにより、自社のビジネス戦略を見直すことができ、より効果的なマーケティング戦略を構築することができます。 次に、Webスクレイピングを使った競合調査の方法を紹介します。まずは、競合他社のウェブサイトを収集対象にします。例えば、競合他社の商品ページやニュースリリース、ブログ記事などを収集することができます。これらの情報から、競合他社がどのような製品を提供しているのか、どのようなキャンペーンを実施しているのかを知ることができます。 また、競合他社のSNSや口コミサイトなどからも情報を収集することができます。これらの情報から、競合他社の商品やサービスに対するユーザーの評価や不満点を知ることができます。さらに、競合他社のマーケティング戦略や広告宣伝活動を調査することもできます。 Webスクレイピングによる競合調査のメリットは、以下のようにまとめることができます。 1.時間の節約:Webスクレイピングを利用することで、手動で情報を収集する必要がなくなります。これにより、時間を短縮し、効率的な調査が可能となります。 2.詳細な情報の収集:Webスクレイピングを利用することで、広範囲かつ詳細な情
0
カバー画像

スクレイピング初心者でもできる!Webスクレイピングのやり方とツール紹介

Webスクレイピングとは、Webページから必要な情報を取得することです。Webスクレイピングを利用することで、情報を取得する作業を自動化することができます。今回は、スクレイピング初心者でもできる、Webスクレイピングのやり方とツールについて紹介します。Webスクレイピングのやり方 1.目的のWebページのURLを取得する。 2.目的のWebページのHTMLを取得する。 3.HTMLを解析し、必要な情報を取得する。 1. 目的のWebページのURLを取得する 目的のWebページのURLは、スクレイピングするための重要な情報です。目的のWebページをスクレイピングする前に、目的のWebページのURLを取得する必要があります。 2. 目的のWebページのHTMLを取得する 目的のWebページのHTMLを取得することができれば、そのWebページに含まれる情報を解析することができます。HTMLを取得するためには、HTTPリクエストを送信する必要があります。Pythonのrequestsライブラリを使用することで、簡単にHTTPリクエストを送信することができます。3. HTMLを解析し、必要な情報を取得する 目的のWebページのHTMLを取得したら、必要な情報を取得するためにHTMLを解析する必要があります。HTMLを解析するためには、PythonのBeautifulSoupライブラリを使用することができます。BeautifulSoupライブラリを使用することで、HTMLの構造を解析し、必要な情報を取得することができます。~ツールの紹介~Webスクレイピングを手軽に行うために、以下のツール
0
カバー画像

Webスクレイピングができるサイト一覧!多様なビジネスシーンで使える活用例

Webスクレイピングは、Web上に公開されたデータを自動的に取得する技術です。Web上の多くのサイトがスクレイピングに対して警戒心を持っているため、スクレイピングを利用する際には注意が必要です。ここでは、スクレイピングの活用例と、利用を許可しているサイトの一覧について紹介します。 【スクレイピングの活用例】 1.情報収集 スクレイピングは、Web上の情報収集に役立ちます。例えば、競合他社の商品やサービスに関する情報を収集し、自社のビジネス戦略に役立てることができます。また、マーケティング調査のためのデータ収集にも活用できます。 2.自動化 Webサイトから情報を取得し、自動で処理することで、作業の効率化が可能になります。例えば、Webサイトの更新情報を自動で取得し、自社サイトの更新作業を自動化することができます。 3.価格比較 スクレイピングを利用して、競合他社の価格情報を取得し、自社の価格設定の参考にすることができます。また、顧客向けの価格比較サイトを作成することもできます。 4.見積もり作成 Web上に公開されている製品やサービスに関する情報をスクレイピングすることで、見積もり作成に役立てることができます。例えば、建築業者が必要な材料の価格情報を取得し、見積もりの作成に利用することができます。 5.情報の可視化 スクレイピングで取得したデータを利用して、グラフや表などの視覚化ツールを用いて情報を可視化することができます。このような可視化により、膨大な量のデータを効率的に分析することが可能になります。【Webスクレイピングの利用を許可しているウェブサイト一覧】ここでは、ウェブ
0
カバー画像

完全初心者向けのWebスクレイピングの使い方と注意点

Webスクレイピングは、ウェブサイト上の情報を自動的に収集する技術です。Webスクレイピングを使うことで、大量のデータを効率的に収集することができます。 Webスクレイピングをするためには、スクレイピングツールやライブラリを使用する必要があります。Pythonには、BeautifulSoupやScrapyといった有名なスクレイピングライブラリがあります。これらのライブラリを使用することで、ウェブサイトからデータを収集することができます。 Webスクレイピングを行う際には、以下のような注意点があります。 ウェブサイトの利用規約を確認する ウェブサイトによっては、Webスクレイピングを禁止している場合があります。Webスクレイピングを行う前に、ウェブサイトの利用規約を確認し、Webスクレイピングが禁止されていないか確認しましょう。 頻度制限に注意する ウェブサイトによっては、Webスクレイピングを頻繁に行うことを制限している場合があります。頻繁にアクセスすると、サーバーに負荷をかけてしまうため、サーバーからアクセスを禁止されることもあります。そのため、一定間隔をあけるなど、頻度制限に気をつけましょう。 データの利用目的を明確にする Webスクレイピングで収集したデータを利用する際には、利用目的を明確にする必要があります。収集したデータを、商用目的や個人情報の収集に使用することは違法です。データの利用目的を明確にして、適切に扱いましょう。 データの正確性を確認する Webスクレイピングで収集したデータは、ウェブサイトの変更や誤りがある場合があります。そのため、収集したデータの正確性を
0
カバー画像

楽天APIを使用して商品の情報を取得する

こんばんは! まさです。今日は楽天市場から情報を自動で取得する方法を書いていきたいと思います。楽天市場の情報取得については、APIというものが公開されているため、それを活用して情報を取得できます。APIの詳しい説明は省きますが、簡単に言うと、ソフトウェアの機能を共有できる仕組みのことです。楽天では、楽天市場、楽天ブックス、楽天トラベルの情報を誰でも取得できるようなAPIを公開してくれています。非常に便利!!楽天APIは以下からGoogleで「楽天API」と検索すれば1番最初に出てきます。上記のアプリID発行を行えば、APIを使用するためのIDを取得できます。また、ツール>APIテストフォームからどのような条件でデータを入れれば、どのような結果が返ってくるか確認できます。今回は検索キーワードに「python 本」と入れてみました。すると以下の結果が返ってくることがこのAPIテストフォームからわかります。この結果をプログラム側でcsvやExcelに出力してやれば、楽天市場の情報を一括で取得することができます。実際に楽天APIを利用して作成したexeファイルが以下になります。①楽天市場情報取得用のexeを実行②検索条件を入力。今回は、検索キーワード「python 本」、価格「500~1000」で検索を実行。③検索の結果、以下のcsvファイルが作成されます。このように楽天APIを利用したツールを使用すれば、楽天市場の情報を一瞬で取得することが可能となります。今回は、楽天市場の例を紹介しましたが、楽天ブックス、楽天トラベルの情報も同じように取得することができます。もし、楽天関係の情報の取
0
カバー画像

メルカリ上で必要な商品の情報を一括で取得する方法

こんばんは!まさです。今日は、メルカリサイトから情報を自動で取得するwebスクレイピングについて書いていこうと思います。メルカリ上で、商品情報を取得したいときどうしますか?恐らく、メルカリのサイトにアクセスして、下記のように検索を行い、その結果の表示された情報をコピーしてくるかと思います。数件の情報取得であれば、検索結果を手動でコピーしていけばよいのですが、仮に表示された結果すべて取得したいとなった場合どうでしょうか。すべて手動でコピーしてたら日が暮れてしまいますよね。そんなときに役立つのが、web情報を一括で取得できるようなツールになります。pythonにあるライブラリを使用すれば、そのようなツールの作成ができてしまいます!!以下がそのサンプルです。①exeファイルを実行します。②検索したい条件を入力します。「検索」を実行します。③「検索」を実行すると、以下のようなcsvファイルが出力されます。このように、ツールを使用すれば、web上で何度もコピー&ペーストをしなくても、一瞬で情報を取得することが可能となります。今回はメルカリを例にwebスクレイピングの一例を紹介しました。他のwebサイトでもpythonで作成したツールを使えば同様に一括で情報の取得が可能です。もし、webサイト情報の取得でお困りなこと、質問などありましたらお気軽にメッセージください。■まさへのDMはこちらからhttps://coconala.com/users/515073
0
カバー画像

【selenium】robots.txtってなんやねん。

みなさんこんにちは。イプシロンです。スクレイピングを実施する前に注意しなくてはならないのが、webサイトの利用規約や注意事項です。なぜなら、目的次第では利用規約に反して相手先に迷惑をかけてしまう可能性があるからです。その中で、「robots.txt」の存在は必ず出てきます。今日はその、「robots.txt」について書きます。では、いってみましょう!!!robots.txtとはロボッツテキストと呼びます。クローラーに対するWebページへのアクセス制限(ルール)を記載したファイルのことです。 Webサイトのルート配下に配置されていて、以下のように対象サイトのURLに直打ちすると、閲覧することも可能です。(例)ココナラのサイトに対して、robots.txtを確認したい場合https://coconala.com/robots.txtするとこのようになります。robots.txtのフォーマットについて基本的には以下のことが記載されています。【User-agent】  →意味:クローラーの名前を指定 【Crawl-delay】  →意味:巡回頻度(秒数) 【Allow】  →意味:指定されたパス配下はアクセス可能 【Disallow】  →意味:指定されたパス配下はアクセス不可【Sitemap】  →意味:sitemap.xmlの場所を明示となります。ここで、先ほどのココナラのrobots.txtを読んでみましょう。User-agent: *Disallow: /tags/ Disallow: /register Disallow: /login Disallow: /smartpho
0
カバー画像

【selenium】xPathってどうやって取るねん。

みなさんこんにちは。イプシロンです。今回はスクレイピングで必須となるサイト内のxPathの取得方法について書きます。ではいってみましょう。準備ブラウザはChromeを使用し、ココナラのサイトを例にとってご説明します。https://coconala.com/手順1.ココナラのサイトを表示する2.今回は、「ビジネス購入の方はこちら」の文字をスクレイピングします。3.「Shift」+「Ctrl」+「C」を押します。右側にソースコードが表示されます。4.マウスを対象の箇所(ビジネス購入の方はこちら)まで移動します。右側のソースコード上にブルーでハイライトされます。5.ハイライトされた箇所を右クリックします。6.「Copy」→「Copy xPath」を選択します。クリップボードにxPathがコピーされました。7.貼り付けると以下のようになります//*[@id="__layout"]/div/div[1]/div[2]/header/div[1]/div[3]/nav/ul/li[2]/aこれが、対象箇所のxPathになります。8.ソースコードに貼り付けるVBAのソースコードにxPathを以下のように貼り付けます。(今回はメッセージボックスに表示するようにしてみました。)MsgBox Driver.FindElementByXPath("//*[@id=""__layout""]/div/div[1]/div[2]/header/div[1]/div[3]/nav/ul/li[2]/a").Attribute("innerText")9.こんな感じになりました。う~ん。。。。かんたん!!
0
カバー画像

python初学者がボートレースのレース結果を取得して出力してみた。

はじめまして!中川です。突然ですが、プログラミング言語を独学で習得するのってものすごくハードルが高いですよね。でも、お金もないのでなんとか独学で乗り越えたい。1人でも成長していきたい。成長するには何かを作成するのが一番!と、いうことで、これからはpythonでボートレース予想をして大金持ちになっていこうと思います。まずレース結果一覧の画面のURLは”ボートレスのサイト名”/owpc/pc/race/resultlist?jcd=”ボートレース場識別番号”&hd=”ボートレースの開催日”と、なっているようです。ボートレース場識別番号は全国24のボートレース場に1~24までの番号が割り振られたものです。今回は住之江ボートレース場に絞って分析していくため識別番号は”12”となります。またボートレースの開催日は例えば2022年4月17日にレースが開催されていた場合”20220417”となります。と、いうことはここに住之江競艇場の開催日程を入力すれば結果を入手できます。今回は設定したURLからBeautifulSoupライブラリを使用してwebスクレイピングによるデータ抽出を行っていきたいと思います。まずは、今回お世話になるライブラリーさん達をインポートします。import pandas as pdimport requests import re from bs4 import BeautifulSoupそして、とりあえず住之江ボートレースの結果を抽出します。url=""ボートレースサイト名"/owpc/pc/race/resultlist?jcd=12&hd=2022
0
カバー画像

サービス紹介動画①:Amazon商品データの自動抽出

この度はYusa_0309のブログにお越しくださり、ありがとうございます!以下の動画では、Yusa_0309が提供させていただいているWebデータ収集サービスの一つである『Amazon商品データの自動抽出』をご覧いただけます。("Nintendo Switch"の検索結果10ページ分のデータを抽出しております。)本ツールは、Python (selenium/BeautifulSoup)を用いたブラウザの自動化・WebサイトのHTML情報の抽出、の二点をベースに動いています。本動画内で取得しているデータは、ページ番号・ASIN・商品名・価格・評価・在庫の有無の6つですが、お客様のご要望に応じて取得項目を追加することが可能です。お気軽にご相談ください!
0
カバー画像

Webスクレイピングの出品をご購入頂きました!(2・3)

先日以下の出品を別々の方からご購入頂き、先日無事納品が完了したので今日はその記事を書いてみたいと思います。以前こちらの記事を書きましたが、これで当出品でのご購入は計3回となり、モニター価格として設定していた枠が全て埋まった形になります。(そのため、現在の表示価格は通常価格となっております)こちらもオーダーメイドの開発なので詳細は明かせませんが、今回も色々と学びのあるお取引をさせて頂きました。今回技術的に一番大きかった学びはPCの自動操作です。これは(私自身体験したことが無いので詳しくは知りませんがおそらく)巷でRPAと呼ばれるものと同じようなもので、マウスクリックやキーボードのタイピングを、ユーザーがそこにいようがいまいが自動で行ってくれるものです。通常、Webスクレイピングは別の手法で行うことが多いのですが、今回は諸事情でそちらでの解決が難しく、自動操作での解決法を提案したところご快諾頂けたためその手法を採用することになりました。実は提案した時点では私も自動操作を実際にやったことは無かったんですが。そういうことができることはわかっていたので調査を開始し、技術的な課題もいくつかあったのですが、試行錯誤を繰り返して無事納品することができました。もう1件の方はデータ取得で、それ自体は一般的な取得手法だったのですが取引の中でのやり取りがなかなかエキサイティングで面白かったです。当初ご依頼があった時点ではまだやりたいことが明確でなく、相談ベースだったのですが、ご購入者様とお互いにアイディアを出し合い、最終的に解決案を探り当ててご提案し、課題の解決に至りました。普段はお客様のやりたいこと
0
カバー画像

Webスクレイピングの出品をご購入頂きました!

先日以下の出品をご購入頂き、昨日無事納品が完了したので今日はその記事を書いてみたいと思います。以前こちらの記事を書きましたが、当出品でのご購入は1回目、買い切り出品通算では4回目になります。こちらはオーダーメイドの開発なので詳細は明かせませんが、今回も色々と学びのあるお取引をさせて頂きました。今回は特に権限周りについて学ばせて頂きました。私のPCでは開発用検証用2台両方とも普通に動くのに、購入者様のPCではファイル作成時にエラーになる…Windows、なかなか厄介ですね。OSは一緒でもメーカーが複数あるためでしょうか。こういうトラブルは以前にもありました。そのときはウイルス対策ソフトに引っ掛かってしまうというものでしたが、こういうときにきちんと対応方法を調べておけば今後のお取引の際にも慌てずに済みます。今回も調査して解消方法を発見し、無事納品することができました。また、今回は当初依頼の内容は早い段階で実現していたのですが、自分で使ってみて不便だなと感じる点があり、自分から提案をして機能を追加させて頂きました。スクレイピングは時間のかかる処理なので、できるだけ購入者様の負担になるようなことを減らせれば、と思ったのですがご快諾頂けて良かったです。さて、今回の出品物も「モニター価格」ということで格安で出品しております。3枠限定ということにしていたので、今回のお取引により残り2枠となりました。もしこの出品にご興味のある方は是非お早めにご検討下さい!※Webスクレイピングは対象のサイトによってはスクレイピング不可になっていたりするのでお断りさせて頂く場合がございます。また、あくまで当出品
0
24 件中 1 - 24
有料ブログの投稿方法はこちら