すべてのカテゴリ

以前書いたブログにて美容サロンデータの収集を行っている状態なのですが、その成果物を販売することになりました。販売場所はnoteなのですが、エリア別に1記事で分けています。現座時点で北海道、青森県、岩手県エリアの3つですが順次収集予定です。興味ある方は覗いてほしいです。なお、ご要望があれば出来る限り優先して取得して収集する予定です。（詳細はポートフォリオにも記載しております）急ぎやカスタマイズ要望などあればいつも通り、以下のサービスからお問い合わせいただければと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先ホットペッパービューティー取得データの詳細・ショップID・店舗名・詳細店舗名・カテゴリー・電話番号・住所・営業時間・定休日・支払方法・設備・スタッフ人数・こだわり条件・備考・その他・口コミ数・星評価・取得日・更新日取得方法スクレイピング結果取得したデータです。所感・まとめホットペッパービューティーのデータは元々取得はしておりましたが、今回項目を増やすためにプログラム修正をしました。定休日やこだわり条件なども取得したので、より精度高く抽出も可能になるかと思います。販売促進用のサイトも作成検討中なので進めていきたいと思います。ホットペッパービューティーのデータは一部販売中ですが、これらのデータはまだ取得中なので販売はしておりません。必要な方はお問い合わせください。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先楽天市場取得データの詳細・会社区分・会社名・郵便番号・住所(都道府県)・住所(市区町村)・住所(その他)・電話番号・FAX・代表者・責任者・メールアドレス取得方法スクレイピング結果会社IDは楽天市場で管理しているIDです。所感・まとめある程度綺麗に取得できそうです。多少手を入れながら修正していくと販売まで漕ぎ着けることができると思います。ここからさらにデータ付与を考えていて、取扱いジャンルを企業ごとに把握できるようにすることです。この会社はレディースファッションを扱っている、こちらの会社ではレディースファッションと食料品を扱っているなどです。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先インスタグラム取得データの詳細・取得日・アカウントURL・アカウント名・フォロワー数・フォロー数・投稿数・紹介文フォロワー数などは取得日時点の数値になります。取得方法APIなど完了までに要した時間5時間以内結果(csv)所感・まとめインスタグラムにてAPIなどを利用してアカウントを取得してみました。アクセスの制限等がありますが、ハッシュタグを利用して投稿からアカウントを取得していくプログラム。ちなみに画像にあるアカウントリストは「#レシピ」のタグから蓄積しています。フォロワー数も取得しているので使えそうです。このようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先YouTubeの任意の動画※著作権の扱いはご注意ください取得データの詳細動画で話された言葉のテキスト化取得方法無償提供されているライブラリを使用してプログラム作成完了までに要した時間3時間以内結果(csv)所感・まとめYouTube内で文字起こし自体は機能としてありますが、それを活用しやすくする為に独自に作成してみました。完璧に解析できてはいないですが、これができるとクワウドソーシングでも引き受けられそうです。仕組みとしては以下です。備忘録です1. 動画ファイル（今回は10分以上の動画）を1分動画に分割2. 分割した動画をそれぞれ解析用ファイルに変換3. 解析用ファイルに対して文字を取り出してデータに落としこむなぜ1分動画に分割するのかは、使用しているライブラリ制限で分割しています。ちなみに有償なら長い動画もぶんかつせずにいけますまぁ難しいこと書きましたが結果うまくいきました。精度に関しては弱い部分があるので最終的に人間がみないといけないですねこのようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先総務省 電気通信番号指定状況取得データの詳細・番号区画コード・番号・市外局番・市内局番・事業者・使用状況・備考取得方法プログラムでPDF読み込み完了までに要した時間1時間以内結果(csv)結果(スプレッドシート)上記のcsvを活用して固定電話番号情報を取得したのと同時に電話番号を入力するとキャリア事業者が出てくるツールを作りました（めちゃ簡易的ですね）所感・まとめデータ自体は総務省なので活用しがいのあるツールかなと思います。実際に固定電話からキャリアを取得するWebサイトもあるようで、それを元に簡易的にスプレッドシートで作れました。携帯電話番号はどうキャリア判定してるんですかね。手が空くかご要望あれば調べたいと思いました。このようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先App Store - Apple（日本）取得データの詳細・対象年齢・アプリ名・サブタイトル・開発者・ストア内順位・ストア内星評価・有料か無料かなど取得方法秘密完了までに要した時間3時間以内結果(スプレッドシート)csv出力したものを見やすくしています所感・まとめアプリ一覧がないので全て網羅して取得することは不可能である。ただし、サイト全体をクロールすることでできる限りアプリ一覧を取得することを目指した。今回ブログのために100アプリ程度の取得であるが、随時クロールし続ければ立派なアプリ一覧が完成できる見込みであるこれ、、、広告代理店さんとか営業リストで活用できませんか？このようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先内閣府NPOホームページ取得データの詳細全国や各都道府県ごとにCSVが用意されていたのでそちらをダウンロード。ただしデータが大量だったので、大阪府限定・現在稼働中のNPOを取り出しました・取得日・郵便番号・都道府県・主住所・NPO名称・責任者・設立日・目的（定款）取得方法データ加工・地図にピンできるサイト完了までに要した時間2時間以内結果(csv)csv出力結果です。結果(地図ピン)利用サイト：Leafletで地図に複数の住所を一括表示所感・まとめ全国に約10,000のNPOがあるようでした（清算も含む）そもそもNPOが何をしているのかも、必要なのかわかりません。節税のためなのでしょうか。こんな増殖状況のNPO団体の増加を見ていただきたく今回まとめました。地図は191ピンあります。これは、大阪府のみ、かつ、令和（2019年5月1日）以降に設立した団体です。めっちゃ多い（気がする？）このようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先秘密取得データの詳細・取得日・始値・高値・安値・終値・出来高・調整後終値取得方法スクレイピング完了までに要した時間3時間以内結果(csv)csv出力結果です。今回は2023年から現在までの約1年と少しのトヨタ自動車株式会社における日足データを取得。本来株価は数十年分のデータ量となるため、1年ちょいでやめました。さらに下位足だとより多くなりますねおまけ結果(グラフ)所感・まとめ1社だけ、日足データでさえもかなりのデータ量になりますね。保有するのであればデータベース管理にはなりますが、単純に株価の推移をみたいだけであれば沢山対応しているサイトがあるので便利な社会です。独自に調査する場合は管理方法含めて熟考するべきかなと。あとはPDF管理の決算書等も解析できるようプログラムを組むのもいいかもしれません。このようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先Google検索結果画面取得データの詳細・取得日・検索キーワード（KW）・順位・タイトル・ドメインURL取得方法スクレイピング完了までに要した時間3時間以内結果(csv)csv出力結果です。キーワード（KW）に対して1ページ目検索結果状態を取得しました。取得したURLはドメインですが、詳細URLではありません。どちらも取得はできますが今回はドメインのみ。所感・まとめGoogle検索結果の情報を取得しましたが、YahooでもBingでも可能かと思います。また検索結果以外のTwitter表示やナレッジパネル、画像や動画のタブページなどの結果画面でも同様に取得可能です。サジェスト等も取れるのでときをみてトライしてみようと思っていますこのようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先秘密取得データの詳細法人名称、法人住所取得方法スクレイピング完了までに要した時間2時間以内結果(csv)csv出力結果です。東京都新宿区の一般社団法人を抽出しました。取得先は内緒で、収集件数も具体的には言いません。新宿だけでも数千は存在していました。所感・まとめ昨今の住民訴訟案件や医療事故の増えてきた一般社団法人。監督官庁がなく各都道府県の届出で設立できてしまう、謎で怪しい組織。監督官庁がないため収集は厄介でしたが、今プログラムでは全国の一般社団法人を取得できるようになりました。必要な方いますかね？っていう、すごく数があるんだけど、必要なのかなぁ・・・このようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

前回のASIN取得からの続きデータ取得先Amazon US（米国🇺🇸）のセラーアカウント個別ページ1. こちらはレビューや出品国などの詳細情報を取得2. こちらは出品数を取得取得データの詳細セラーアカウントに紐づく取得時点のレビュー状態、評価％、30日間のレビュー数、90日間のレビュー数、1年間のレビュー数、全期間のレビュー数、出品国、出品数取得方法秘密完了までに要した時間2時間以内結果(csv)csv出力結果です。約300のセラーアカウントが対象となっています。出品国に関してはJPが多いのはセラーアカウントを取得するする際に、japanで検索したASINから、セラーアカウントを収集したため。大体20分くらいで処理完了しました！今回はcsvだと見づらくなるため、Googleスプレッドシートで表示させています所感・まとめAmazon販売やECサイト販売をされている方にはお馴染みのレビューや出品数を取得してみました。基本表示されているものは取得できるので、セラーリサーチが捗るかと思われます。個人的には出品国の判断がつけられるのがいいかと思っています。データをデータベース管理するとなるとさらに爆速化できそうですが。このようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

前回のASIN取得からの続きデータ取得先Amazon US（米国🇺🇸）の個別商品ページ個べう商品ページに飛ぶと複数セラーが競い合って出て狂うかと思います。カートとなっているセラーさんだけはなく、出品している競合セラーさんも全て引っこ抜きます。※以下はページ例です取得データの詳細Amazon USに個別商品に出品しているセラーアカウントID取得方法秘密完了までに要した時間1時間以内結果(csv)csv出力結果です。取得項目は、セラーアカウントのIDのみとなります。300個のASINを調べて、2時間くらいの処理で大体300個のセラーアカウントIDを取得できました！当然重複削除はしています所感・まとめ Amazon販売やECサイト販売をされている方にはお馴染みのセラーアカウントのIDを根こそぎ取得してみました。前回ブログで得た300のASINから取得しており、このIDから出品数や出品国、レビュー状態などもとれる準備ができました！それらに関しては随時アップしたいと思います。このようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先Amazon US（米国🇺🇸）の何かしらの商品一覧ページ◼️Toys & Games　∟ Arts & Crafts Supplies　∟ Baby & Toddler Toys　∟ Building Toys　∟ Collectible Toys　∟ Dolls & Accessories今回は上記ページで商品価格の高い順で取得。特に米国サイトだけが対象ではなく、日本はもちろん、カナダやメキシコなど全てが対象です。各ページ3ページ目まで取得するようにします取得データの詳細Amazon USに出品されているASIN取得方法秘密完了までに要した時間30分以内結果(csv)csv出力結果です。取得項目は、ASINのみとなります。5カテゴリー、各3ページ目まで取得して、10分くらいの処理で大体300個のASINを取得できました！当然重複削除はしています所感・まとめAmazon販売やECサイト販売をされている方にはお馴染みのASINを取得してみました。今回は単純な一覧からASINを取り出しましたが、私の持っているプログラムでは、この商品に基づいた人気商品やサイズやカラバリなどのASINを根こそぎとれるものもあります。それらに関しては随時アップしたいと思います。このようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先国土交通省 気象庁Japan Meteorological Agency取得データの詳細日本 🇯🇵 北海道 / 十勝地方　ぬかびら源泉郷日本 🇯🇵 東京都 / 練馬地点日本 🇯🇵 沖縄県 / 那覇地点それぞれ1978年〜2024年6月（約46年間分）の平均気温(℃)を取得。データ出力はCSVで、本ブログではグラフを表示させてみることにする取得方法Pythonによるスクレイピング完了までに要した時間計2〜3時間結果(csv)csv出力結果です。取得項目は、取得日、都道府県コード（全国共通かどうかは調べてない）、エリアコード、年、月、平均気温となります。表示されているの44の1002は、東京都 / 練馬地点を意味している結果(グラフ)Googleスプレッドシートで実装してます。表示されましたが、まぁ気温のデータなので大したグラフにはならないですね。所感・まとめ時間別、日別データによって取得できるものが違ったので、取得データは、約46年の日別の平均気温データで統一してみた。収集自体は問題なくできて、かつ、グラフ化もスムーズに行えた。厄介な部分としては、エリアによって地味に表示されている内容が異なっている場合があった。今回はそこは統一したため楽をして終わらせたこのようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

概要株式会社カカクコムが運営から取得した店舗・会社の情報収集をしてみました。営業リスト等を作成しているわけではなく、単に取得できるか確認したブログになります。取得データ店舗URL / 店舗名 / 最寄駅 / 住所取得方法スクレイピング結果(csv)営業リストの作成代行このようなデータ収集や加工にご興味あればご相談をしてくださればと思います。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先企業サイト取得データの詳細・メールアドレス取得方法スクレイピング結果B列がメールアドレスです。※メールアドレスの主用部分は「・・・」で目隠しをしております。所感・まとめ現在はWebトップページからのみ取得するようなプログラムのため、収集率は低いです。すべてのリンクからチェックも可能ですが現状かなり時間を要してしまうのでプログラムの改良は必須です。ただ、使えるプログラムなので活用していきたいです。要望あれば問い合わせください。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先Pixiv取得データの詳細・画像（jpgやpngなど）取得方法秘密結果画像は載せられませんのでトップページを掲載します。ご了承ください。所感・まとめなかなか苦労した処理でした。出品者IDをもとに画像全て、新たに更新されたら自動でダウンロードできる仕組みを作ることができました。私的利用やAI解析用であれば収集のお手伝いをすることは可能ですので、詳細を載せておきます。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先Yahoo!オークション取得データの詳細・画像（jpgやpngなど）取得方法スクレイピング結果画像は載せられませんのでトップページを掲載します。ご了承ください。所感・まとめ出品者IDがわかれば画像全て、新たに更新されたら自動でダウンロードできる仕組みを作ることができました。私的利用やAI解析用であれば収集のお手伝いをすることは可能ですので、詳細を載せておきます。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ取得先企業サイトなど取得データの詳細・問い合わせページのURL取得方法スクレイピング完了までに要した時間1時間結果C列が問い合わせURLです。所感・まとめ結果は、これから販売予定の歯科医院のリストから問い合わせURLを取り出しました。結果からわかるようにフィルタがかかっており、取得できなかったものは表示をさせていません。問い合わせURLの取得率をあげて実践でも利用できるように、プログラム改修をしていく予定です。要望あれば問い合わせください。データを収集する際に違法となる場合は、お断りさせていただきますのでご了承ください。最後まで見ていただき、ありがとうございました！

データ販売を近々始めたいと思っています趣味やインサイドセールス用の営業リスト用です。とはいえどんな営業リストが需要があるのかわかりませんコメントでご意見もらいたいのですが中々発信力がないので、ひとまず仮説立てて取得していく予定です。ご意見あれば是非よろしくお願いします！