KFデータマネージャ対応サービスの変更について

KFデータマネージャ対応サービスの変更について

告知
マネー・副業
2026年3月12日16時以降、株価データ取得更新先サイトのスクレイピング規制が強化されました。
従来は個別銘柄ページの閲覧速度(ページ取得速度)に制限が掛かっていましたが、総量規制に変更されたようです。

KFデータマネージャにおいては、これまで取得先サイトに過剰な負荷が掛からないよう、データ取得速度に自主的に制限を設けていましたが、今後は単なる速度調整ではアクセスが難しくなります。

具体的には、概ね100ページを閲覧・取得する毎に15分ほどのアクセス制限が掛けられます。
そのため、例えば東証の全銘柄の株価を取得することは、事実上不可能となっています。

現行KFデータマネージャの場合、株価データ取得では一度に概ね過去4年(約1,000日)分のデータしか取得できなくなりました。
また、株価データ更新では、一度に25銘柄程度の更新しかできません。当日データ取得更新ツールでは、一度に100銘柄程度更新できますが、本来の使い方である上場全銘柄の更新には10時間以上掛かる計算です。

株価データ取得の場合、15分経過してアクセス制限が解除された後、直近取得日を直前取得データの最終日の前日に設定して、「別ファイル」で新たに取得すれば、更に過去4年分のデータを取得できますが、例えばそうやって過去20年分のデータを取得しようとすると、少なくとも1時間以上掛かってしまいます。

株価データ更新についても、アクセス制限が掛かったらESCキーを押してマクロを止め、更新済みのデータにアクセスしないよう"0"フラグを設定し、15分経過後に再び更新する、といった作業を繰り返す必要があります。

これらの手動対応部分については、KFデータマネージャの改修によって、できるだけ自動で処理継続できるようにするつもりですが、それまでにしばらく時間をいただけたらと存じます(注)。

今回の新たなスクレイピング規制についてですが、従来はアクセス制限を受ける度に、解除までの時間が伸びていき、最終的には丸1日アクセスできなくなるといった事態が生じていました。
それに対して、今回は何度制限が掛かっても15分経過すれば解除されるようで、そういった意味では従来よりも安心してサイトを閲覧できます。

ただし、単純計算で9秒に1回以上のペースで100ページ以上を閲覧すると、ツールを使わなくてもアクセス制限を受ける可能性があります。
個別銘柄ページを高速ザッピングしている方は、注意が必要かもしれません。

なお、アクセス制限はあくまでIPアドレスに対してなされるようです。別回線を持っていれば、そちらではアクセス可能ですし、仮にユーザー登録していても、誰がアクセス制限されたかなどといった特定はされないものと思います。

さて、KFシステム研究所のいくつかのサービスにおいては、これまでシステム検証・学習用のデータを提供することがありましたが、今後は原則として、当方からの株価データの提供は行わず、ユーザー側が用意した株価データを提供していただくように改めます。

その際、データフォーマットについては任意といたしますが、日付と4本値及び出来高が時系列で並んでいる形式とさせていただきます。データ期間は最低5年以上、できれば10年以上が必要です。
そのデータを、当方にてKFSC形式に変換し、システム設計・検証に用いることといたします。

以上、ユーザーの方々には多大なご不便やご迷惑をお掛けしますが、何卒ご理解賜りご了承いただけますよう、お願い申し上げます。


2026年3月14日 KFシステム研究所 Kフロー


注:[3月15日追記]
KFデータマネージャにおいて、とりあえず遅延時間を20000msに設定すれば、アクセス制限を受けずに済むようです。ただし、取得更新時間は従来の40倍以上になり、かなりの時間が掛かってしまいます。
15分のインターバルを置いて逐次処理した方が、恐らくは短時間で済みますが、それに対して、最後まで自動で処理できるというメリットがあります。

なお、20000msという時間は、必ずしも最適というわけではなく、かなりアバウトな値です。多少の削減は可能かもしれませんし、逆にお使いのシステムや環境によっては、20000msではアクセス制限が掛かってしまうかもしれません。その場合は、時間を若干増やす等、適宜調整してください。
ちなみに、当方の環境では、およそ25年分の株価データを新規に取得するのに、105分ほど掛かってしまいました。


関連サービスカテゴリ

サービス数40万件のスキルマーケット、あなたにぴったりのサービスを探す