「作れる」と「やっていい」は別だった —— robots.txtで一度、心が折れた話

競合サイトの価格を自動でチェックするツールを作っています。

副業で、会社員をやりながら。

作っている最中は、正直けっこう楽しかったんです。

価格を集めて、前回より下がったら赤、上がったら青で色分けして……

「おお、ちゃんと動く」と。ところが、ある事実にぶつかって、一度心が折れました。

大手ECは、規約でデータの自動取得が禁止されている。

つまり、Amazonや楽天は対象にできない。

正直に言うと、私はネットショップと言われて思い浮かぶのが、その"メジャーなところ"くらいしかありませんでした。

だから最初にこれを知ったとき、「え、それって……このツール、意味ないんじゃない?」と、一瞬本気で思ってしまったんです。

一番有名な場所が全部ダメなら、どこの価格を見るんだ、と。

「作れる」と「やっていい」は、別の話だった

でも、調べていくうちに、だんだん頭が冷えてきました。

そもそも、なぜダメなのか。

価格を自動で何度も取りに行くという行為は、相手のサーバーに負荷をかけます。更新を連打すればサーバーが重くなる、みたいな話は、なんとなく知っていました。度を越せば、DDoSのように相手の迷惑になりかねない。だから「勝手に大量に取りに来ないでね」というルールがある。

これに気づいたとき、「あ、ちゃんと守られてるんだな」と思いました。

取る側の都合じゃなくて、取られる側（サイト）を守るためのルール。

言われてみれば当たり前なんですが、作れてしまうと、つい「取れるんだからいいだろう」と考えがちで。

技術的に"できる"ことと、"やっていい"ことは、別の話。当たり前のようで、道具を手にすると忘れそうになる線引きでした。

非エンジニアの私が、AIの力で「できる」側にひょいと立ててしまったからこそ、余計にこの線引きは大事だなと感じました。

だから、正直側に振り切った

そこからは、商品の設計を「正直側」に寄せました。

まず、対応できないサイト（Amazonや楽天などの大手モール）は、できないとページにはっきり書く。

「どんなサイトでも取れます」とは絶対に書かない。

そして、購入前に、監視したいサイトのURLをもらって、こちらでrobots.txtと規約を確認してから「対応できます／できません」をお返しする。

一番の理由は、お客様に誠実さを伝えたかったからです。

でも実を言うと、もう一つ理由があって——こうしておけば、私自身も、規約に反するような不利な状況に足を踏み入れずに済む。

正直でいることは、相手のためだけじゃなくて、自分を守ることでもあったんです。

「意味ないんじゃない?」と一瞬折れかけたツールですが、対応できるサイトはちゃんとあるし、何より「正直に線を引ける商品」になりました。

折れかけた回り道のおかげで、私はこの商品を、前より少し好きになっています。

その"正直に線を引いた"競合価格チェックのツールはこちらです。「自分のサイトは対応できる?」は、購入前に無料で確認しています。

https://coconala.com/services/4336891