「作れる」と「やっていい」は別だった —— robots.txtで一度、心が折れた話(副業ツール開発記#2)
競合サイトの価格を自動でチェックするツールを作っています。副業で、会社員をやりながら。作っている最中は、正直けっこう楽しかったんです。価格を集めて、前回より下がったら赤、上がったら青で色分けして……「おお、ちゃんと動く」と。ところが、ある事実にぶつかって、一度心が折れました。大手ECは、規約でデータの自動取得が禁止されている。つまり、Amazonや楽天は対象にできない。正直に言うと、私はネットショップと言われて思い浮かぶのが、その"メジャーなところ"くらいしかありませんでした。だから最初にこれを知ったとき、「え、それって……このツール、意味ないんじゃない?」と、一瞬本気で思ってしまったんです。一番有名な場所が全部ダメなら、どこの価格を見るんだ、と。「作れる」と「やっていい」は、別の話だったでも、調べていくうちに、だんだん頭が冷えてきました。そもそも、なぜダメなのか。価格を自動で何度も取りに行くという行為は、相手のサーバーに負荷をかけます。更新を連打すればサーバーが重くなる、みたいな話は、なんとなく知っていました。度を越せば、DDoSのように相手の迷惑になりかねない。だから「勝手に大量に取りに来ないでね」というルールがある。これに気づいたとき、「あ、ちゃんと守られてるんだな」と思いました。取る側の都合じゃなくて、取られる側(サイト)を守るためのルール。言われてみれば当たり前なんですが、作れてしまうと、つい「取れるんだからいいだろう」と考えがちで。技術的に"できる"ことと、"やっていい"ことは、別の話。当たり前のようで、道具を手にすると忘れそうになる線引きでした。非エンジニアの私が
0