独自ドメインがスクレイピングされました。

質問

独自ドメインがスクレイピングされました。スクレイピングされたサイトはhost.ioです。APIも公開されています。移管する予定のドメイン会社に問い合わせしてみた所、スクレイピング対策はしていない、質問する場を探すならYahooかGoogleで検索と行っても内容的にドメインもしくはサーバー会社で対策しないとダメなような理由は→APIがLinuxコマンド用。ほぼ個人で出来る事柄があればやりますの段階です。
また、詳しい人でも回答が出来ない内容なのであれば、適切に質問出来るサイトを探しています。よろしくお願いいたします。問題のAPI hxxps://host.io/docs#authentication

※画像に出ているサーバー名の部分は既に解約済み。

回答No.3

Kemusu

curlは別にLinux以外でも使える。
ドメイン情報はwhoisで抜ける。

ドメインの登録情報はオープンなので誰でもみようと思えばみれる。
住所が登録されていれば住所も分かる。

補足

ドメインについては、上位レジストラが情報公開を求めているのは判っているのですが、住所とかについては家族所有のことから常時公開反対されるので、事実上代理公開が原則になっていたりします。(一時的ならOK)ドメイン取得の時に代理公開の事をよくある質問に掲載してても検索を初めにする人は少ないと思う、今回後で検索して失敗のコース。移管を実施しない限り利用が出来ないドメインもあります。今月下旬にならないと動かせないのも辛い。

回答No.2

okwavey4

言われた通り実際に検索してみました。

スクレイピングすることによって得られた情報は、Webの部分に出る情報の一部です。

その他の情報を取得するのはスクレイピングではないですね。

スクレイピングが嫌なら、このhost.ioのIPをサーバー側で制限したら良い。
レンタルサーバーならhtaccessでも使えば良い。

ドメインに何らかの設定をした時点で、それらが公開されるから、ドメインとして意味をなすわけなんだが。

住所を知られたくないと言っても、地図見たら分かるのと同じ事です。

スクレイピング何だかわかりました？
curlはLinux系の経験がないと知らないとは思いますけど、APIを使えるかどうかと、スクレイピングされないかどうかは無関係ですね。

補足

今回、原因となる元を探していました。どこからか漏れているのは事実なので。
実は、Xサーバー管轄の他のサーバーがどうもDDoS攻撃を受けた影響で「次」のターゲット探索なのかとにかく存在しないフォルダやファイルをログを残していきはじめ安心出来なくなったという事。(酷くなり始めに実際にありました。hxxps://www.xserver.ne.jp/information_detail.php?view_id=6642)

例　"GET /wp-content/themes/adams/404.php HTTP/1.1"
　　"GET /login?from=0.000000 HTTP/1.1"
　　"GET /phpMyAdmin/scripts/setup.php HTTP/1.1"

14日頃に導入したwww.cgis.biz/tools/access にある.htaccessを使い403でお帰り頂いているが、止まなくて困っていました。何が原因なのか元がハッキリしていなかった事もあり、偶然行きついたサイト説明で抽出される事をスクレイピングと言っている事を知ったのも事実です。

再度調べた所、「スクレイピングとAPIの違い」という記事の内容を読んで頂くとhost.ioの現状を理解できますが、まぁ・・・・見事に持ってかれましたに当てはまっているので、偶然にもhost.ioはドメイン情報が欲しいで見事達成されたという例を挙げた迄です。

これから、サーバー探してやり直すにしても、共有サーバーの場合、例のような事例はログに到達する前に排除する事は可能という話をロリポップのサポートの人から聞いた事はありますが、ユーザーが出来る事柄ではなかったので結論的に「とどのつまり」になって終わる事が多かったです。不正アクセスとかの相談が出来る相談場所では、きめ細かくサポートが出来るレンタルサーバーとかを探してくださいと言われていますが、高額料金を払えばきちんとサポートして貰えるのかとかその辺が「???」になってます。

回答No.1

okwavey4

まず、画像の文字が小さくて読めません。

次に、説明が意味不明です。
スクレイピング出来るのは、Webサイトに対してです。ドメインには出来ません。

独自ドメインで運営しているサイトがスクレイピングされたと言うなら意味がわかります。

スクレイピングされたのはあなたが管理するWebサイトではないのですか？

スクレイピングをして作られたサイトが、host.ioではないですか？

それにしても、あなたが運営しているサイトの内容が、host.ioでどう使われているとか、そういう説明がないと意味がわかりません。

スクレイピングの意味は分かって使ってますか？

質問の内容を確認して再度整理してください。

補足

確かに、サイトは運営させてましたが、完全にドメインスクレイピングされているのです。
運営サイトのトップページ画像が出るならば理解出来ると言いたいのは判りますが、これは完全にドメインのスクレイピングです。host.ioは独自ドメインのカタログサイトです。他にはサイト名は忘れましたがロシアにも存在しています。既に色んなドメインが収集されてます。ドメインとか所有されているのであれば、実際にhost.ioのサイトを開いて出てくる検索ボックスにドメインを入力して見てください。それで筋は通ってくるでしょう。(開発者向けの包括的なドメインデータAPIの提供業者です。)