NaverBot
出典: フリー百科事典『ウィキペディア(Wikipedia)』
NaverBotは、検索エンジンのためにウェブサイトの情報を集めるNAVERのロボット(クローラ)。その行儀の悪さから、ウェブマスタに蛇蝎のごとく嫌われ、アクセスを遮断しようとする彼等といたちごっこを続けた。
- 小さなサイトでなくても悲鳴をあげるほどの集中的なアクセス。良心的なボットであれば時間を空けてリクエストする。
- ディレクトリごとにdefault.htm, default.html, home.php等インデックスに使われそうなページをありもしないのに片っ端からリクエストする。
- セッションを識別せず、同じURLに対してセッションだけ変えて何度もリクエストする。
- robots.txtを読み込みながらも無視。あるいは、robots.txtを短時間に何度も読み込む。
- HTMLのMETAエンティティを使ったロボットのアクセス制御を無視。
- HTTPリクエストのUserAgentフィールドを次々に変更。NABOT/5.0、nhnbot、minibot(NaverRobot)、dloader(NaverBot)、nabot、Cowbot、さらはNaverBot-1.0+(NHN+Corp.+/++82-2-3011-1954+/+nhnbot@naver.com)等さまざまな名前が確認されている。何度もUserAgentを変更したのは、NaverBot狙い撃ちでアクセスを遮断するサイトが増えたからと推測される。
- ついにはrobots.txtへのアクセス時にGoogleのGoogleBotを詐称。(本物はGooglebot)