Vadim Опубликовано: 22 ноября, 2006 Share Опубликовано: 22 ноября, 2006 Вот недавно нашел забавный список поисковых ботов, которые "чешут" весь инет (может кому пригодится для настройки доступа к сайту) AbachoBOT abcdatos_botlink Acoon ADSARobot AESOP_com_SpiderMan ah-ha.com AlkalineBOT almaden.ibm.com AltaVista-Intranet antibot AnzwersCrawl Aport appie appie 1.1 araneo architext ArchitextSpider ariadne arianna ask jeeves ASPseek asterias asterias2.0 AstraSpider Atomz augurfind BaiDuSpider baiduspider bannana_bot BBot bdcindexer blindekuh boitho boito borg-bot christcrawler CoolBot cosmos crawl crawler crawler@fast CrawlerBoy cruiser cusco DeepIndex DittoSpyder docomo ELFINBOT EZResult Fast FAST-WebCrawler fast-webcrawler FDSE felix Fido finnish Firefly FirstGov.gov Fluffy fluffy the spider francoroute Freecrawl frooglebot Gaisbot galaxy geckobot GenCrawler geobot Gigabot Googlebot griffon Gromit grub-client Gulliver gulliver gulperbot HenryTheMiragoRobot henrythemiragorobot hometown htdig Hubater ia_archiver IBM_Planetwide IlTrovatore-Setaccio incywincy infoseek INGRID inspectorwww Intelliseek internetseer ip3000.com-crawler irobot iron33 jcrawler Jeeves jubii kapito kit_fireball ko_yappo_robot Kototoi lachesis larbin legs LNSpiderguy Lycos lycos_spider MantraAgent mantraagent Marvin maxbot Mediapartners-Google mercator MerzScope meshexplorer mnoGoSearch moget moget/1.0 motor MSNBOT MuscatFerret muscatferret NationalDirectory-SuperSpider nationaldirectory-webspider NaverRobot naverrobot ncsa beta NetNose netresearchserver NG/1.0 ng/1.0 NPBot nttdirectory_robot NutchOrg nzexplorer Openbot osis-project perlcrawler phpdig Pjspide polybot Pompos pompos poppi portalb psbot QuepasaCreep RaBot Raven RHCS robi robocrawl robot robozilla roverbot Scooter scooter Scrubby search.ch SEARCH.COM.UA SearchUK seventwentyfour sidewinder SightQuestBot skymob Sleek sleek spider Slider_Search_v1-de Slurp slurp/si slurp@inktomi.com Solbot speedfind speedy Spida spider spider_monkey spiderbot StackRambler Steeler steeler/1.3 suchbot Suchknecht.at-Robot suntek SurferF3 Surfnomore SurveyBot suzuran SynoBot Szukacz szukacz Tarantula teoma teomaagent Teradex T-H-U-N-D-E-R-S-T-O-N-E t-h-u-n-d-e-r-s-t-o-n-e Tigersuche Topiclink Toutatis turnitinbot Uaportal UASEARCH.KIEV.UA UKSearcher ultraseek Unitek vagabondo VeryGoodSearch VoilaBot voilabot Voyager w3c_validator w3index Wapspider webmoose Webspinne whatuseek whatUseek_winona WhizBangLab WIRE WSCbot www.WebWombat.com.au xyro YahooBot Yandex Yellopet-Spider zao/0 Zippy ZyBorg zyborg/1.0 Ссылка на комментарий Поделиться на других сайтах More sharing options...
Piligrim Опубликовано: 22 ноября, 2006 Share Опубликовано: 22 ноября, 2006 Вот недавно нашел забавный список поисковых ботов, которые "чешут" весь инет (может кому пригодится для настройки доступа к сайту) И что со всем этим теперь делать? Я совершенно не в данной теме? Ссылка на комментарий Поделиться на других сайтах More sharing options...
Гость Гость Опубликовано: 22 ноября, 2006 Share Опубликовано: 22 ноября, 2006 И что со всем этим теперь делать?Я совершенно не в данной теме? Это нужно для настройки конфига или бана поисковиков. С этими абревиатурами они работают. Ссылка на комментарий Поделиться на других сайтах More sharing options...
Alex IlI Опубликовано: 23 ноября, 2006 Share Опубликовано: 23 ноября, 2006 Это нужно для настройки конфига или бана поисковиков. С этими абревиатурами они работают. 90% в логах не попадались, -видать плохо чешут. Ссылка на комментарий Поделиться на других сайтах More sharing options...
Vera Опубликовано: 23 ноября, 2006 Share Опубликовано: 23 ноября, 2006 И что со всем этим теперь делать?Я совершенно не в данной теме? Это из серии: "Слышишь, папа, а с кем ты сейчас разговаривал?" Для меня это тоже темный лес Ссылка на комментарий Поделиться на других сайтах More sharing options...
Рекомендованные сообщения