213 различные роботы | Хиты | Объем | Последний визит |
Googlebot | 465,586+1862 | 157.64 ГБ | 31 Дек 2018 - 23:57 |
YandexBot | 358,206+10841 | 271.32 ГБ | 31 Дек 2018 - 23:39 |
A PHP script | 352,970 | 2.55 МБ | 31 Дек 2018 - 23:33 |
bingbot | 319,801+2749 | 128.20 ГБ | 31 Дек 2018 - 23:59 |
SemrushBot | 249,800+10642 | 21.45 ГБ | 31 Дек 2018 - 23:57 |
empty user agent string | 216,047+223 | 15.68 ГБ | 31 Дек 2018 - 23:59 |
DotBot | 161,001+50404 | 61.14 ГБ | 31 Дек 2018 - 23:59 |
Googlebot-Image | 134,603 | 987.54 МБ | 31 Дек 2018 - 23:57 |
MJ12bot | 121,525+10361 | 9.02 ГБ | 31 Дек 2018 - 23:53 |
AhrefsBot | 113,818+1602 | 11.22 ГБ | 31 Дек 2018 - 23:56 |
YandexImages | 114,900 | 3.77 ГБ | 31 Дек 2018 - 23:02 |
YandexMobileBot | 105,758 | 119.65 ГБ | 31 Дек 2018 - 23:34 |
crawl | 68,660+2211 | 6.94 ГБ | 31 Дек 2018 - 15:25 |
Java ( catchall ) | 65,264+7 | 9.36 ГБ | 27 Дек 2018 - 07:57 |
Baiduspider | 54,425+175 | 46.67 ГБ | 31 Дек 2018 - 23:59 |
bubing | 48,910+1081 | 3.90 ГБ | 02 Окт 2018 - 10:41 |
BLEXBot | 41,512+1414 | 4.53 ГБ | 31 Дек 2018 - 23:10 |
ltx71 | 17,700+16179 | 22.23 ГБ | 31 Дек 2018 - 23:53 |
Unknown robot identified by bot\* | 23,165+918 | 9.31 ГБ | 31 Дек 2018 - 23:16 |
BingPreview | 23,943 | 19.52 ГБ | 31 Дек 2018 - 23:48 |
Yandex ( catchall ) | 22,785 | 11.07 ГБ | 31 Дек 2018 - 21:44 |
Firefox version 10 and lower - various robots | 19,861+609 | 28.46 ГБ | 31 Дек 2018 - 23:21 |
MSIE 6 - ( Rogue Robot ) | 19,697 | 4.84 ГБ | 31 Дек 2018 - 17:44 |
CCBot | 18,944+361 | 830.77 МБ | 19 Дек 2018 - 19:49 |
Wget | 16,720+6 | 7.95 ГБ | 31 Дек 2018 - 23:47 |
ia_archiver | 11,708+2191 | 4.87 ГБ | 30 Дек 2018 - 21:56 |
Exabot | 12,722+365 | 3.98 ГБ | 31 Дек 2018 - 21:13 |
SeznamBot | 4,495+3951 | 630.46 МБ | 31 Дек 2018 - 18:55 |
yeti | 7,696+313 | 3.54 ГБ | 30 Дек 2018 - 21:15 |
MegaIndex.ru | 7,844+9 | 841.06 МБ | 27 Дек 2018 - 22:41 |
Yahoo! Slurp | 7,272+254 | 3.60 ГБ | 31 Дек 2018 - 00:19 |
robot | 5,791+18 | 3.86 ГБ | 11 Дек 2018 - 06:59 |
Google Web Preview | 5,696 | 1.01 ГБ | 29 Ноя 2018 - 21:16 |
LinkCheck | 5,250+3 | 304.13 МБ | 30 Дек 2018 - 03:57 |
Xenu Link Sleuth | 5,116 | 286.92 МБ | 29 Дек 2018 - 20:19 |
favicon | 4,841 | 1.26 ГБ | 31 Дек 2018 - 17:56 |
Sogou web spider | 2,748+932 | 1.13 ГБ | 31 Дек 2018 - 22:31 |
netEstate NE Crawler | 3,573+71 | 247.84 МБ | 25 Дек 2018 - 04:41 |
360Spider | 3,523+95 | 369.66 МБ | 31 Дек 2018 - 21:10 |
Dalvik | 3,583 | 5.74 ГБ | 31 Дек 2018 - 17:11 |
Unknown robot (identified by hit on robots.txt) | 0+3302 | 775.72 КБ | 31 Дек 2018 - 09:32 |
msie8 - ( Rogue Robot ) | 2,748 | 33.03 МБ | 23 Дек 2018 - 08:37 |
mozilla/4.0 (compatible;) - ( Rogue Robot ) | 2,670 | 40.09 МБ | 27 Дек 2018 - 14:49 |
linkdexbot | 2,441+114 | 325.60 МБ | 31 Дек 2018 - 17:11 |
Apache-HttpClient | 2,053+305 | 284.06 МБ | 31 Дек 2018 - 18:50 |
YandexMetrika | 2,269 | 114.68 МБ | 31 Дек 2018 - 16:32 |
archive.org_bot | 1,772+413 | 588.45 МБ | 30 Дек 2018 - 15:58 |
Applebot | 1,142+1035 | 184.72 МБ | 31 Дек 2018 - 18:40 |
Baidu ( catchall ) | 2,103+1 | 32.82 МБ | 31 Дек 2018 - 19:57 |
link | 1,895+202 | 96.17 МБ | 21 Дек 2018 - 11:16 |
coccoc | 1,028+1001 | 550.04 МБ | 30 Дек 2018 - 00:28 |
mozilla/5.0 - ( Rogue Robot ) | 1,799 | 1.59 ГБ | 29 Дек 2018 - 01:23 |
infobot | 1,589+112 | 172.80 МБ | 31 Дек 2018 - 23:27 |
Cliqzbot | 1,092+507 | 436.75 МБ | 31 Дек 2018 - 14:10 |
SiteExplorer | 1,316+251 | 52.15 МБ | 04 Сен 2018 - 13:10 |
Mail.RU Bot | 598+966 | 133.91 МБ | 31 Дек 2018 - 12:51 |
riddler | 1,058+456 | 465.72 МБ | 21 Дек 2018 - 18:54 |
python | 1,483+29 | 1.28 ГБ | 30 Дек 2018 - 19:37 |
PhantomJS | 1,510 | 12.56 МБ | 31 Дек 2018 - 20:28 |
Curl | 1,466+19 | 1.57 ГБ | 31 Дек 2018 - 06:43 |
Python-urllib | 1,337+117 | 528.26 МБ | 30 Дек 2018 - 12:28 |
facebookexternalhit | 1,369 | 128.17 МБ | 31 Дек 2018 - 12:18 |
Konqueror | 1,230 | 430.88 МБ | 31 Дек 2018 - 02:07 |
smtbot | 1,172+42 | 122.50 МБ | 14 Дек 2018 - 12:37 |
rambler | 1,059 | 242.75 МБ | 31 Дек 2018 - 00:28 |
007ac9 Crawler | 1,034+3 | 116.31 МБ | 08 Июл 2018 - 05:23 |
Wotbox | 1,013+3 | 135.57 МБ | 15 Май 2018 - 04:24 |
oBot | 862+127 | 25.70 МБ | 19 Дек 2018 - 21:45 |
DeuSu | 727+205 | 69.85 МБ | 22 Авг 2018 - 16:02 |
Microsoft Office Protocol Discovery | 922 | 0 | 29 Дек 2018 - 15:49 |
HubSpot Webcrawler | 629+2 | 3.22 МБ | 18 Ноя 2018 - 11:57 |
core | 613 | 4.48 ГБ | 22 Дек 2018 - 15:11 |
Unknown robot identified by \*bot | 524+62 | 188.18 МБ | 29 Дек 2018 - 13:11 |
MSIE 5 - ( Rogue Robot ) | 551+13 | 90.58 МБ | 31 Дек 2018 - 18:25 |
wordpress | 547 | 11.04 МБ | 07 Дек 2018 - 12:39 |
DomainCrawler | 431+11 | 10.54 МБ | 31 Дек 2018 - 13:31 |
YisouSpider | 360+79 | 21.97 МБ | 31 Дек 2018 - 22:05 |
libwww-perl | 354 | 6.46 МБ | 24 Дек 2018 - 10:34 |
phantom | 350 | 1.67 МБ | 06 Апр 2018 - 02:04 |
TelegramBot | 342 | 429.24 МБ | 29 Дек 2018 - 01:56 |
SafeDNSBot | 219+93 | 3.99 МБ | 20 Ноя 2018 - 21:39 |
Gluten Free Crawler | 298 | 19.71 МБ | 31 Дек 2018 - 07:17 |
CFNetwork | 297 | 77.99 МБ | 30 Дек 2018 - 23:52 |
internetarchive | 282 | 0 | 28 Дек 2018 - 09:03 |
y!j | 242+27 | 5.80 МБ | 29 Дек 2018 - 08:08 |
seokicks.de | 213+48 | 1.51 МБ | 31 Дек 2018 - 13:03 |
drupal | 254 | 773.22 КБ | 30 Дек 2018 - 18:01 |
GarlikCrawler | 168+64 | 13.50 МБ | 25 Дек 2018 - 18:19 |
dataprovider.com | 212+18 | 2.59 МБ | 24 Дек 2018 - 00:53 |
DuckDuckGo-Favicons-Bot | 228 | 5.26 МБ | 31 Дек 2018 - 19:18 |
ning | 199 | 15.60 МБ | 31 Дек 2018 - 04:54 |
Nautic Expo using Firefox/1.5 | 191+5 | 91.97 МБ | 29 Дек 2018 - 15:22 |
spider | 182+5 | 25.79 МБ | 30 Дек 2018 - 04:02 |
TweetmemeBot | 181 | 40.45 МБ | 31 Дек 2018 - 22:22 |
microsoft-webdav-miniredir | 177 | 0 | 25 Дек 2018 - 15:44 |
nutch ( catchall ) | 104+71 | 12.02 МБ | 27 Дек 2018 - 16:38 |
LinkpadBot | 155 | 7.59 МБ | 28 Сен 2018 - 19:31 |
twitterbot | 74+71 | 10.44 МБ | 27 Дек 2018 - 13:49 |
SurdotlyBot | 124+15 | 6.34 МБ | 28 Дек 2018 - 15:56 |
Mozilla ( Rogue Robot ) | 126+9 | 5.98 МБ | 17 Дек 2018 - 16:38 |
yacybot | 69+61 | 12.73 МБ | 28 Дек 2018 - 21:31 |
2345Explorer | 120 | 222.78 МБ | 14 Дек 2018 - 22:44 |
SEOkicks-Robot | 91+20 | 642.87 КБ | 11 Июл 2018 - 08:45 |
Uptimebot | 101+10 | 245.38 КБ | 28 Дек 2018 - 06:10 |
LinkedInBot | 107+2 | 24.07 МБ | 29 Дек 2018 - 20:06 |
ips-agent | 68+35 | 16.73 МБ | 14 Дек 2018 - 02:01 |
netcraft | 103 | 3.00 МБ | 31 Дек 2018 - 19:14 |
MSIE 4 - ( Rogue Robot ) | 80+10 | 16.95 МБ | 15 Дек 2018 - 03:14 |
Screaming Frog SEO Spider | 44+39 | 4.53 МБ | 29 Дек 2018 - 15:43 |
nbot | 46+32 | 1.44 МБ | 31 Дек 2018 - 00:18 |
FirePHP | 65+1 | 39.44 МБ | 05 Дек 2018 - 18:04 |
yahoocachesystem | 58 | 1.30 МБ | 25 Дек 2018 - 08:56 |
idmarch Automatic.beta | 42+6 | 11.17 МБ | 03 Ноя 2018 - 03:30 |
httrack | 45+1 | 11.38 МБ | 14 Май 2018 - 00:30 |
Windows 99 - ( Rogue Robot ) | 41+2 | 20.13 МБ | 18 Ноя 2018 - 18:35 |
heritrix | 42+1 | 614.47 КБ | 21 Ноя 2018 - 08:35 |
LWP::Simple | 38 | 34.06 КБ | 09 Сен 2018 - 04:53 |
Googlebot-Video | 36 | 375.01 МБ | 23 Дек 2018 - 04:08 |
proximic | 6+27 | 387.40 КБ | 16 Дек 2018 - 17:16 |
mindupbot | 29+3 | 180.26 КБ | 29 Дек 2018 - 19:29 |
a6-indexer | 29+3 | 2.73 МБ | 02 Авг 2018 - 04:02 |
qwantify | 24+6 | 2.56 МБ | 20 Дек 2018 - 14:01 |
gocrawl | 0+29 | 6.83 КБ | 26 Дек 2018 - 13:45 |
Discordbot | 27 | 21.52 МБ | 29 Дек 2018 - 21:19 |
scanner | 22+4 | 728.25 КБ | 19 Дек 2018 - 05:53 |
Deepnet Explorer | 26 | 2.04 МБ | 17 Дек 2018 - 12:56 |
blog | 25+1 | 417.13 КБ | 04 Окт 2018 - 00:34 |
nutch-1.4 | 16+9 | 761.43 КБ | 29 Окт 2018 - 18:00 |
linkwalker | 12+12 | 158.00 КБ | 27 Дек 2018 - 09:28 |
ichiro | 19+4 | 380.89 КБ | 24 Июл 2018 - 00:30 |
ODP link checker | 22 | 101.38 КБ | 12 Ноя 2018 - 11:58 |
GrapeshotCrawler | 11+9 | 319.37 КБ | 17 Дек 2018 - 21:20 |
AdsBot-Google | 19 | 186.66 КБ | 30 Дек 2018 - 14:43 |
webcopy | 18 | 726.08 КБ | 16 Ноя 2018 - 02:56 |
linkchecker | 12+6 | 158.52 КБ | 29 Ноя 2018 - 11:06 |
SurveyBot | 9+9 | 150.71 КБ | 20 Мар 2018 - 00:25 |
Mozilla Beta (Windows) - ( Rogue Robot ) | 18 | 3.21 МБ | 19 Дек 2018 - 16:18 |
webcollage | 18 | 1.94 МБ | 09 Дек 2018 - 09:12 |
Windows 95 - ( Rogue Robot ) | 18 | 2.22 МБ | 09 Дек 2018 - 06:29 |
MSIECrawler | 17 | 1.40 МБ | 17 Дек 2018 - 13:26 |
Plukkie | 8+9 | 136.13 КБ | 20 Июн 2018 - 15:04 |
MSIE 2 - ( Rogue Robot ) | 15 | 3.53 МБ | 22 Дек 2018 - 16:19 |
crawler4j | 1+11 | 18.36 КБ | 20 Май 2018 - 03:17 |
MSIE 3 - ( Rogue Robot ) | 12 | 1.46 МБ | 20 Дек 2018 - 12:35 |
custo | 11 | 30.43 МБ | 12 Дек 2018 - 22:34 |
ssearch_bot | 6+5 | 83.32 КБ | 03 Ноя 2018 - 05:40 |
Links ( | 10 | 19.11 МБ | 31 Дек 2018 - 21:49 |
Jigsaw | 10 | 264.60 КБ | 31 Окт 2018 - 16:56 |
ICC-Crawler | 5+5 | 294.52 КБ | 05 Ноя 2018 - 15:27 |
ELinks | 10 | 7.22 МБ | 08 Сен 2018 - 04:28 |
Validator.nu | 10 | 1.69 МБ | 31 Окт 2018 - 16:56 |
Curl/PHP | 9 | 155.27 КБ | 12 Дек 2018 - 21:05 |
Babya Discoverer | 8 | 119.21 КБ | 12 Дек 2018 - 14:17 |
rogerbot | 7+1 | 458.36 КБ | 22 Авг 2018 - 14:08 |
mozilla/4.0 - ( Rogue Robot ) | 8 | 2.54 МБ | 31 Дек 2018 - 16:11 |
ltbot | 8 | 129.03 КБ | 27 Фев 2018 - 18:14 |
istellabot | 4+4 | 69.16 КБ | 01 Ноя 2018 - 10:19 |
fetcher | 7 | 2.30 МБ | 28 Окт 2018 - 01:09 |
gigablastopensource | 4+3 | 39.16 КБ | 06 Авг 2018 - 09:52 |
bbot | 7 | 66.48 КБ | 19 Ноя 2018 - 07:19 |
commons-httpclient | 7 | 385.18 КБ | 20 Дек 2018 - 09:00 |
MojeekBot | 3+3 | 47.88 КБ | 22 Сен 2018 - 17:43 |
bspider | 6 | 60.54 КБ | 03 Янв 2018 - 09:19 |
larbin | 4+2 | 37.38 КБ | 27 Апр 2018 - 17:04 |
My Nutch Spider | 3+3 | 35.24 КБ | 04 Май 2018 - 04:08 |
ng/1. | 5 | 9.35 МБ | 31 Дек 2018 - 06:42 |
sunrise | 5 | 3.26 МБ | 01 Июл 2018 - 17:33 |
Mojolicious | 5 | 1.80 МБ | 09 Дек 2018 - 13:40 |
KomodiaBot | 5 | 84.59 КБ | 02 Дек 2018 - 13:54 |
implisensebot | 3+2 | 24.76 КБ | 20 Янв 2018 - 17:02 |
genieo | 4 | 8.68 МБ | 28 Дек 2018 - 10:20 |
Ruby script | 4 | 68.94 КБ | 11 Дек 2018 - 12:49 |
backlinktest.com | 2+2 | 35.43 КБ | 25 Дек 2018 - 00:47 |
CMS Crawler | 4 | 69.88 КБ | 09 Дек 2018 - 07:54 |
yie8 | 4 | 83.33 КБ | 22 Авг 2018 - 12:42 |
geturl | 3 | 43.66 МБ | 24 Окт 2018 - 09:58 |
checker | 2+1 | 33.90 КБ | 12 Ноя 2018 - 10:51 |
[^a]fish | 3 | 2.80 МБ | 30 Авг 2018 - 15:25 |
Yahoo Link Preview | 3 | 990.31 КБ | 08 Окт 2018 - 23:10 |
netnewswire | 3 | 3.86 МБ | 08 Ноя 2018 - 13:02 |
ng/2. | 3 | 123.14 КБ | 19 Фев 2018 - 09:46 |
Mediatoolkitbot | 1+2 | 17.95 КБ | 24 Дек 2018 - 12:09 |
ELinks ( | 3 | 965.55 КБ | 25 Май 2018 - 13:00 |
perl | 2 | 963.63 КБ | 30 Авг 2018 - 13:12 |
vagabondo | 0+2 | 482 Байты | 18 Сен 2018 - 22:58 |
Spiderbot | 1+1 | 16.36 КБ | 18 Мар 2018 - 06:50 |
netseer | 1+1 | 17.17 КБ | 02 Июн 2018 - 12:50 |
Mozilla/6.0 (compatible) - ( Rogue Robot ) | 2 | 34.10 КБ | 26 Ноя 2018 - 14:07 |
C-T bot | 2 | 33.67 КБ | 30 Ноя 2018 - 23:38 |
fetchbot | 1+1 | 17.23 КБ | 08 Июл 2018 - 07:35 |
Feedfetcher-Google | 2 | 106.14 КБ | 26 Авг 2018 - 14:18 |
titan | 2 | 160.91 КБ | 23 Апр 2018 - 12:17 |
seo-audit-check-bot | 2 | 1.85 КБ | 18 Ноя 2018 - 01:48 |
msnbot | 1 | 6.81 МБ | 16 Дек 2018 - 21:54 |
sitemap | 1 | 8.29 КБ | 12 Мар 2018 - 07:21 |
yoozBot | 1 | 16.93 КБ | 22 Май 2018 - 02:14 |
CRAZYWEBCRAWLER | 1 | 17.27 КБ | 08 Янв 2018 - 08:57 |
W3C_Validator | 1 | 175.93 КБ | 17 Ноя 2018 - 01:43 |
raven | 1 | 8.29 КБ | 14 Янв 2018 - 19:42 |
churl | 1 | 502.97 КБ | 22 Мар 2018 - 08:41 |
BDCbot | 1 | 0 | 25 Янв 2018 - 14:07 |
Mediapartners-Google | 1 | 12.67 КБ | 31 Дек 2018 - 21:53 |
sucker | 1 | 497.13 КБ | 16 Июн 2018 - 22:11 |
lwp-trivial | 1 | 16.13 КБ | 28 Фев 2018 - 21:39 |
Girafabot | 1 | 5.54 КБ | 27 Дек 2018 - 05:18 |
Google-Adwords-Instant | 1 | 16.99 КБ | 04 Окт 2018 - 04:25 |
Slackbot-LinkExpanding | 1 | 13.67 КБ | 10 Мар 2018 - 02:57 |
shoutcast | 1 | 17.48 КБ | 25 Дек 2018 - 05:39 |
motor | 1 | 24.20 КБ | 23 Дек 2018 - 18:58 |
optimizer | 0+1 | 241 Байты | 20 Фев 2018 - 03:06 |
i-bot | 1 | 17.27 КБ | 16 Янв 2018 - 02:46 |
feed | 1 | 13.86 КБ | 11 Июн 2018 - 18:35 |
Apexoo Spider | 1 | 16.13 КБ | 13 Фев 2018 - 22:36 |
|