| 213 различные роботы | Хиты | Объем | Последний визит |
|---|
| bingbot | 319,801+2749 | 128.20 ГБ | 31 Дек 2018 - 23:59 |
| Baiduspider | 54,425+175 | 46.67 ГБ | 31 Дек 2018 - 23:59 |
| DotBot | 161,001+50404 | 61.14 ГБ | 31 Дек 2018 - 23:59 |
| empty user agent string | 216,047+223 | 15.68 ГБ | 31 Дек 2018 - 23:59 |
| Googlebot | 465,586+1862 | 157.64 ГБ | 31 Дек 2018 - 23:57 |
| Googlebot-Image | 134,603 | 987.54 МБ | 31 Дек 2018 - 23:57 |
| SemrushBot | 249,800+10642 | 21.45 ГБ | 31 Дек 2018 - 23:57 |
| AhrefsBot | 113,818+1602 | 11.22 ГБ | 31 Дек 2018 - 23:56 |
| MJ12bot | 121,525+10361 | 9.02 ГБ | 31 Дек 2018 - 23:53 |
| ltx71 | 17,700+16179 | 22.23 ГБ | 31 Дек 2018 - 23:53 |
| BingPreview | 23,943 | 19.52 ГБ | 31 Дек 2018 - 23:48 |
| Wget | 16,720+6 | 7.95 ГБ | 31 Дек 2018 - 23:47 |
| YandexBot | 358,206+10841 | 271.32 ГБ | 31 Дек 2018 - 23:39 |
| YandexMobileBot | 105,758 | 119.65 ГБ | 31 Дек 2018 - 23:34 |
| A PHP script | 352,970 | 2.55 МБ | 31 Дек 2018 - 23:33 |
| infobot | 1,589+112 | 172.80 МБ | 31 Дек 2018 - 23:27 |
| Firefox version 10 and lower - various robots | 19,861+609 | 28.46 ГБ | 31 Дек 2018 - 23:21 |
| Unknown robot identified by bot\* | 23,165+918 | 9.31 ГБ | 31 Дек 2018 - 23:16 |
| BLEXBot | 41,512+1414 | 4.53 ГБ | 31 Дек 2018 - 23:10 |
| YandexImages | 114,900 | 3.77 ГБ | 31 Дек 2018 - 23:02 |
| Sogou web spider | 2,748+932 | 1.13 ГБ | 31 Дек 2018 - 22:31 |
| TweetmemeBot | 181 | 40.45 МБ | 31 Дек 2018 - 22:22 |
| YisouSpider | 360+79 | 21.97 МБ | 31 Дек 2018 - 22:05 |
| Mediapartners-Google | 1 | 12.67 КБ | 31 Дек 2018 - 21:53 |
| Links ( | 10 | 19.11 МБ | 31 Дек 2018 - 21:49 |
| Yandex ( catchall ) | 22,785 | 11.07 ГБ | 31 Дек 2018 - 21:44 |
| Exabot | 12,722+365 | 3.98 ГБ | 31 Дек 2018 - 21:13 |
| 360Spider | 3,523+95 | 369.66 МБ | 31 Дек 2018 - 21:10 |
| PhantomJS | 1,510 | 12.56 МБ | 31 Дек 2018 - 20:28 |
| Baidu ( catchall ) | 2,103+1 | 32.82 МБ | 31 Дек 2018 - 19:57 |
| DuckDuckGo-Favicons-Bot | 228 | 5.26 МБ | 31 Дек 2018 - 19:18 |
| netcraft | 103 | 3.00 МБ | 31 Дек 2018 - 19:14 |
| SeznamBot | 4,495+3951 | 630.46 МБ | 31 Дек 2018 - 18:55 |
| Apache-HttpClient | 2,053+305 | 284.06 МБ | 31 Дек 2018 - 18:50 |
| Applebot | 1,142+1035 | 184.72 МБ | 31 Дек 2018 - 18:40 |
| MSIE 5 - ( Rogue Robot ) | 551+13 | 90.58 МБ | 31 Дек 2018 - 18:25 |
| favicon | 4,841 | 1.26 ГБ | 31 Дек 2018 - 17:56 |
| MSIE 6 - ( Rogue Robot ) | 19,697 | 4.84 ГБ | 31 Дек 2018 - 17:44 |
| Dalvik | 3,583 | 5.74 ГБ | 31 Дек 2018 - 17:11 |
| linkdexbot | 2,441+114 | 325.60 МБ | 31 Дек 2018 - 17:11 |
| YandexMetrika | 2,269 | 114.68 МБ | 31 Дек 2018 - 16:32 |
| mozilla/4.0 - ( Rogue Robot ) | 8 | 2.54 МБ | 31 Дек 2018 - 16:11 |
| crawl | 68,660+2211 | 6.94 ГБ | 31 Дек 2018 - 15:25 |
| Cliqzbot | 1,092+507 | 436.75 МБ | 31 Дек 2018 - 14:10 |
| DomainCrawler | 431+11 | 10.54 МБ | 31 Дек 2018 - 13:31 |
| seokicks.de | 213+48 | 1.51 МБ | 31 Дек 2018 - 13:03 |
| Mail.RU Bot | 598+966 | 133.91 МБ | 31 Дек 2018 - 12:51 |
| facebookexternalhit | 1,369 | 128.17 МБ | 31 Дек 2018 - 12:18 |
| Unknown robot (identified by hit on robots.txt) | 0+3302 | 775.72 КБ | 31 Дек 2018 - 09:32 |
| Gluten Free Crawler | 298 | 19.71 МБ | 31 Дек 2018 - 07:17 |
| Curl | 1,466+19 | 1.57 ГБ | 31 Дек 2018 - 06:43 |
| ng/1. | 5 | 9.35 МБ | 31 Дек 2018 - 06:42 |
| ning | 199 | 15.60 МБ | 31 Дек 2018 - 04:54 |
| Konqueror | 1,230 | 430.88 МБ | 31 Дек 2018 - 02:07 |
| rambler | 1,059 | 242.75 МБ | 31 Дек 2018 - 00:28 |
| Yahoo! Slurp | 7,272+254 | 3.60 ГБ | 31 Дек 2018 - 00:19 |
| nbot | 46+32 | 1.44 МБ | 31 Дек 2018 - 00:18 |
| CFNetwork | 297 | 77.99 МБ | 30 Дек 2018 - 23:52 |
| ia_archiver | 11,708+2191 | 4.87 ГБ | 30 Дек 2018 - 21:56 |
| yeti | 7,696+313 | 3.54 ГБ | 30 Дек 2018 - 21:15 |
| python | 1,483+29 | 1.28 ГБ | 30 Дек 2018 - 19:37 |
| drupal | 254 | 773.22 КБ | 30 Дек 2018 - 18:01 |
| archive.org_bot | 1,772+413 | 588.45 МБ | 30 Дек 2018 - 15:58 |
| AdsBot-Google | 19 | 186.66 КБ | 30 Дек 2018 - 14:43 |
| Python-urllib | 1,337+117 | 528.26 МБ | 30 Дек 2018 - 12:28 |
| spider | 182+5 | 25.79 МБ | 30 Дек 2018 - 04:02 |
| LinkCheck | 5,250+3 | 304.13 МБ | 30 Дек 2018 - 03:57 |
| coccoc | 1,028+1001 | 550.04 МБ | 30 Дек 2018 - 00:28 |
| Discordbot | 27 | 21.52 МБ | 29 Дек 2018 - 21:19 |
| Xenu Link Sleuth | 5,116 | 286.92 МБ | 29 Дек 2018 - 20:19 |
| LinkedInBot | 107+2 | 24.07 МБ | 29 Дек 2018 - 20:06 |
| mindupbot | 29+3 | 180.26 КБ | 29 Дек 2018 - 19:29 |
| Microsoft Office Protocol Discovery | 922 | 0 | 29 Дек 2018 - 15:49 |
| Screaming Frog SEO Spider | 44+39 | 4.53 МБ | 29 Дек 2018 - 15:43 |
| Nautic Expo using Firefox/1.5 | 191+5 | 91.97 МБ | 29 Дек 2018 - 15:22 |
| Unknown robot identified by \*bot | 524+62 | 188.18 МБ | 29 Дек 2018 - 13:11 |
| y!j | 242+27 | 5.80 МБ | 29 Дек 2018 - 08:08 |
| TelegramBot | 342 | 429.24 МБ | 29 Дек 2018 - 01:56 |
| mozilla/5.0 - ( Rogue Robot ) | 1,799 | 1.59 ГБ | 29 Дек 2018 - 01:23 |
| yacybot | 69+61 | 12.73 МБ | 28 Дек 2018 - 21:31 |
| SurdotlyBot | 124+15 | 6.34 МБ | 28 Дек 2018 - 15:56 |
| genieo | 4 | 8.68 МБ | 28 Дек 2018 - 10:20 |
| internetarchive | 282 | 0 | 28 Дек 2018 - 09:03 |
| Uptimebot | 101+10 | 245.38 КБ | 28 Дек 2018 - 06:10 |
| MegaIndex.ru | 7,844+9 | 841.06 МБ | 27 Дек 2018 - 22:41 |
| nutch ( catchall ) | 104+71 | 12.02 МБ | 27 Дек 2018 - 16:38 |
| mozilla/4.0 (compatible;) - ( Rogue Robot ) | 2,670 | 40.09 МБ | 27 Дек 2018 - 14:49 |
| twitterbot | 74+71 | 10.44 МБ | 27 Дек 2018 - 13:49 |
| linkwalker | 12+12 | 158.00 КБ | 27 Дек 2018 - 09:28 |
| Java ( catchall ) | 65,264+7 | 9.36 ГБ | 27 Дек 2018 - 07:57 |
| Girafabot | 1 | 5.54 КБ | 27 Дек 2018 - 05:18 |
| gocrawl | 0+29 | 6.83 КБ | 26 Дек 2018 - 13:45 |
| GarlikCrawler | 168+64 | 13.50 МБ | 25 Дек 2018 - 18:19 |
| microsoft-webdav-miniredir | 177 | 0 | 25 Дек 2018 - 15:44 |
| yahoocachesystem | 58 | 1.30 МБ | 25 Дек 2018 - 08:56 |
| shoutcast | 1 | 17.48 КБ | 25 Дек 2018 - 05:39 |
| netEstate NE Crawler | 3,573+71 | 247.84 МБ | 25 Дек 2018 - 04:41 |
| backlinktest.com | 2+2 | 35.43 КБ | 25 Дек 2018 - 00:47 |
| Mediatoolkitbot | 1+2 | 17.95 КБ | 24 Дек 2018 - 12:09 |
| libwww-perl | 354 | 6.46 МБ | 24 Дек 2018 - 10:34 |
| dataprovider.com | 212+18 | 2.59 МБ | 24 Дек 2018 - 00:53 |
| motor | 1 | 24.20 КБ | 23 Дек 2018 - 18:58 |
| msie8 - ( Rogue Robot ) | 2,748 | 33.03 МБ | 23 Дек 2018 - 08:37 |
| Googlebot-Video | 36 | 375.01 МБ | 23 Дек 2018 - 04:08 |
| MSIE 2 - ( Rogue Robot ) | 15 | 3.53 МБ | 22 Дек 2018 - 16:19 |
| core | 613 | 4.48 ГБ | 22 Дек 2018 - 15:11 |
| riddler | 1,058+456 | 465.72 МБ | 21 Дек 2018 - 18:54 |
| link | 1,895+202 | 96.17 МБ | 21 Дек 2018 - 11:16 |
| qwantify | 24+6 | 2.56 МБ | 20 Дек 2018 - 14:01 |
| MSIE 3 - ( Rogue Robot ) | 12 | 1.46 МБ | 20 Дек 2018 - 12:35 |
| commons-httpclient | 7 | 385.18 КБ | 20 Дек 2018 - 09:00 |
| oBot | 862+127 | 25.70 МБ | 19 Дек 2018 - 21:45 |
| CCBot | 18,944+361 | 830.77 МБ | 19 Дек 2018 - 19:49 |
| Mozilla Beta (Windows) - ( Rogue Robot ) | 18 | 3.21 МБ | 19 Дек 2018 - 16:18 |
| scanner | 22+4 | 728.25 КБ | 19 Дек 2018 - 05:53 |
| GrapeshotCrawler | 11+9 | 319.37 КБ | 17 Дек 2018 - 21:20 |
| Mozilla ( Rogue Robot ) | 126+9 | 5.98 МБ | 17 Дек 2018 - 16:38 |
| MSIECrawler | 17 | 1.40 МБ | 17 Дек 2018 - 13:26 |
| Deepnet Explorer | 26 | 2.04 МБ | 17 Дек 2018 - 12:56 |
| msnbot | 1 | 6.81 МБ | 16 Дек 2018 - 21:54 |
| proximic | 6+27 | 387.40 КБ | 16 Дек 2018 - 17:16 |
| MSIE 4 - ( Rogue Robot ) | 80+10 | 16.95 МБ | 15 Дек 2018 - 03:14 |
| 2345Explorer | 120 | 222.78 МБ | 14 Дек 2018 - 22:44 |
| smtbot | 1,172+42 | 122.50 МБ | 14 Дек 2018 - 12:37 |
| ips-agent | 68+35 | 16.73 МБ | 14 Дек 2018 - 02:01 |
| custo | 11 | 30.43 МБ | 12 Дек 2018 - 22:34 |
| Curl/PHP | 9 | 155.27 КБ | 12 Дек 2018 - 21:05 |
| Babya Discoverer | 8 | 119.21 КБ | 12 Дек 2018 - 14:17 |
| Ruby script | 4 | 68.94 КБ | 11 Дек 2018 - 12:49 |
| robot | 5,791+18 | 3.86 ГБ | 11 Дек 2018 - 06:59 |
| Mojolicious | 5 | 1.80 МБ | 09 Дек 2018 - 13:40 |
| webcollage | 18 | 1.94 МБ | 09 Дек 2018 - 09:12 |
| CMS Crawler | 4 | 69.88 КБ | 09 Дек 2018 - 07:54 |
| Windows 95 - ( Rogue Robot ) | 18 | 2.22 МБ | 09 Дек 2018 - 06:29 |
| wordpress | 547 | 11.04 МБ | 07 Дек 2018 - 12:39 |
| FirePHP | 65+1 | 39.44 МБ | 05 Дек 2018 - 18:04 |
| KomodiaBot | 5 | 84.59 КБ | 02 Дек 2018 - 13:54 |
| C-T bot | 2 | 33.67 КБ | 30 Ноя 2018 - 23:38 |
| Google Web Preview | 5,696 | 1.01 ГБ | 29 Ноя 2018 - 21:16 |
| linkchecker | 12+6 | 158.52 КБ | 29 Ноя 2018 - 11:06 |
| Mozilla/6.0 (compatible) - ( Rogue Robot ) | 2 | 34.10 КБ | 26 Ноя 2018 - 14:07 |
| heritrix | 42+1 | 614.47 КБ | 21 Ноя 2018 - 08:35 |
| SafeDNSBot | 219+93 | 3.99 МБ | 20 Ноя 2018 - 21:39 |
| bbot | 7 | 66.48 КБ | 19 Ноя 2018 - 07:19 |
| Windows 99 - ( Rogue Robot ) | 41+2 | 20.13 МБ | 18 Ноя 2018 - 18:35 |
| HubSpot Webcrawler | 629+2 | 3.22 МБ | 18 Ноя 2018 - 11:57 |
| seo-audit-check-bot | 2 | 1.85 КБ | 18 Ноя 2018 - 01:48 |
| W3C_Validator | 1 | 175.93 КБ | 17 Ноя 2018 - 01:43 |
| webcopy | 18 | 726.08 КБ | 16 Ноя 2018 - 02:56 |
| ODP link checker | 22 | 101.38 КБ | 12 Ноя 2018 - 11:58 |
| checker | 2+1 | 33.90 КБ | 12 Ноя 2018 - 10:51 |
| netnewswire | 3 | 3.86 МБ | 08 Ноя 2018 - 13:02 |
| ICC-Crawler | 5+5 | 294.52 КБ | 05 Ноя 2018 - 15:27 |
| ssearch_bot | 6+5 | 83.32 КБ | 03 Ноя 2018 - 05:40 |
| idmarch Automatic.beta | 42+6 | 11.17 МБ | 03 Ноя 2018 - 03:30 |
| istellabot | 4+4 | 69.16 КБ | 01 Ноя 2018 - 10:19 |
| Jigsaw | 10 | 264.60 КБ | 31 Окт 2018 - 16:56 |
| Validator.nu | 10 | 1.69 МБ | 31 Окт 2018 - 16:56 |
| nutch-1.4 | 16+9 | 761.43 КБ | 29 Окт 2018 - 18:00 |
| fetcher | 7 | 2.30 МБ | 28 Окт 2018 - 01:09 |
| geturl | 3 | 43.66 МБ | 24 Окт 2018 - 09:58 |
| Yahoo Link Preview | 3 | 990.31 КБ | 08 Окт 2018 - 23:10 |
| Google-Adwords-Instant | 1 | 16.99 КБ | 04 Окт 2018 - 04:25 |
| blog | 25+1 | 417.13 КБ | 04 Окт 2018 - 00:34 |
| bubing | 48,910+1081 | 3.90 ГБ | 02 Окт 2018 - 10:41 |
| LinkpadBot | 155 | 7.59 МБ | 28 Сен 2018 - 19:31 |
| MojeekBot | 3+3 | 47.88 КБ | 22 Сен 2018 - 17:43 |
| vagabondo | 0+2 | 482 Байты | 18 Сен 2018 - 22:58 |
| LWP::Simple | 38 | 34.06 КБ | 09 Сен 2018 - 04:53 |
| ELinks | 10 | 7.22 МБ | 08 Сен 2018 - 04:28 |
| SiteExplorer | 1,316+251 | 52.15 МБ | 04 Сен 2018 - 13:10 |
| [^a]fish | 3 | 2.80 МБ | 30 Авг 2018 - 15:25 |
| perl | 2 | 963.63 КБ | 30 Авг 2018 - 13:12 |
| Feedfetcher-Google | 2 | 106.14 КБ | 26 Авг 2018 - 14:18 |
| DeuSu | 727+205 | 69.85 МБ | 22 Авг 2018 - 16:02 |
| rogerbot | 7+1 | 458.36 КБ | 22 Авг 2018 - 14:08 |
| yie8 | 4 | 83.33 КБ | 22 Авг 2018 - 12:42 |
| gigablastopensource | 4+3 | 39.16 КБ | 06 Авг 2018 - 09:52 |
| a6-indexer | 29+3 | 2.73 МБ | 02 Авг 2018 - 04:02 |
| ichiro | 19+4 | 380.89 КБ | 24 Июл 2018 - 00:30 |
| SEOkicks-Robot | 91+20 | 642.87 КБ | 11 Июл 2018 - 08:45 |
| fetchbot | 1+1 | 17.23 КБ | 08 Июл 2018 - 07:35 |
| 007ac9 Crawler | 1,034+3 | 116.31 МБ | 08 Июл 2018 - 05:23 |
| sunrise | 5 | 3.26 МБ | 01 Июл 2018 - 17:33 |
| Plukkie | 8+9 | 136.13 КБ | 20 Июн 2018 - 15:04 |
| sucker | 1 | 497.13 КБ | 16 Июн 2018 - 22:11 |
| feed | 1 | 13.86 КБ | 11 Июн 2018 - 18:35 |
| netseer | 1+1 | 17.17 КБ | 02 Июн 2018 - 12:50 |
| ELinks ( | 3 | 965.55 КБ | 25 Май 2018 - 13:00 |
| yoozBot | 1 | 16.93 КБ | 22 Май 2018 - 02:14 |
| crawler4j | 1+11 | 18.36 КБ | 20 Май 2018 - 03:17 |
| Wotbox | 1,013+3 | 135.57 МБ | 15 Май 2018 - 04:24 |
| httrack | 45+1 | 11.38 МБ | 14 Май 2018 - 00:30 |
| My Nutch Spider | 3+3 | 35.24 КБ | 04 Май 2018 - 04:08 |
| larbin | 4+2 | 37.38 КБ | 27 Апр 2018 - 17:04 |
| titan | 2 | 160.91 КБ | 23 Апр 2018 - 12:17 |
| phantom | 350 | 1.67 МБ | 06 Апр 2018 - 02:04 |
| churl | 1 | 502.97 КБ | 22 Мар 2018 - 08:41 |
| SurveyBot | 9+9 | 150.71 КБ | 20 Мар 2018 - 00:25 |
| Spiderbot | 1+1 | 16.36 КБ | 18 Мар 2018 - 06:50 |
| sitemap | 1 | 8.29 КБ | 12 Мар 2018 - 07:21 |
| Slackbot-LinkExpanding | 1 | 13.67 КБ | 10 Мар 2018 - 02:57 |
| lwp-trivial | 1 | 16.13 КБ | 28 Фев 2018 - 21:39 |
| ltbot | 8 | 129.03 КБ | 27 Фев 2018 - 18:14 |
| optimizer | 0+1 | 241 Байты | 20 Фев 2018 - 03:06 |
| ng/2. | 3 | 123.14 КБ | 19 Фев 2018 - 09:46 |
| Apexoo Spider | 1 | 16.13 КБ | 13 Фев 2018 - 22:36 |
| BDCbot | 1 | 0 | 25 Янв 2018 - 14:07 |
| implisensebot | 3+2 | 24.76 КБ | 20 Янв 2018 - 17:02 |
| i-bot | 1 | 17.27 КБ | 16 Янв 2018 - 02:46 |
| raven | 1 | 8.29 КБ | 14 Янв 2018 - 19:42 |
| CRAZYWEBCRAWLER | 1 | 17.27 КБ | 08 Янв 2018 - 08:57 |
| bspider | 6 | 60.54 КБ | 03 Янв 2018 - 09:19 |
|
