Привет ! Очень важно отличать плохих роботов от хороших ! Почему ? Потому что, если вы заблокируете хорошего робота, например робота Googlebot, ваш сайт перестанет индексироваться в поисковой системе Google. К тому же, если вы знаете имена хороших роботов, то вы сможете очень быстро вычислить и заблокировать плохих роботов.

Далее, вы можете узнать имена и обозначения всех роботов Google, чтобы знать их в лицо !

 

Имя поискового робота Обозначение Полное название, как в логах сайта
Googlebot Сайты для обычных компьютеров.

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

либо Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot Сайты для мобильных устройств. Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot-News Новостной поисковый робот. Googlebot-News
Googlebot Images Робот для индексации изображений. Googlebot-Image/1.0
Googlebot Video Робот для индексации видео. Googlebot-Video/1.0
Mediapartners-Google или Mediapartners

(Googlebot)		 Робот Google AdSense для мобильных устройств. [различные типы мобильных устройств] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mediapartners-Google

Mediapartners

(Googlebot)

 Робот Google AdSense. Mediapartners-Google
AdsBot-Google Google AdsBot (проверка качества целевой страницы) AdsBot-Google (+http://www.google.com/adsbot.html)
AdsBot-Google-Mobile-Apps

Робот Google для приложений

(сканирование ресурсов для мобильных приложений, подчиняется тем же правилам, что и Google AdsBot)

 AdsBot-Google-Mobile-Apps

 

Имена и обозначения роботов Яндекса, можете посмотреть Здесь !!!

 

Список основных хороших (безопасных) роботов:

  • AOL.com
  • Baidu
  • Bingbot/MSN
  • DuckDuckGo
  • Googlebot
  • Teoma
  • Yahoo!
  • Yandex

 

 Как защитить сайт от брут-форс и DDoS атак Читайте Здесь !!!