Semalt Islamabad Expert: Топ-10 найпопулярніших веб-сканерів та ботів
В Інтернеті є два типи ботів, які називають добрими та поганими. Вам слід вжити серйозних заходів проти поганих ботів, оскільки вони можуть споживати пропускну здатність DDN за короткий час. Крім того, негативні або погані боти крадуть ваш веб-контент і забирають серверні ресурси. З іншого боку, з хорошими роботами (їх також називають веб-сканерами) слід поводитись обережно, оскільки вони допомагають індексувати ваш веб-сайт у результатах пошуку , таких як Bing, Google та Yahoo.
Майкл Браун, провідний експерт з Semalt , запевняє, що в Інтернеті є сотні до тисяч ботів та веб-сканерів, але найбільш популярними є наступні.
1. GoogleBot
Googlebot - один з найкращих та найвідоміших веб-сканерів на сьогоднішній день. Він широко використовується для індексації веб-вмісту та статей для результатів пошуку Google. Найкраща особливість Googlebot полягає в тому, що він надає користувачам безліч інструментів та можливостей. Більш конкретно, Googlebot повідомляє Google, які сторінки потрібно індексувати та які слід залишити.
2. Бінгбот
Як і Googlebot, Bingbot - популярний веб-сканер від Microsoft. Це вже багато років і покликане індексувати веб-сайти в результатах пошуку Bing. Bingbot - ідеальна заміна для бота MSN. Найвідоміший її варіант називається "Витягнути як Bingbot", який присутній в Інструментах для веб-майстрів Bing. Ця опція дозволяє запитувати сторінки про індексацію та відображення в результатах Bing.
3. Колючий бот
Slurp Bot - це веб-сканер Yahoo, але працює від Bing. Веб-сайти повинні дозволити Yahoo Slurp отримати доступ до своїх сторінок для появи в результатах пошуку Yahoo Mobile. Цей веб-сканер використовується для збору вмісту з партнерських веб-сайтів для включення в Yahoo News, Yahoo Sports та Yahoo Finance.
4. DuckDuckBot
DuckDuckBot - відомий та найкращий веб-сканер DuckDuckGo. Ця пошукова система відома своєю конфіденційністю і не відстежує користувача без його дозволу. У середньому він щодня обробляє десять мільйонів запитів. DuckDuckGo отримує результати з більш ніж 400 джерел, включаючи кілька вертикальних джерел, які надають відповіді, пов'язані з миттєвими відповідями, Вікіпедією та DuckDuckBot. Він також обробляє запити, які надходять з таких джерел, як Яндекс, Бінг та Yahoo.
5. Байдуспідер
Baiduspider - офіційна назва веб-сканера або павука китайської пошукової системи. Він може індексувати багато веб-сторінок щодня і повертає оновлення до свого індексу Baidu. Baidu - одна з провідних китайських пошукових систем. Він має понад вісімдесят відсотків акцій загального обсягу пошукових ринків материкового Китаю.
6. Яндекс Бот
YandexBot - особливий веб-сканер російської пошукової системи, Яндекс. ЗМІ стверджують, що цей бот генерував понад 57% всього трафіку пошукових систем у Росії протягом 2015 року.
7. Павук Согу
Павук Sogou - відомий веб-сканер Sogou.com. Ця провідна китайська пошукова система була запущена в 2004 році і має рейтинг 103 на Alexa. Слід пам’ятати, що веб-павук Sogou ніколи не дотримується інтернет-стандартів robot.txt і заборонений на різних сайтах через його надмірне сканування.
8. Екзабот
Цим веб-сканером керує французька пошукова система Exalead. Він був заснований кілька років тому і має понад шістнадцять мільярдів веб-сторінок, проіндесованих у своїх результатах пошуку.
9. Зовнішній хіт Facebook
Гігант соціальних медіа, Facebook, дозволяє своїм користувачам ділитися цікавими посиланнями з іншими користувачами Facebook. Зовнішній хіт Facebook виконує різні функції, включаючи показ декількох зображень, захоплюючих відео та кількох веб-сторінок. Один з головних і відомих скануючих ботів - Facebot, який допомагає підвищити ефективність реклами.
10. Алекса Гусениця
Alexa Crawler управляється Alexa Amazon і використовується для індексації десятків веб-сторінок. Він збирає інформацію про веб-сайти та класифікує їх на основі місцевих та міжнародних уподобань.
Заключна примітка
Існують різні веб-сканери та боти, тому, коли ви блокуєте якийсь підозрілий веб-сайт, переконайтеся, що ви не блокуєте хороших ботів, які індексують ваші веб-сторінки в результатах пошуку.