Googlebot: Как пользовательский агент Googlebot сканирует и влияет на SEO?

1. Что такое Googlebot? Googlebot - это робот Google , который является роботом загрузки. Гусеница...
2. Зачем анализировать следы, оставленные роботом Google?
3. Анализ следов, оставленных роботом Google
4. Googlebot имитирует несколько устройств для подключения к вашему сайту
5. Googlebot также загружает CSS
6. Сканер Google загружает файл robots.txt
7. Googlebot оптимизирует свои загрузки
8. Робот Google предотвращает вторжение на ваш сайт
9. Робот Googlebot загружает URL-адреса, которые не приходят ни из карты сайта, ни из внутренних ссылок вашего сайта
10. Googlebot также загружает изображения
11. Googlebot быстро обнаруживает новые страницы
12. Методы получения следов Googlebot
13. Способ 1: проанализировать HTTP-журналы сервера вашего сайта
14. Способ 2: обнаружение запросов от Googlebot путем программирования

Что такое Googlebot?

Googlebot - это робот Google , который является роботом загрузки. Гусеница также может называться бот или паук. Этот робот может из точки входа на ваш сайт (например, URL-адрес домашней страницы вашего сайта) извлекать весь или хотя бы большую часть контента вашего сайта (страницы HTML, изображения ...)

Сканирование роботом Google является предварительным и необходимым этапом индексации по известным алгоритмам Google.

Проще говоря, мы можем считать Googlebot интернет-браузером, таким как Internet Explorer, Firefox, Chrome, который будет автоматически нажимать на все ссылки, найденные на веб-сайте, и сохранять этот контент.

Для хорошей оптимизации SEO важно понимать роль и поведение сканера Google.

Просматривайте свои страницы как Googlebot

Yakaferci предоставляет инструмент, который позволяет вам видеть текстовое содержание ваших страниц как робот Google.

Чтобы начать анализ Якаферчи, просто введите ссылку на свою страницу в области выше и нажмите кнопку «Анализ».

Зачем анализировать следы, оставленные роботом Google?

Почти на всех веб-сайтах установлены инструменты анализа трафика, такие как Google Analytics, Xiti или omniture, для анализа поведения их посетителей с целью оптимизации их веб-сайта.

То же самое и для анализа следов робота Google. Зная частоту его прохождения, посещенные страницы, устройства, на которых он сканирует ваш сайт ... вы лучше поймете, как он работает, и вы сможете оптимизировать свой сайт для лучшего общения с роботом Google, который помогает SEO ,

Лучшее общение с Googlebot позволяет эффективно оптимизировать ваш SEO.

Улучшая доступность и понимание вашего веб-сайта с помощью Googlebot, вы улучшите видимость вашего сайта в SEO.

Анализ следов, оставленных роботом Google

Благодаря методам, описанным в конце этой статьи, можно восстановить следы, оставленные роботом Google при анализе вашего сайта, что может быть очень поучительно с точки зрения SEO. Вот несколько советов:

Googlebot имитирует несколько устройств для подключения к вашему сайту

Обратите внимание, что робот Googlebot загружает одни и те же URL-адреса 4 раза, используя другое имя интернет-приложения (поле HTTP «Агенты пользователя»). Вот 4 значения, используемые сканером Google:

• Mozilla / 5.0: это соответствует браузеру Firefox на настольном компьютере или классическом ноутбуке
• SAMSUNG-SGH-E250: это старый сотовый телефон 2006 года: поэтому Google тестирует и старую конфигурацию, которая все еще используется.
• DoCoMo / 2.0 N905i (c100; TB; W24H16): это был эквивалент японского WAP. HTML некоторых интернет-сайтов оптимизирован или оптимизирован для этих устройств.
• Mozilla / 5.0 (iPhone; процессор iPhone OS 6_0, как Mac OS X): это для iPhone

Эта часть информации не является секретной (см. официальная страница Google на эту тему ) но это часто упускается из виду.

Таким образом, Google может определить, был ли веб-сайт оптимизирован по отношению к этим конкретным устройствам. Не забывайте об основной цели Google: представлять пользователям самые актуальные сайты по отношению к их запросам. Эта актуальность также требует доступности и навигации вашего сайта. Поэтому, когда вы оптимизируете свой сайт для SEO, также подумайте о «навигации» и «согласованности»

Можно отметить, что в настоящее время он не моделирует устройства планшетного типа (iPad ...)

Googlebot также загружает CSS

Первоначальная миссия поисковой системы состоит в извлечении текстового контента в Интернете и создании индекса из контента, чтобы упростить поиск и представить пользователям наиболее релевантные веб-сайты. В этом контексте Google априори не нужны файлы CSS, которые являются таблицами стилей вашего сайта, которые управляют отображением.

И все же, Googlebot загружает файлы CSS. Зачем ?

Только Google может точно ответить на этот вопрос, но мы можем представить несколько веских причин:

• CSS-файлы могут содержать URL-адреса изображений, которые Googlebot хочет загрузить
• Файлы CSS содержат директивы для управления «Адаптивным дизайном», то есть визуально адаптируют одну и ту же страницу содержимого в зависимости от размера экрана. Мы знаем, что Google предпочитает сайты с адаптивным дизайном для поиска на смартфонах.
• согласно некоторым плохим методам оптимизации SEO, пользователи будут писать, например, белым на белом фоне. Это позволило им добавить определенный контент в поисковых системах. Этот тип техники запрещен Google, и им нужен CSS для управления им.

Сканер Google загружает файл robots.txt

Это не удивительно, потому что любой хороший сканер должен проверить правила файла Robots.txt. Этот определяет, какие области он имеет право сканировать.

Для получения дополнительной информации по этой теме, проверьте наша статья о файле Robots.txt

Googlebot оптимизирует свои загрузки

Учитывая сложную задачу загрузки всех страниц всех веб-сайтов в мире, естественно, что Google Crawler должен попытаться найти методы оптимизации размера и скорости его загрузки.

Вот некоторые методы, которые используются:

• сжатие HTTP-кода, когда это поддерживается сервером просканированного веб-сайта. Это делается через строку «Accept-encoding: gzip, deflate» заголовка HTTP, отправляемого роботом Google.
• восстановление нескольких страниц в одном и том же соединении TCP / IP, если это поддерживается сервером просканированного веб-сайта. Это делается через строку «Connection: Keep-Alive» заголовка HTTP, отправляемого Googlebot
• используя поле HTTP «If-Modified-Since», чтобы избежать загрузки файла, который не изменился с момента последнего посещения. Отправка этого поля, однако, не является систематической

Для получения дополнительной информации по этой теме см. наша статья о протоколе HTTP

Робот Google предотвращает вторжение на ваш сайт

Нет сомнений в том, что с помощью технических средств Google робот Googlebot сможет сканировать весь веб-сайт за считанные минуты. Тем не менее, они стараются использовать довольно медленную загрузку. Это позволяет им не загружать серверы анализируемых сайтов, чтобы не мешать их работе.

Робот Googlebot загружает URL-адреса, которые не приходят ни из карты сайта, ни из внутренних ссылок вашего сайта

Иногда вы будете удивлены URL-адресами, которые робот Googlebot может отправить на ваш сайт. Эти URL не могут быть найдены ни в ваших внутренних ссылках, ни в вашей карте сайта, и все равно будут сканироваться.

Причины этого могут быть разными. Например, если кто-то установил неправильную или старую ссылку на ваш сайт. Для получения дополнительной информации по этой теме см. Наши статьи на стратегия сетевых связей а также внешняя ссылка

Googlebot также загружает изображения

В этом случае он использует User-Agent "Googlebot-Image"

Именно на этих изображениях Google может создать область поиска «Google Image» в своем интерфейсе поиска.

Googlebot быстро обнаруживает новые страницы

По сравнению с лидерами в реальном времени, такими как Twitter, в последние годы Google приложил немало усилий, чтобы как можно скорее проиндексировать новые страницы.

И если мы проанализируем журналы, становится ясно, что новые страницы часто загружаются в течение нескольких часов после размещения в сети, даже если они еще не были интегрированы в файл карты сайта. Для этого новые страницы должны появляться только во внутренних ссылках существующих страниц, которые Google будет определять путем проверки.

Однако не следует путать дату перехода Googlebot на новую страницу с датой предоставления новой страницы в результатах поиска. Второй значительно длиннее первого (за исключением некоторых сайтов с большим количеством новостей). Например, страница, которую вы читаете, была посещена роботом Googlebot после 4 часов в сети и начала появляться в результатах поиска через 24 часа.

Методы получения следов Googlebot

Какие следы остались от Googlebot?

Что интересно в сканере Google, так это то, что серверы Google напрямую взаимодействуют с веб-серверами, на которых размещается ваш сайт. Это имеет два последствия:

• как и при любом другом взаимодействии с другим браузером, ваш веб-сервер содержит историю следов, оставленных роботом Google (через файлы журнала HTTP).
• эти следы ясны и неоспоримы, в отличие от всех попыток анализа хорошего или плохого качества алгоритмов индексации Google

Именно по этим причинам время от времени интересно присматриваться к этим файлам журналов. Результаты анализа прохождения Googlebot могут помочь вам с вашей стратегией SEO.

Способ 1: проанализировать HTTP-журналы сервера вашего сайта

Сегодня трафик веб-сайта анализируется с помощью современных качественных инструментов, среди которых наиболее популярными являются Google Analytics, Xiti ... Эти инструменты основаны на коде Javascript, который размещается на браузере посетителя посещаемым веб-сайтом. Этот код Javascript отправляет всю информацию, необходимую анализатору. Тем не менее, роботы / сканеры, такие как Googlebot, не ведут себя как классические браузеры, и они не особенно запускают Javascript этих инструментов. Вот почему все посещения Googlebot невидимы, например, в Google Analytics.

Напротив, журналы HTTP, созданные веб-серверами, на которых размещаются веб-сайты, регистрируют взаимодействия с роботом Google под тем же названием, что и любой другой веб-клиент.

Если вы не знаете, как восстановить эти файлы из журнала HTTP, вы можете связаться с вашим веб-хостом. Будьте осторожны, эти файлы могут быть довольно большими для веб-сайтов с большим трафиком

Эти файлы просто содержат одну строку для каждого загруженного URL-адреса с вашего веб-сайта (это может быть страница HTML, CSS, Javascript, файл изображения ...)

Как любой веб-клиент, взаимодействующий с веб-сервером, GoogleGot должен объявить свое имя в полях HTTP, называемых «Пользователь-агент». Google дает возможные значения своего User-Agent Вот ,

Мы видим, что пользовательский агент, используемый роботом Google:

Mozilla / 5.0 (совместимо; Googlebot / 2.1; + http: //www.google.com/bot.html)

Некоторые инструменты (особенно grep в среде Linux) могут извлечь все строки из ваших файлов журнала, содержащие ключ "http://www.google.com/bot.html".

# grep "http://www.google.com/bot.html" www.default-access.log 66.249.75.104 - - [11 / Dec / 2013: 11: 15: 31 +0100] "GET / balises-h1 -h2 HTTP / 1.1 "200 8848 0" - "" Mozilla / 5.0 (совместимо; Googlebot / 2.1; + http: //www.google.com/bot.html) "

Теперь мы должны убедиться, что IP-адрес веб-клиента принадлежит Google. Это делается с помощью команды nslookup, например:

# nslookup 66.249.75.104Авторичные ответы можно найти по адресу: 75.249.66.in-addr.arpa nameserver = ns1.google.com.

На этот раз мы уверены, что это робот Google!

Способ 2: обнаружение запросов от Googlebot путем программирования

Этот метод требует небольшого развития: запросы от Googlebot могут быть просто обнаружены путем программирования (например, с помощью User-Agent и обратного просмотра) и сохранения наиболее интересных полей HTTP-запроса, сделанного Googlebot. Этот метод может предоставить дополнительную информацию по сравнению со способом 1, описанным выше.

Похожие

Комментарии