Понимание мета-тегов робота

1. Различные типы мета-тегов роботов
2. Нужны ли мета-роботы?
3. Использование файла Robots.txt

Тэги meta robot используются как часть HTML-кода на веб-сайте и созданы для того, чтобы поисковые системы не сканировали определенные части веб-сайта или целую страницу. Существуют разные способы их использования и применения. По умолчанию основные поисковые системы индексируют и сканируют все веб-страницы, независимо от того, есть тег робота или нет. Как вы определяете тег, дает поисковым системам инструкции о том, что делать, когда они сканируют страницу.

Если вы хотите, чтобы поисковые системы сканировали все страницы, не используйте теги. По умолчанию страницы будут затем сканироваться, индексироваться и архивироваться. Вы должны отрицать эти вещи в теге роботов через HTML-код на странице. Теги робота можно найти в верхней части страницы между тегом заголовка, и именно здесь поисковые системы смотрят, когда они сканируют веб-сайт.

Существует также возможность включить файл robots.txt, который может легко запретить сканерам проходить и индексировать определенные страницы вообще. У мета-тегов есть намного больше опций и способов предотвращения определенных действий.

Различные типы мета-тегов роботов

Как правило, мета-теги робота всегда идут между тегом заголовка в верхней части кода страницы и могут находиться в любом месте между тегом заголовка. Как часть этого тега, атрибут name должен быть указан как Robots, который применяется ко всем сканерам. Вы также можете изменить этот атрибут, чтобы он был специфичным для определенной поисковой системы, и некоторые из них могут быть включены. Вот пример:

<Голова>
<meta name = ”googlebot” content = ”xxx” />
</ HEAD>

Значение содержимого, которое следует за атрибутом имени, должно включать директиву, которую вы хотели бы использовать поисковой системой. Есть несколько значений, которые вы можете включить, чтобы запретить поисковой системе выполнять определенные действия. Широко используется значение noindex, которое говорит, что не включает страницу в индекс поисковой системы. Вот пример:

<meta name = ”robots” content = ”noindex” />

Другим частым значением является nofollow, который не позволяет сканерам переходить по ссылке на странице. Имейте в виду, что это не означает, что ссылки никогда не будут следовать. Есть случаи, когда они могут быть, например, через другие сайты, другие ссылки на эту страницу, которые не включают nofollow, через панели инструментов браузера, аналитику и т. Д. Вот пример:

<meta name = ”robots” content = ”nofollow” />

Следует также помнить, что при наличии нескольких директив пробелы не имеют значения в теге. Вы можете поставить или не ставить пробелы между запятыми. Капитализация не имеет значения и по спецификациям Google. Вы можете использовать все заглавные или строчные буквы.

Нужны ли мета-роботы?

В некоторых случаях следует использовать мета-тег robots, и это даже необходимо. Поисковые системы следуют ряду правил для ранжирования страниц, и некоторые вещи могут понизить ваш рейтинг или противоречить их правилам. Некоторые из этих вещей можно избежать с помощью тегов роботов.

Если на вашем сайте есть страницы с дублированным контентом, это может повлиять на ваш рейтинг. Дублирование контента может происходить несколькими способами, включая две разные страницы с контентом, который выглядит практически одинаково. Некоторые сайты могут иметь это по разным причинам, но если вы это сделаете и хотели бы скрыть одну из этих страниц от индексации, вам, например, нужно будет использовать тег meta robots noindex. В некоторых случаях было бы лучше написать каноническая или пагинационная метка , Это скажет им, какую страницу включить в их каталоги, а какую исключить из страницы результатов поиска.

Еще один хороший способ использовать теги робота, если на вашей странице есть несколько URL-адресов, за которыми вы не хотите следить. Таким образом, исходящие ссылки на вашей странице, переходящие на другие сайты, не будут сканироваться. Если по какой-либо причине ссылки на вашей странице ведут к ненадежному контенту, вы можете использовать значение nofollow. Другая причина использовать это, чтобы расставить приоритеты определенных ссылок на вашей странице. Например, вам не понадобятся ссылки типа регистрации, поскольку они бесполезны для поисковых систем.

<meta name = ”robots” content = ”nofollow” />

Использование файла Robots.txt

Кроме мета-тегов роботов, есть еще один способ предотвратить сканирование ваших страниц поисковой системой. Это можно сделать с помощью файла robots.txt, который является протоколом исключения роботов (REP). Это инструктирует роботов поисковых систем о том, как сканировать и индексировать страницу. Вы делаете это, сохраняя пустую страницу в текстовом редакторе как robots.txt и сохраняя в ней некоторые правила. Затем его нужно будет добавить в каталог верхнего уровня веб-сервера. Вот пример кода, запрещающего индексирование всего:

Пользователь-агент: *
Disallow: /

Это еще один способ обойти размещение инструкций робота в теге в верхней части заголовка кода страницы, хотя не рекомендуется зависеть только от этого метода. Имя файла в этой ситуации чувствительно к регистру. Имейте в виду, что он все еще общедоступен, поэтому любой может увидеть, что было заблокировано поисковыми системами, поэтому не включайте в эти файлы личную информацию. Каждая страница, которую вы пытаетесь не проиндексировать на веб-сайте, должна быть включена в этот файл.

Если по какой-либо причине вам необходимо исключить страницы с вашего веб-сайта, лучше всего использовать теги meta robot. Реализация этого тега может быть сложной или запутанной время от времени. контакт Парадигма клиента сегодня для надежной и уважаемой компании, чтобы помочь со всеми вашими потребностями Колорадо SEO!

Похожие

Комментарии