Яндекс Вебмастер: как подключить сайт и что значат его сообщения

Яндекс Вебмастер - бесплатная панель, где владелец сайта видит, как поисковая система читает его страницы: какие она нашла, какие добавила в поиск, что мешает индексации и по каким запросам показывает сайт. Подключить его стоит в первый же день после запуска: до этого Яндекс о вашем сайте знает только то, что случайно найдёт сам.

Ниже: как добавить сайт, как подтвердить права, что делать с sitemap и переобходом, как читать сообщения панели. Разбираем на примере нашего сайта kel.agency, на нём мы всё это проходили недавно.

Что показывает Яндекс Вебмастер

Панель отвечает на четыре вопроса:

• Видит ли Яндекс сайт. Сколько страниц робот загрузил, какие добавил в поиск, а какие исключил и почему.
• Нет ли технических ошибок. Недоступные страницы, ошибки сервера, запрет в robots.txt, проблемы с адресами.
• По каким запросам вас находят. Показы и клики в поиске Яндекса, позиции по запросам.
• Что рекомендует сам Яндекс. Блок сообщений: нет карты сайта, не найден значок сайта, замечены нарушения.

Это основной источник данных о поиске. Метрика покажет, что делают люди на сайте, Вебмастер показывает, как они до него дошли и дошли ли вообще.

Как добавить сайт

1. Войдите в Вебмастер с аккаунтом Яндекса. Лучше завести аккаунт, который принадлежит компании или вам лично, а не сотруднику, который потом уйдёт.
2. Нажмите «Добавить сайт» и введите адрес. Укажите тот вариант, который считаете главным: с www или без, https. У нас основной адрес https://kel.agency, а www переадресуется на него.
3. Подтвердите права на сайт.

Если у вас версии с www и без, Яндекс считает их разными адресами, поэтому настройте переадресацию на сервере и добавляйте в Вебмастер основной адрес.

Подтверждение прав на сайт

Яндекс должен убедиться, что сайт ваш. Для этого он предлагает три способа:

• Метатег. Скопируйте предложенный тег и вставьте его в элемент head главной страницы.
• HTML-файл. Создайте файл с предложенным названием и содержимым и положите его в корень сайта.
• Запись в DNS. Добавьте в DNS-записи домена запись типа TXT с предложенным значением. DNS обновляется не мгновенно, поэтому проверка может пройти не сразу.

Мы подтвердили права метатегом: он хранится в коде сайта и переживает любые пересборки, а файл в корне можно случайно потерять при переезде. Какой способ выбрать у вас, зависит от того, где доступнее изменения: в коде, на хостинге или в DNS.

Подтверждать права нужно для каждого сайта отдельно. После подтверждения не удаляйте метатег или файл: если он пропадёт, Яндекс потеряет подтверждение.

Sitemap: карта сайта для робота

Sitemap - файл со списком страниц сайта (обычно sitemap.xml). Он помогает роботу быстрее находить новые страницы.

Указать его можно двумя способами, достаточно одного:

• строкой Sitemap: https://ваш-сайт/sitemap.xml в файле robots.txt;
• в разделе «Индексирование» - «Файлы Sitemap» панели Вебмастера.

По справке Яндекса, после добавления файл попадает в очередь, и робот загружает его в течение двух недель. Ускорить можно кнопкой обновления: после неё робот скачивает данные в течение трёх дней, но использовать её можно не больше десяти раз на сайт.

Хорошая привычка: после добавления файла вернуться в раздел и посмотреть статус. «OK» значит, что файл загружен и распознан. Статус «Не проиндексирован» означает, что доступ к файлу закрыт директивой Disallow в robots.txt.

Переобход страниц

Когда вы добавили новую страницу или заметно изменили старую, не обязательно ждать, пока робот придёт сам. В разделе «Индексирование» - «Переобход страниц» можно отправить адреса и попросить сходить к ним в приоритете.

По справке, робот приходит не позднее трёх дней, обычно быстрее, а данные в поиске обновляются в течение двух недель. Количество адресов в сутки ограничено и рассчитывается для каждого сайта отдельно, лимит указан под полем ввода. Если он закончился, инструмент снова заработает на следующий день.

Что ещё есть в панели

Названия разделов Яндекс время от времени меняет, поэтому ориентируйтесь на смысл:

• Диагностика - ошибки и предупреждения о сайте, в том числе проблемы с доступом и скоростью.
• Индексирование - загруженные и добавленные в поиск страницы, sitemap, переобход, проверка ответа сервера.
• Поисковые запросы - показы, клики и позиции по запросам. Для нового сайта здесь первое время пусто, это нормально.
• Безопасность и нарушения - вирусы и нарушения, из-за которых сайт могут понизить в выдаче.
• Ссылки - на что и откуда ведут ссылки на сайте.

Разбор двух сообщений на нашем примере

После запуска мы открыли индексацию 29 сентября и подтвердили права. Через несколько дней в панели появились две рекомендации.

«Нет используемых роботом файлов Sitemap». Файл sitemap.xml у нас был, и сервер отдавал его с кодом 200. Но в логах сервера видно, что в тот день робот зашёл на главную, шесть страниц услуг и забрал шрифты, а за sitemap.xml не приходил. Строки Sitemap: в robots.txt в тот момент ещё не было, а в Вебмастере файл мы не добавляли. Роботу было неоткуда узнать о нём. Директиву в robots.txt мы добавили 3 октября, остаётся добавить файл в разделе «Файлы Sitemap» и дождаться, пока робот придёт.

«Файл favicon не найден». Значок сайта лежал в корне и открывался, но робот за ним тоже не приходил: на 3 октября он был на сайте всего один раз, 29 сентября. По справке Яндекса, значок должен лежать в корне сайта под именем favicon, быть доступен с ответом 200 и не закрыт в robots.txt, а ссылка на него должна стоять в head главной страницы. Рекомендуемые размеры - 16 на 16, 32 на 32 или 120 на 120 пикселей, либо SVG. После этого нужно отправить главную страницу на переобход: значок обновится в течение трёх дней.

Вывод из нашего случая: многие сообщения Вебмастера говорят не об ошибке сайта, а о том, что робот пока не успел что-то проверить. Прежде чем что-то чинить, откройте файл сами: если он отвечает 200 и лежит там, где нужно, сделайте переобход и подождите.

Что делать, если сайт не индексируется

1. Откройте ваш-сайт/robots.txt: нет ли там Disallow: / для робота Яндекса.
2. Проверьте, нет ли на страницах мета-тега robots со значением noindex и заголовка X-Robots-Tag: noindex. Их оставляют при разработке, чтобы закрыть сайт, и забывают убрать.
3. Убедитесь, что главная и важные страницы отвечают кодом 200 без цепочки редиректов.
4. Добавьте sitemap и отправьте главную страницу на переобход.
5. Проверьте, что на новые страницы ведут ссылки с других страниц сайта. Страницу-сироту робот найдёт хуже.
6. Подождите. Новому сайту обычно нужны недели, особенно если на него никто не ссылается.

Аналогичная панель есть у Google: Search Console. Подключается она так же, по тому же принципу, и показывает то же самое для его поисковика. Мы подключили обе.

Если у вас уже работающий сайт, а в панелях накопились ошибки и непонятные сообщения, SEO-аудит поможет разобрать их по порядку, а продвижение сайта - превратить индексацию в трафик. Сайт, который только готовится к запуску, легче сразу сделать правильно: об этом мы писали в статье про выбор между конструктором и разработкой на заказ.