Хорошо, когда у бизнеса есть свой сайт. А ещё лучше – когда он стабильно работает и попадает на высокие позиции в поисковой выдаче. Как и любой технически сложной вещи сайту требуются регулярные проверки и диагностики. Самый простой способ это сделать — поручить поддержку и обслуживание сайта профессионалам. Но некоторые базовые вещи можно проверить самостоятельно с помощью всего одной программы. Называется она Screaming Frog SEO Spider. Утилита позволит найти конкретные проблемы сайта, требующие решения и исправления. А дальше починить ресурс самостоятельно или составить подробное ТЗ для стороннего исполнителя.

Предупреждаем — если вы опытный SEO-специалист, то скорее всего ничего нового для себя здесь не найдёте. Материал предназначен для людей, которые не разбираются в технических тонкостях работы сайтов и хотят получит хотя бы примерное представление о состоянии их ресурса.

Официальный сайт разработчиков — https://www.screamingfrog.co.uk/

Для владельцев маленьких сайтов достаточно бесплатной версии, в которой стоит ограничение проверки на 500 страниц и недоступны настройки работы сервиса.

Первые шаги

Прежде чем приступить к подробным инструкциям нужно понять, а что собственно Screaming Frog SEO Spider делает? Больше всего это похоже на работу поисковых роботов, сервис обходит доступные страницы сайта и собирает о них информацию.

Сбор информации

Первый шаг очень простой: «Нажми на кнопку, получишь результат»

В специальном поле нужно указать адрес сайта и запустить процесс.

Программа немедленно начнёт обходить ресурс. Внизу появятся ссылки на страницы сайта, картинки и другие составляющие, а справа сверху можно наблюдать прогресс действия.

Проверка состояния страниц

Итак, сбор закончен, куда смотреть? Первым делом обратите внимание на коды ответа страниц сайта. Для удобства рекомендуем их отсортировать.

О чём говорят эти цифры? Разберем самые частые варианты:

200 – OK, успешный запрос. Это значит, что со страницей всё хорошо, она работает так, как надо;

404 – Not found (Не найдено). Сервис не смог найти по ссылке страницу. От таких «битых» ссылок необходимо избавляться, поисковые системы относятся к ним негативно. Тут же в программе можно найти, где 404 ссылка находится.

Чтобы избавиться от проблемы, нужно на странице с «битой» ссылкой её найти и прописать правильно или удалить.

301 - Moved Permanently (Перемещено навсегда). Этот код говорит нам, что страница по этому адресу перемещена и адрес необходимо обновить. Найти нужные страницы с 301 ссылкой можно так же, как и с 404.

502 - Bad Gateway. Появление такого кода означает, что с сервером, на котором находится сайт, возникли какие-то проблемы. В таком случае сайт может быть недоступен для посетителей. Иногда такой код может появляться, если на сайте стоит защита от роботов. Чтобы обойти ограничение нужно сменить поискового агента программы:

Например на бота Яндекс

Существует большое количество других кодов ответа, но в подавляющем большинстве случаев вы увидите именно эти 4 варианта.

Проверка заполнения метатегов

Простым языком метатеги – данные о странице, которые учитываются поисковиками и которые будут показаны пользователю в выдаче. Два главных тега: title и description.

В рамках данной статьи мы не будем останавливаться на том, как правильно их заполнять. Самое главное то, что они должны быть на каждой странице сайта, которая попадёт в поисковые системы.

Как проверить наличие метатегов с помощью Screaming Frog SEO Spider?

Достаточно просто переключиться на одноимённые вкладки:

В списке будут указаны страницы и их метатеги. Если поля Meta Description 1 и Title 1 пустые — значит тегов нет и их нужно заполнить. А во вкладке Length показана длина тега в символах и пикселях, что позволяет выявить слишком длинные или слишком короткие и в дальнейшем оптимизировать.

Проверка sitemap

Sitemap – это XML файл, содержащий для поисковых роботов информацию на сайте. Обычно его можно найти по адресу САЙТ.ru/sitemap.xml.

Актуальность информации, содержащейся в sitemap очень важна. Именно по ней ориентируются и индексируют страницы поисковые роботы. Поэтому содержание sitemap должно соответствовать реальному положению вещей на сайте. Screaming Frog SEO Spider поможет быстро и наглядно проверить sitemap и найти ошибки и «битые» ссылки.

Для этого в настройках нужно указать ссылку на sitemap. Сделать это можно в настройках сбора:

А дальше запускаем сбор по алгоритму из начала статьи. По его окончанию необходимо включить Crawl Analysis, который проверит sitemap.

Сбор информации закончен, осталось лишь в ней разобраться. Для этого правое поле программы необходимо промотать вниз до вкладки sitemap.

Нажав на вкладку All можно увидеть состояние ссылок в sitemap (в том числе битые) по тому же принципу, который описывался во второй части статьи. Ещё один важный момент – вкладка URLs not in Sitemap. Здесь находятся ссылки, которых нет в sitemap. Очевидно, что если в списке оказались важные ссылки, которые должны видеть поисковики, то их нужно как можно скорее добавить в карту сайта.

В рамках данного материала мы описали лишь малую часть функционала Screaming Frog SEO Spider. Но этого достаточно, чтобы иметь хотя бы базовое представление о состоянии сайта. И что самое удобное — это не займёт много времени, сторонних сервисов и не требует специальных знаний.