Screaming Frog

Одним из наиболее полезных сервисов является Screaming Frog (SF), который дает возможность с помощью парсинга (сбора информации) получить необходимые данные, например, массово выгрузить пустые страницы или найти все дубликаты по метатегу Title.

Особенности Screaming Frog SEO Spider

• Сканирование как всего сайта, так и вручную заданного списка страниц
• Поддержка API Google Analytics и Google Search Console (Google Webmaster)
• Возможность в любой момент приостановить сканирование, сохранить проект и закрыть программу, а при следующем запуске продолжить с того же места
• Генерация файла sitemap.xml с расширенными настройками
• Использование произвольного User-Agent
• Отображение кодов ответа сервера для всех найденных страниц
• Гибкие настройки сканирования и отображаемой информации
• Настройка перенаправления URL-адресов (работает как локальный htaccess)
• Поиск страниц, в коде которых имеется вручную заданный текст/фрагмент кода
• Расширенные возможности выгрузки данных в CSV
• Возможность отобразить древовидную структуру сайта
• Возможность просканировать определенные разделы/страницы на сайте, либо наоборот, исключить их при сканировании
• Огромное количество отображаемой информации по SEO о найденных страницах
• Сканирование сайтов, требующих авторизацию через базовую аутентификацию
• Поддержка Proxy

Возможности Screaming Frog SEO Spider

• Поиск битых страниц и страниц с редиректами. Отображение анкоров и самих документов, на которых находятся ссылки на данные страницы.
• Поиск страниц с короткими, длинными, дублирующимися тегами title, а также с тегами title, содержимое которых совпадает с тегом h1.
• Поиск страниц с короткими, длинными, дублирующимися и отсутствующими мета-тегами description.
• Поиск страниц, на которых тег h1 встречается более одного раза или не встречается вовсе.
• Поиск изображений с большим размером, а также с отсутствующими и длинными атрибутами alt и title тега img.
• Отображение информации по meta-тегам, управляющими поисковыми роботами (атрибуты rel=”canonical”, rel=”next”, rel=”prev” тега link).
• Поиск страниц по заданному фрагменту, выгрузка содержимого определенных тегов по регулярному выражению (например, можно спарсить все h5 заголовки или все тексты на сайте).
• Поиск дублей страниц по хэш-сумме исходного кода.
• Отображение структуры сайта и уровня вложенности страниц. Визуализация данных.
• Проверка времени загрузки страниц.

Основной функционал Screaming Frog SEO Spider

• Internal. Здесь можно получить ключевую информацию обо всех страницах сайта (их, при желании, можно отсортировать по алфавиту). Достаточно кликнуть по URL какой-либо страницы, чтобы увидеть достаточно подробные данные о ней. В разделах вкладки «in links» и «out links» можно просмотреть отдельные данные о входящих и исходящих ссылках соответственно, что поможет откорректировать внутриссылочный вес каждой страницы. Также можно получить информацию о расположенных на странице картинках, заголовках, мета-тегах, размере страницы в байтах, уровне ее вложенности по отношению к главной странице интернет-портала, и так далее.
• External. Вкладка включает в себя полный список сайтов, на которые со станиц вашего ресурса ведут открытые ссылки. Для каждой из них можно узнать тип, кодировку, уровень вложенности соответствующей страницы и другие данные.
  Response Codes. Здесь содержится информация обо всех редиректах сайта: адреса страниц, исходящих ссылок и, что самое важное, коды и статусы ответа веб-сервера. В контексте оптимизации сайта пристального внимания заслуживают страницы с кодами 404 (Not Found), 302 (Found) и 301 (Moved Permanently). Особенно важно грамотно настроить 301 редирект.
• URI. Это отдельная вкладка, целиком и полностью посвященная «проблемным» страницам сайта. Их адреса могут попасть сюда по разным причинам: например, если в их названии присутствуют символы, которых нет в ASCII; если длина адреса превышает 115 символов; если адрес является динамическим; если страницы дублируются; и по ряду других. То, что какая-то страница попала на эту вкладку, еще не значит, что с ней гарантированно что-то не так – однако это повод лишний раз проверить ее и, при необходимости, внести корректировки.
• Page Titles. Здесь собрана информация о тайтлах всех страниц сайта. Соответственно, тут можно узнать, на каких страницах не оказалось тайтлов (и добавить их, поскольку они крайне важны для продвижения); где тайтлы совпадают с H1 (что также лучше исправить); у каких страниц одинаковые тайтлы (и это, опять же, лучше откорректировать, сделав Title разных страниц уникальными); где размер тайтла выходит за пределы рекомендуемой длины в 60-70 символов.
• Meta Description. Суть вкладки примерно аналогична предыдущей, только здесь речь идет уже не о Title, а о Description всех страниц сайта. Тут так же можно узнать, на каких страницах нет мета-тега, на каких он чрезмерно длинный, на каких – дублируется с других страниц, и так далее, после чего принять необходимые меры.
• Meta Keywords. Это то же самое, но для прописанных Keywords. Поскольку в нынешних реалиях прописывать их практически бессмысленно, эта вкладка не несет в себе особой ценности.
• H По аналогии с несколькими предыдущими вкладками, здесь можно получить информацию об H1 всех страниц и откорректировать их, если где-то они слишком длинны, дублированы или вовсе отсутствуют.
• H В этой вкладке можно посмотреть полный перечень заголовков второго уровня для каждой страницы и, опять же, наметить планы по их корректировке в случае необходимости.
• Images. Здесь можно получить информацию обо всех изображениях, которые загружены на сайт, и их весе. Вкладка полезна в контексте ускорения загрузки интернет-портала, которой можно добиться благодаря оптимизации картинок.
• Meta&Canonical. В этой вкладке можно, во-первых, просмотреть мета-теги robots для каждой страницы: это теги, которые позволяют или запрещают поисковым роботам индексировать страницу и использовать размещенные на ней ссылки. Здесь же можно получить информацию о канонических ссылках rel=canonical для всех страниц, то есть адресах, которые будут индексироваться при появлении дублей. Это также весьма существенная и периодически нуждающаяся в корректировке информация с точки зрения продвижения и оптимизации сайта.