Детальная настройка Screaming Frog SEO Spider для парсинга миллионов страниц

Описание

Проходим по всем настройка программы Screaming Frog SEO Spider для парсинга больших (и не очень) проектов.

Правила для исключений:
http.*\.jpg
http.*\.jpeg
http.*\.png
http.*\.gif
http.*\.pdf
http.*\.JPG
http.*\.JPEG
http.*\.PNG
http.*\.GIF
http.*\.css
http.*\.CSS
http.*\.js
http.*\.JS
http.*\.jpe*
http.*\.JPE*
http.*\?.*
http://.*
--
? Платные услуги ?
► SEO-консультации/аудиты - https://t.me/zimin_consult
► SEO-продвижение под ключ - https://t.me/zimin_seo
► Накрутка поведенческих факторов (ПФ) - https://t.me/zimin_pf
► По всем коммерческим вопросам - https://t.me/angetgrowth
--
00:00 - Вступление
00:38 - Начинаем настраивать
00:51 - Storage Mode
2:00 - Memory Allocation
3:09 - Настройка спайдера
10:29 - Настраиваем исключения
12:18 - Настройка скорости
13:35 - Что включать в парсинг
14:26 - User-Agent
15:00 - Настраиваем вкладки
16:37 - Сохраняем настройки