Как настроить robots txt? Пример моего файла

Описание

📢Как настроить robots txt ? Какие директивы файла robots txt бывают? Проверить robots txt онлайн в яндекс вебмастере.
Пример моего файла: https://docs.google.com/document/d/1k4qSWaNKKKLMEy4CVef458y6F8jSii7IKjDqRsq7QGw/edit?usp=sharing

🔥Полезные источники:
https://serpstat.com/ru/blog/chto-takoe-robotstxt-i-kak-pravilno-ego-nastroit/ - что такое robots.txt
https://drmax.su/robots-txt-dlya-sajta.html - основные ошибки при формировании Роботса для сайта

🔥Подписывайтесь на мой:
instagram - https://www.instagram.com/ikonnikita_seo/
telegram - https://t.me/seohub_ikon

⏰Тайм коды:
00:00 Введение
00:30 Что запрещаем в disallow?
04:00 Clean-param что это?
05:36 Что разрешаем в allow?
06:28 Куда загружать файл robots.txt?
07:07 Как проверить корректность?
07:33 Заключение