Файл robots.txt

Описание

00:28 - Что такое файл robots.txt?
01:18 - Для чего нужен robots.txt?
01:54 - Что можно с помощью robots.txt?
02:32 - Пример файла
02:47 - Что такое директива?
03:11 - Какие директивы существуют?
04:29 - Что такое группа директив?
04:53 - Директива User-agent
07:09 - Директива Disallow
09:11 - Директива Allow
11:03 - Регулярные выражения
11:39 - Символ «/»
12:36 - Символ «*»
13:41 - Символ «$»
14:39 - Как запретить сканирование всего сайта?
14:49 - Как запретить сканирование веб-страницы?
15:00 - Как запретить сканирование директории?
15:15 - Как запретить сканирование URL с GET-параметрами?
15:50 - Запрет сканирования URL с определённым GET-параметром
16:17 - Как запретить сканирование определённых типов файлов?
16:45 - Как создавать исключения с помощью директивы Allow?
18:16 - Пример файла robots.txt для сайта на Joomla 3
19:10 - Директива Sitemap
20:19 - Требования к файлу robots.txt
20:56 - Как проверить файл robots.txt на ошибки
21:12 - Анализ robots.txt в Яндекс.Вебмастер
22:24 - Инструмент проверки файла robots.txt в Search Console
23:04 - Выводы и заключение

Материал в базе знаний:
https://seoportal.net/baza/indeksatsiya/robots-txt

#robotstxt #seo #индексирование