Парсинг каталогов: схема из 3 шагов, шаблон и инструкция AI-агенту

Описание

Схема парсинга интернет-каталогов, которая прошла через сотни проектов. Три шага: ссылки → данные → изображения. Хранение — SQLite. Репозиторий с готовым шаблоном. И бонус: AI-агент написал парсер за 5 минут.

Шаблон для парсинга https://github.com/DxDiagDx/parser-products

Книга "Про парсинг" https://proparsing.ru/books/pro-parsing

Почта: lukin@usota.ru
Телеграм: https://t.me/lukin_ea

00:00 — Схема парсинга каталогов. О чём ролик и книга
01:03 — Три шага: ссылки → данные → изображения
01:42 — Почему SQLite, а не CSV/JSON
02:11 — Пример структуры базы данных (Products, Params, Images)
02:49 — Как база ускоряет загрузку в любую CMS (Битрикс, WooComerce, Tilda)
03:50 — Практика: парсим https://buki-ruki.ru/
04:06 — Репозиторий parser‑products: клонируем и настраиваем
06:10 — Создаём базу данных. Знакомство с requests_session.py
07:21 — Шаг 1: парсим ссылки (get_links)
10:11 — Запускаем сбор ссылок
10:38 — Шаг 2: парсим детали (get_details)
13:15 — Шаг 3: скачиваем изображения (download_images)
14:58 — Облажал с характеристиками, исправил
16:27 — Перезапускаем парсинг с чистой базы
17:44 — Скачиваем изображения. Проверяем результат
18:06 — Инструкция для AI-агента (файл instructions.md)
24:17 — Итоги: схема → SQLite → репозиторий → AI-агент

#парсинг #парсингсайтов #sqlite #aiагент #вебскрапинг #python #парсингмагазинов