Безопасное применение ИИ в разработке

Описание

Как безопасно использовать ИИ в разработке? Какие риски создают AI-ассистенты и vibe-coding, как контролировать сгенерированный код и передаваемые моделям данные и какие проверки нужны перед выпуском собственной AI-системы в production?

В эфире AM Live эксперты обсудили безопасную разработку с использованием искусственного интеллекта: AI-ассистентов в IDE, работу с репозиториями, внешними моделями, MCP-серверами и инструментами, а также контроль AI-generated code.
Разобрали безопасность AI supply chain и защиту моделей, датасетов, весов, адаптеров, системных промптов, embeddings и RAG. Обсудили AIBOM, Model Registry, provenance AI-компонентов и проверки, которые необходимо добавить к существующему DevSecOps-конвейеру.

Отдельно поговорили о security testing AI-систем перед релизом: автоматических проверках, AI Red Teaming, критериях допуска в production и изменениях модели, датасета, системного промпта или RAG, после которых необходимо повторное тестирование безопасности.

Также разобрали безопасный rollback AI-систем и распределение ответственности между разработкой, Data Science, ML Engineering, AppSec, CISO и владельцем продукта.

В эфире приняли участие:

Модератор: Андрей Жуков, Faust

Спикеры:

⚡ Михаил Черешнев, AppSec Solutions
⚡ Артур Хашаев, Группа компаний SolidLab
⚡ Дмитрий Шмойлов, Лаборатория Касперского
⚡ Михаил Кобик, Группа Астра

Тайм-коды:
00:01:40 — Введение
00:05:16 — Обсуждение уязвимостей и ответственности
00:08:06 — Проблемы автоматизации и аудита
00:11:01 — Опрос и обсуждение опасностей
00:13:12 — Недетерминированность ИИ и новые угрозы
00:14:10 — Критический код и интеллектуальная собственность
00:16:05 — Утечка данных и уязвимости
00:17:03 — Риск-профиль компаний
00:22:30 — Проникновение ИИ в процессы разработки
00:25:24 — Проблемы на ранних этапах разработки
00:26:21 — Специфические артефакты ИИ
00:27:33 — Уязвимости разработчиков
00:28:33 — Правила и контроль
00:31:17 — Серый ИИ и осознание рисков
00:32:43 — Взаимодействие с безопасниками
00:36:21 — Контроль разработчиков и фронтирных моделей
00:40:02 — Обучение и ментальные модели
00:43:41 — Персонализация и риски
00:44:38 — Мультиагентская среда и контроль
00:48:20 — Риски самомодификации агентов
00:50:53 — Стратегии управления агентами
00:53:10 — Контроль окружения моделей
00:56:06 — Изоляция и мониторинг
01:01:10 — AI-фаерволы
01:04:00 — Гардрейлы
01:05:56 — Проблемы внедрения ИИ
01:10:14 — Что такое RAC
01:12:39 — Работа агентов
01:14:48 — Пример атаки на Microsoft 365 Copilot
01:16:29 — Уязвимости и инъекции
01:18:52 — Модель нарушителя
01:19:42 — Риски использования моделей ИИ
01:21:38 — Анализ рисков вокруг моделей
01:23:26 — Принципы безопасного использования ИИ
01:26:17 — Bill of Materials и AIBOM
01:29:24 — Безопасность цепочки поставок
01:34:37 — Технологии и инвентаризация
01:38:59 — РБПО
01:41:52 — Ускорение пайплайнов с помощью ИИ
01:43:47 — Роль ИИ в безопасности
01:48:20 — Преимущества локальных моделей ИИ
01:52:24 — Оценка уязвимостей с помощью ИИ
01:54:32 — Статистика уязвимостей
01:57:08 — Процесс разработки и безопасность
02:04:04 — Будущее ИИ и безопасности
02:10:16 — Адаптация к изменениям
02:12:00 — Локальные модели и их демократизация
02:18:05 — Ошибки в безопасности
02:21:20 — Модель угроз
02:23:00 — Завершение эфира


Календарь трансляций AM Live https://amlive.ru/

https://t.me/anti_malware
https://vk.com/anti_malware
https://www.anti-malware.ru/

По вопросам рекламы:
sales@anti-malware.ru