Как поднять LLM на VPS | vLLM + Docker + Qwen 2.5 - полный гайд | Михаил Омельченко

Описание

В этом видео я с нуля поднимаю языковую модель Qwen 2.5 7B на VPS с использованием vLLM. Весь процесс от выбора конфигурации сервера до установки всех необходимых компонентов (Docker, NVIDIA драйверы, cuda-toolkit) и финального запуска модели. Показываю, как правильно подобрать железо под конкретную модель, где искать модели на Hugging Face, как понимать требования по памяти и диску.

Подключаемся к серверу через SSH, устанавливаем окружение, запускаем vLLM в Docker контейнере и тестируем модель через Postman. В конце — как правильно останавливать и архивировать сервер, чтобы не переплачивать. Все команды и инструкции будут доступны в моем Telegram канале.

Что вы узнаете:
Как выбрать VPS под конкретную LLM модель, учитывая параметры (миллиарды параметров, квантование, размер модели). Как работать с Hugging Face: искать модели, понимать их требования и получать токен доступа. Пошаговую установку всего необходимого: от подключения к серверу по SSH до настройки NVIDIA драйверов и запуска vLLM. Как тестировать модель через API и отправлять запросы на русском языке. Как управлять сервером и экономить на тарификации через архивацию.

Регистрируйтесь по моей реферальной ссылке в облаке immers.cloud и получите +20% к первому пополнению https://immers.cloud/signup/r/20250922-8547521-682/

Подписывайся на Telegram канал - https://t.me/django_school
Инструкция по настройке сервера - https://aisferaic.ru/blog/tutorials/32/

Хотите поддержать автора?
Подписывайтесь на мой закрытый Telegram-клуб — за чашку кофе в месяц получите доступ к эксклюзивным стримам, обсуждениям и материалам, которых нет в открытом доступе.
Ссылка - https://t.me/aisferaic_bot

---=---
📌 Мой сайт с промптами: https://aisferaic.ru/
📌 Telegram-канал: https://t.me/django_school
📌 Закрытый клуб по нейросетям: https://t.me/aisferaic_bot
📌 Услуги и консультации: https://djwoms.ru
---=---

00:00 — Что будем делать: план видео
00:37 — Выбор VPS и понимание требований модели
01:11 — Hugging Face: как найти и выбрать модель
05:30 — Создание сервера на ImmersCloud
10:20 — Создание ключевой пары и квоты
12:08 — Подключение по SSH
14:20 — Установка Docker и обновление системы
15:34 — Токен от Hugging Face
16:34 — Установка NVIDIA драйверов и nvidia-container-toolkit
17:34 — Запуск vLLM и загрузка модели
18:00 — Тестирование через Postman: первые запросы
19:50 — Остановка и архивация сервера

#LLM #vLLM #VPS #AI #HuggingFace #Docker #DeepLearning #MLOps #SelfHosted #Qwen #NeuralNetworks #Python #CUDA #омельченко #михаиломельченко #ии #нейросеть