The Art of Scaling Reinforcement Learning

Описание

Искусство масштабирования обучения с подкреплением

В этом документе представлено исследование по масштабированию обучения с подкреплением (RL) для больших языковых моделей (LLM). В нем рассматривается отсутствие принципиальных методологий для оценки алгоритмических улучшений при масштабировании RL. Исследование включало в себя обширные эксперименты, в которых было использовано более 400 000 GPU-часов для анализа и прогнозирования поведения масштабирования RL. Исследование показывает, что различные рецепты RL достигают разных уровней асимптотической производительности. Такие факторы, как агрегирование потерь и нормализация, в основном влияют на вычислительную эффективность, а не на предельную производительность. Стабильные рецепты демонстрируют предсказуемые траектории масштабирования, что позволяет экстраполировать данные из небольших прогонов. Авторы предлагают лучший практический рецепт под названием ScaleRL. В статье представлен фреймворк для анализа масштабирования в RL и рецепт для предсказуемой тренировки RL.
#ОбучениеСПодкреплением #БольшиеЯзыковыеМодели #ЗаконыМасштабирования #ВычислительнаяЭффективность #МашинноеОбучение #ScaleRL #ИИ #Алгоритмы

документ - http://arxiv.org/pdf/2510.13786v1
подписаться - https://t.me/arxivpaperu
отправить донаты:
USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr
ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e
создано с помощью NotebookLM