Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights

Описание

Drag-and-Drop LLMs: Преобразование запросов в веса без обучения

В данной статье представлена модель Drag-and-Drop LLMs (DnD), новый подход к адаптации больших языковых моделей (LLMs) без обучения для каждой задачи. DnD использует генератор параметров, обусловленный запросами, для преобразования немаркированных запросов задач непосредственно в обновления весов LoRA. Текстовый кодировщик преобразует запросы в условные вложения, которые затем преобразуются в матрицы LoRA. DnD значительно снижает накладные расходы на адаптацию по сравнению с полной дообучением. Он достигает прироста производительности в рассуждениях здравого смысла, математике, кодировании и многомодальных задачах. Метод демонстрирует надежное обобщение между доменами, не видя целевых данных или меток. Исследование предлагает новую парадигму адаптации LLM, делая веса генеративной целью, обусловленной дескрипторами задач.
#LLM #ЭффективнаяТонкаяНастройкаПараметров #LoRA #ОбучениеБезПримеров #ОбуславливаниеЗапросами #Гиперсети #ИИ #МашинноеОбучение #NLP

документ - https://arxiv.org/pdf/2506.16406v1
подписаться - https://t.me/arxivdotorg
отправить донаты:
USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr
ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e
создано с помощью NotebookLM