Просмотр кода страницы LoRA

'''LoRA''' (Low-Rank Adaptation) — метод эффективного fine-tuning, при котором обучаются только небольшие дополнительные матрицы, а исходные веса модели заморожены.

== Проблема ==

Full fine-tuning требует обновления всех параметров модели. Для модели 7B параметров — это 7 миллиардов обновляемых весов. Дорого по памяти и времени.

== Как работает ===

Идея: вместо обновления весов W модели напрямую, добавляются две маленькие матрицы A и B. W остаётся замороженным.

Результат: W' = W + BA

Матрицы A и B маленькие: если rank=8, то вместо 7B параметров обновляются ~16B × 8 = ~65K параметров (в 100 000 раз меньше).

== QLoRA ===

QLoRA = LoRA + [[Квантизация]]. Обучение проводится на квантизированной модели (4 бита), что дополнительно снижает требования к памяти.

Результат: fine-tuning модели 65B параметров на одном GPU с 48 ГБ памяти.

== Зачем ==

* Дообучение на специализированных данных без катастрофического забывания.
* Персонализация модели под задачу за несколько часов, а не недель.
* Экономия памяти: можно fine-tunить модели, которые не помещались бы в память для full fine-tuning.

== Связанные понятия ===

* [[Fine-tuning]] — LoRA разновидность fine-tuning.
* [[Квантизация]] — используется в QLoRA.
* [[Distillation]] — LoRA может быть результатом дистилляции.

[[Категория:ИИ]]