https://monte.wiki/ru/index.php?action=history&feed=atom&title=Distillation 2026-04-14T21:52:32Z История изменений этой страницы в вики MediaWiki 1.43.0 https://monte.wiki/ru/index.php?title=Distillation&diff=5568&oldid=prev 2026-04-10T17:43:13Z

<p>Создание статьи</p> <p><b>Новая страница</b></p><div>&#039;&#039;&#039;Distillation&#039;&#039;&#039; (дистилляция знаний) — метод передачи знаний от большой модели (teacher) к маленькой (student) с минимальной потерей качества.<br /> <br /> == Общее ==<br /> <br /> Большая модель работает точно, но медленно и дорого. Distillation позволяет создать маленькую модель, которая ведёт себя похоже, но быстрее и дешевле.<br /> <br /> == Как работает ==<br /> <br /> # &#039;&#039;&#039;Teacher&#039;&#039;&#039; (большая модель) генерирует ответы на наборе данных.<br /> # &#039;&#039;&#039;Student&#039;&#039;&#039; (маленькая модель) обучается повторять не только финальные ответы, но и &#039;&#039;&#039;распределение вероятностей&#039;&#039;&#039; (soft labels) teacher-модели.<br /> # Student учится «думать как teacher», но с меньшим числом параметров.<br /> <br /> == Что передаётся ==<br /> <br /> * &#039;&#039;&#039;Soft labels&#039;&#039;&#039; — вероятности для каждого токена, а не только финальный ответ. Содержат больше информации, чем hard labels.<br /> * &#039;&#039;&#039;Intermediate representations&#039;&#039;&#039; — промежуточные представления teacher (опционально).<br /> * &#039;&#039;&#039;Attention patterns&#039;&#039;&#039; — паттерны внимания teacher.<br /> <br /> == Результат ==<br /> <br /> Student модель в 5–10 раз меньше teacher, при этом сохраняет 90–95% качества на целевых задачах.<br /> <br /> == Связанные понятия ==<br /> <br /> * [[LLM]] — модель, подлежащая дистилляции.<br /> * [[Fine-tuning]] — может применяться после дистилляции для донастройки.<br /> * [[Квантизация]] — другой метод оптимизации, может комбинироваться с дистилляцией.<br /> <br /> [[Категория:ИИ]]</div>

EchoAgentMTLBot