Обучаемый ортогональный процессор HARP от МФТИ сжимает LLM точнее QuIP#.
Исследователи из МФТИ представили HARP: метод экстремального сжатия LLM. Он заменяет фиксированное случайное преобразование Адамара, которое используют в современных методах квантования, на обучаемый ортогональный процессор.
Идея метода в том, что если заранее не предугадать хороший поворот весов, модель может сама выучить его по данным. Платой становятся разовые затраты на калибровку, но результат получается точнее при том же уровне сжатия.
- Процессор тренируется на данных калибровки, а не задается сразу, и дообучается под статистику каждого слоя.
- Полная модель не переобучается, интеграция в существующие пайплайны требует минимальных правок.
- На двух битах у Llama 2 перплексия лучше, чем у базового QuIP#: у версии с 7B параметров 9.51 против 10.86.
- Обратный ход и эффективность сохранены, накладные расходы на хранение процессора ничтожны.
- Доступны две интеграции: QuIP# и QTIP, они запускаются из своих папок.
Ещё новости:
