Как обучить свою LLM с нуля на PyTorch: русскоязычный гайд по MiniMind.
Мы изучили русскоязычный гайд по обучению MiniMind с нуля на PyTorch.
Обучение начинается с подготовки корпуса в формате JSONL и трансформера со случайными весами. Затем модель предобучается на текстах, дообучается на диалогах и запускается как локальный чат из сохранённого чекпойнта.
Первый прогон можно выполнить на CPU, чтобы проверить весь пайплайн на небольшом датасете. Для следующего шага в руководстве есть инструкции по обучению модели примерно на 64 млн параметров на GPU и подготовке собственного русскоязычного корпуса.
Что разобрано в README
- как устроен attention;
- зачем при SFT маскировать токены пользователя;
- как проверить качество на данных, которых модель не видела при обучении.
Гайд и команды доступны на GitHub: https://github.com/justxor/minimind-llm-from-scratch-ru/

