Nnets [Neural Networks] — старейший в России культовый ИИ-журнал о нейросетях, искусственном интеллекте и роботах.

Ежедневные новости и аналитика нейромира.

Авторские материалы, исследования, обзоры и подборки.

Будущее уже здесь!

Как обучить свою LLM с нуля на PyTorch: русскоязычный гайд по MiniMind.

Мы изучили русскоязычный гайд по обучению MiniMind с нуля на PyTorch.

Обучение начинается с подготовки корпуса в формате JSONL и трансформера со случайными весами. Затем модель предобучается на текстах, дообучается на диалогах и запускается как локальный чат из сохранённого чекпойнта.

Первый прогон можно выполнить на CPU, чтобы проверить весь пайплайн на небольшом датасете. Для следующего шага в руководстве есть инструкции по обучению модели примерно на 64 млн параметров на GPU и подготовке собственного русскоязычного корпуса.

Что разобрано в README

  • как устроен attention;
  • зачем при SFT маскировать токены пользователя;
  • как проверить качество на данных, которых модель не видела при обучении.

Гайд и команды доступны на GitHub: https://github.com/justxor/minimind-llm-from-scratch-ru/

Этот пост Вконтакте:

Ещё новости:

Boston Dynamics представила Stretch Gen 2: разгрузка трейлеров до 1000 коробок в час.
Инженеры KIMM создали телевизор, в котором звук исходит прямо из изображения.
Глава Microsoft Сатья Наделла объяснил, почему попросил 60 тыс. сотрудников уволиться!
Создаём интерактивные 3D-модели по одной фотографии.
Dream-DAW: открытая цифровая звуковая станция с ИИ-ассистентом Dream AI.
Вышел комикс о ML-инженере и рекомендательных алгоритмах.
Suno открыла публичный MCP-сервер для Claude, ChatGPT, Gemini и Cursor.
Genie 4 появилась в Project Genie: доступ открыт для подписчиков Google AI Ultra.
UltraTex от Meshy AI: PBR-текстуры 4K для 3D-ассетов.
Роботы UBTECH встретят гостей саммита АТЭС-2026 в Шэньчжэне.