Voxtral от Mistral AI: быстрая нейросеть на C для аудио в реальном времени.
Voxtral представляет собой быструю и независимую от внешних библиотек реализацию модели от Mistral AI, предназначенную для обработки аудио в реальном времени. Система поддерживает ввод с микрофона и потоковую передачу, обеспечивая низкую задержку и эффективное использование памяти.
Ключевые особенности
- Чистая реализация на языке C с нулевыми зависимостями.
- Поддержка Metal GPU для процессоров Apple Silicon.
- Потоковый вывод токенов в реальном времени.
- Ввод с микрофона и обработка WAV-файлов.
- Эффективное управление памятью с помощью перекрывающихся окон.
Исходный код проекта доступен на GitHub.
Ещё новости:
