Google превратила медицинский ИИ AMIE в видеоврача: видеоконсультации и осмотр в реальном времени.

Google всерьёз взялась за искусственный интеллект в медицине. Компания превратила свой медицинский ИИ AMIE из текстового «врача в чате» в систему, которая может проводить полноценную видеоконсультацию в реальном времени. AMIE разговаривает с пациентом, видит его через камеру, просит выполнить элементы физикального осмотра и параллельно формирует диагноз.

Как это работает

В основу легли Gemini и Project Astra, проект Google по созданию ассистента уровня Jarvis AI. Новая AMIE выглядит похожей системой, но ограничена медицинской областью.

Это не один большой агент, а асинхронная система из трёх агентов, работающих параллельно.

• Говорилка: общается с пациентом и отвечает с минимальной задержкой.
• Планировщик: в фоне обновляет диагноз, ищет пробелы в анамнезе и планирует следующие вопросы или действия.
• Видеорегистратор: непрерывно анализирует видео и аудио: внешний вид, признаки дискомфорта, дыхание, результаты визуальных тестов. Эти данные поступают планировщику.

Например, AMIE может попросить пациента показать движения сустава, выполнить неврологический тест или показать что-то в камеру, а затем использовать увиденное при постановке диагноза. Такой интерактивный физикальный осмотр текстовые медицинские модели практически не выполняют.

Тестирование

Обычно ИИ оценивают на сгенерированных бенчмарках, но здесь всё серьёзнее. Наняли 15 актёров, придумали 100 клинических сценариев и провели 300 «консультаций».

Сравнивали три режима:

• новую версию AMIE с видеорежимом;
• текстовую AMIE;
• телемедицинские консультации с реальными врачами.

Врачи и AMIE работали со сценариями пяти групп: кардио и пульмонология, абдоминальные заболевания, ЛОР и глаза, неврология и психиатрия, опорно-двигательные проблемы. Результаты независимо оценивали 20 опытных врачей первичного звена.

Результаты

По оценке врачей-экспертов, AMIE Video оказалась примерно на уровне людей по диагностической точности, полноте сбора анамнеза, адекватности лечения и качеству коммуникации. В использовании видео ИИ оказался даже лучше врачей: AMIE чаще выявляла физические признаки и чаще предлагала пациенту выполнить нужные элементы удалённого осмотра.

«Пациенты» тоже остались довольны. Актёры высоко оценили AMIE Video по эмпатии, раппорту и уверенности в полученной помощи, а видеорежим предпочитали текстовому чату.

Единственное ограничение: пациенты были актёрами. Теперь Google аккуратно планирует тестировать систему в реальной клинической практике. Для безопасного внедрения AMIE можно встроить как скрытого ассистента в телемедицинскую консультацию с реальными врачами. Система будет на лету подсказывать врачу диагнозы, дополнительные вопросы и невербальные сигналы пациента.