USDA показало, как Ontology от Palantir очищает данные и защищает доступ для LLM.
Министерство сельского хозяйства США (USDA) представило кейс, демонстрирующий современный подход к построению аналитических систем с использованием искусственного интеллекта на базе платформы Palantir Ontology.
В ведомстве признали, что внедрение Palantir было вынужденным шагом. USDA столкнулось с «зоопарком систем»: множество разрозненных устаревших приложений, затраты на интеграцию которых были огромны, а главное — многие из этих систем имели серьёзные уязвимости перед хакерскими атаками.
Решением стала Ontology — операционный семантический слой (operational layer) поверх данных, объединённых в Palantir Foundry. Ontology представляет собой собственную AI Friendly базу данных Palantir, которую наполняют специальные агенты. Эти агенты работают с источниками в режиме «недоверия к данным»: они не просто переносят информацию, а исходят из того, что исходные данные грязные и плохо структурированные. ИИ-агенты сначала фильтруют и исправляют сведения, восстанавливают классификаторы и только после этого перекладывают их в Ontology.
Аналитические агенты на базе больших языковых моделей (LLM) получают доступ исключительно к очищенным данным в Ontology. Прямое подключение LLM к исходным источникам запрещено из соображений безопасности.
Эксперты в области ETL и хранилищ данных отмечают, что такой подход содержит множество разумных идей. Если пытаться строить отчёты сразу на основе некачественных данных, например, из 1С, то и руководство получит некачественные выводы. Данные необходимо сначала очищать от ошибок операторов и обогащать аналитикой.
Принцип блокировки отчётных систем от грязных данных в ERP, CRM и других источниках действительно важен. Для генерального директора критично видеть не только OLAP-куб, но и дополнительные измерения, включая показатель «Риск недостоверности данных». Сегодня топ-менеджмент зачастую принимает ошибочные решения, доверяя прямым отчётам из 1С, где данные остаются грязными, искажёнными и неполными.
Ещё новости:
