Многие предприятия поставляют ИИ вслепую или полагаются на устаревшие подходы к мониторингу моделей для выявления проблем с моделями в производстве. Чтобы понять масштаб проблемы и предложить потенциальные решения, компания Arize AI провела опрос среди специалистов по анализу данных, инженеров и руководителей.

Основные результаты исследования:
- 84,3% специалистов по обработке данных и инженеров по машинному обучению говорят, что время, необходимое для обнаружения и диагностики проблем с моделью, является проблемой для их команд, что, вероятно, усугубляется постпандемической средой, где проблемы с дрейфом и производительностью повышены.
- Командам и руководителям предприятий необходима масштабируемость машинного обучения. Более половины специалистов по обработке данных, инженеров и технических руководителей говорят, что их команды выиграли бы от более глубоких возможностей в области мониторинга дрейфа и устранения неполадок, а также от объяснимости. Более четырех из десяти хотят улучшить мониторинг производительности модели.
- Между руководителями и командами искусственного интеллекта существует пропасть. Несмотря на тот факт, что модели машинного обучения более важны для бизнес-результатов после COVID-19 почти для трети опрошенных, 54,0% сообщают о проблемах, связанных с тем, что руководители предприятий не могут количественно оценивать рентабельность инвестиций в ИИ. Между тем, 19,3% технических руководителей говорят, что они часто сталкиваются с проблемами, связанными с обменом данными.
- У отрасли есть способ придерживаться этики искусственного интеллекта. 79,7% команд сообщают, что им “не хватает доступа к защищенным данным, необходимым для устранения предвзятости или проблем с этикой”.
- Хотя технические руководители и специалисты по обработке данных придают большое значение объяснимости, команды по машинному обучению в здравоохранении и инженеры – которые, как правило, запускают модели в производство и поддерживают их в рабочем состоянии – придают большее значение мониторингу и устранению неполадок.