Ru En

2022 Индустрия готова к масштабной наблюдаемости машинного обучения/The Industry Is Ready for Machine Learning Observability At Scale, Arize

The Industry Is Ready for Machine Learning Observability At Scale

2022
английский
Arize
Скачать документ

Многие предприятия поставляют ИИ вслепую или полагаются на устаревшие подходы к мониторингу моделей для выявления проблем с моделями в производстве. Чтобы понять масштаб проблемы и предложить потенциальные решения, компания Arize AI провела опрос среди специалистов по анализу данных, инженеров и руководителей.

2022 Индустрия готова к масштабной наблюдаемости машинного обучения/The Industry Is Ready for Machine Learning Observability At Scale, Arize
Основные результаты исследования:
  • 84,3% специалистов по обработке данных и инженеров по машинному обучению говорят, что время, необходимое для обнаружения и диагностики проблем с моделью, является проблемой для их команд, что, вероятно, усугубляется постпандемической средой, где проблемы с дрейфом и производительностью повышены. 
  • Командам и руководителям предприятий необходима масштабируемость машинного обучения. Более половины специалистов по обработке данных, инженеров и технических руководителей говорят, что их команды выиграли бы от более глубоких возможностей в области мониторинга дрейфа и устранения неполадок, а также от объяснимости. Более четырех из десяти хотят улучшить мониторинг производительности модели. 
  • Между руководителями и командами искусственного интеллекта существует пропасть. Несмотря на тот факт, что модели машинного обучения более важны для бизнес-результатов после COVID-19 почти для трети опрошенных, 54,0% сообщают о проблемах, связанных с тем, что руководители предприятий не могут количественно оценивать рентабельность инвестиций в ИИ. Между тем, 19,3% технических руководителей говорят, что они часто сталкиваются с проблемами, связанными с обменом данными. 
  • У отрасли есть способ придерживаться этики искусственного интеллекта. 79,7% команд сообщают, что им “не хватает доступа к защищенным данным, необходимым для устранения предвзятости или проблем с этикой”.
  • Хотя технические руководители и специалисты по обработке данных придают большое значение объяснимости, команды по машинному обучению в здравоохранении и инженеры – которые, как правило, запускают модели в производство и поддерживают их в рабочем состоянии – придают большее значение мониторингу и устранению неполадок.

Документы