Данный документ представляет собой подробный анализ развития сферы самоконтролируемого обучения ИИ (SSL).

Основное содержание:

• Самоконтролируемое обучение (SSL) создало новую парадигму для развития машинного интеллекта.Сегодня SSL лежит в основе передовых моделей для всех модальностей - язык (например, перевод и большие языковые модели), аудио (например, data2vec) и зрение (например, модель SEER, обученная на одном миллиарде изображений, и DINOv2).

Существует множество факторов, которые приводят к сложному барьеру входа в SSL:

1. Во-первых, вычислительные затраты на обработку огромных объемов немаркированных данных очень высоки как для обучения, так и для оценки.
2. Во-вторых, существует не так много подробных документов, демонстрирующих сложные варианты реализации, необходимые для реализации потенциала SSL.
3. В-третьих, из-за того, что SSL устанавливает особенно четкую парадигму, отсутствует единый словарь и теоретический взгляд на SSL. Без общей основы для характеристики различных компонентов исследователям сложно понять, сравнить и разработать методы SSL.

В SSL по-прежнему остается множество открытых исследовательских вопросов, включая гарантии обобщения, свойства справедливости и устойчивость к  кибератакам. Исследовательскому сообществу необходимо лучше понять, как различные, но пересекающиеся методы могут дать самые современные результаты, и в более общем плане продвинуть теоретическое понимание SSL и лучших практик для дальнейшего внедрения.