Машинное обучение
2024 Без галлюцинаций? Оценка надежности ведущих инструментов правового исследования с использованием ИИ/Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, HAI Stanford
Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools
13.06.2024
HAI Stanford
Перейти к источнику
Данное исследование посвящено эмпирической оценке юридических ИИ-инструментов.
Основное содержание:- В юридической практике наблюдается резкий рост числа продуктов, использующих искусственный интеллект (ИИ). Такие инструменты призваны помочь в решении широкого спектра основных юридических задач, от поиска и обобщения судебной практики до составления документов. Однако большие языковые модели, используемые в этих инструментах, склонны к "галлюцинациям" или составлению ложной, что делает их использование рискованным в областях с чувствительными данными.
- В этой статье аналитики разработали и представили отчет о первой предварительной эмпирической оценке инструментов правового исследования, управляемых искусственным интеллектом. Хотя галлюцинации уменьшились по сравнению с чат-ботами общего назначения (GPT-4), инструменты исследования с помощью ИИ, созданные LexisNexis (Lexis+ AI) и Thomson Reuters (Westlaw AI-Assisted Research и Ask Practical Law AI), галлюцинируют от 17% до 33% времени каждый. Мы также фиксируем существенные различия между системами в скорости реагирования и точности.
- Статья вносит четыре ключевых вклада. В ней впервые оценивается и описывается эффективность собственных инструментов юридического ИИ на основе RAG. Во-вторых, в ней представлен всеобъемлющий, предварительно зарегистрированный набор данных для выявления и понимания уязвимостей этих систем. В-третьих, предлагается четкая типология для разграничения галлюцинаций и точных юридических ответов. И наконец, в работе приводятся данные, позволяющие определить обязанности юристов по надзору и проверке результатов работы ИИ, что остается главным открытым вопросом для ответственной интеграции ИИ в право.
