Хороший, плохой, злой: как вредят и помогают ИИ-юристы
«Они навсегда прославятся как адвокаты, которых обманул ChatGPT», — сказал профессор юридического факультета Нью-Йоркского университета Стивен Гиллерс, комментируя дело двух юристов фирмы Levidow, Levidow & Oberman Стивена А. Шварца и Питера ЛоДука. Их оштрафовали на $5 000 за использование в суде выдуманных сведений, сгенерированных ИИ. Это дело вызвало резонанс, став примером того, почему не стоит слепо полагаться на нейросети. При этом исследования показывают, что все больше юрфирм применяют программное обеспечение с использованием ИИ и инвестируют в эту сферу. Как «подружить» юрбизнес и ИИ и почему нельзя «просто» сделать чат-бота для юристов?
От «удивительно хорошо» до «смешного плохо»
В 2024 году Стэнфордский университет (США) выяснил, что в 69–88% случаев модели ИИ неправильно отвечали на вопросы о судебной практике и кейсах. Так, ChatGPT, основанный на модели GPT-3.5 от OpenAI, давал 69% ошибочных ответов.
Свой эксперимент провел Роман Янковский, эксперт Института образования НИУ ВШЭ и академический директор Moscow Digital School. «Я пытался решать с помощью ИИ свои юридические задачи: что-то получалось удивительно хорошо, что-то — до смешного плохо», — рассказывает российский юрист в своем блоге. По его мнению, пока ни одна из моделей, которыми он пользовался, не способна самостоятельно давать надежные юридические консультации пользователям без юридического образования.
«Проблем с ИИ несколько. Во-первых, актуализация информации в модели: даже небольшие изменения в законодательстве делают бессмысленными массу судебных решений и литературы. Во-вторых, проблема предвзятости: языковая модель вбирает зависимости, которые есть в первоначальных данных», — комментирует Янковский. Так, он предложил ИИ две точки зрения по правовому вопросу: одну, описанную юридическим языком, другую — бытовым. «ИИ скорее выберет первый вариант, даже если он будет неправильным», — заключает он. Еще Янковский выделил проблему галлюцинирования нейросетей — когда модель придумывает ответ (по сути, врет), в том числе в случаях, когда не знает правильного ответа.
Самая главная проблема искусственного интеллекта в том, что модель только делает вид, будто рассуждает логически. Но на самом деле ИИ лишь воспроизводит паттерны, заложенные при обучении. Там, где человек даже без юридических знаний из контекста уловит суть, модель может «посыпаться».
Алексей Пелевин, CEO ПравоТех, объясняет, что большие языковые модели создавались для генерации контента, а не как экспертные системы. «Конечно, юристы занимаются и творческой работой, но не настолько креативной. Для юристов критически важна точность и правдивость, а не выразительность или оригинальность», — отмечает он. Большие языковые модели обучались на большом объеме данных, которых включает в себя СМИ, энциклопедии, художественную литературу, Reddit и так далее. Договорная практика и комментарии к законам в этих корпусах присутствуют, но их объем незначителен. «Поэтому на юридические вопросы модель отвечает, но явно „фонит“ присутствие общечеловеческих массивов информации», — предупреждает Пелевин. Из-за этого у многих юристов может возникать разочарование от использования ИИ «в лоб», считает он.
Проблемы ИИ: и юридическая этика, и закон
Использование продуктов OpenAI в России осложняется не только ограничениями, установленными самой компанией в отношении региона, но и из-за особенностей законодательного регулирования. Отправлять корпоративные данные в чат небезопасно, а персональные — незаконно. Кроме того, в прошлом году в России значительно ужесточились штрафы за утечку персональных данных.
В 2023 году в мире было зарегистрировано 1024 крупных утечек данных, каждая из которых включала не менее 1 млн записей персональных данных, а в целом число таких происшествий по итогам позапрошлого года увеличилось на 60%, следует из отчета InfoWatch. Так, у Samsung через ChatGPT утекли в открытый доступ корпоративные сведения: несколько сотрудников вставили программный код в чат, потенциально сделав его видимым всем пользователям.
Open AI имеет закрытый исходный код, поэтому не известно как именно для обучения используются входящие данные. В России использовать OpenAI для работы с персональными данными нельзя — организация не имеет необходимой для этого лицензии ФСТЭК. Тем не менее, многие российские вендоры используют ChatGPT напрямую, что делает работу с чувствительными данными в них небезопасной.
С точки зрения соблюдения требований GDPR тоже есть сомнения. «Методология OpenAI, которая подразумевает сбор значительного количества онлайн-контента для обучения ИИ, может представлять значительные трудности в выполнении требований GDPR. Основной проблемой в отношении соответствия GDPR является потенциальное использование персональных данных без явного согласия», — отмечают эксперты. Так, в начале 2023 года Итальянское управление по защите данных (GPDP) заподозрило OpenAI в нарушении защиты данных ЕС.
В этом году OpenAI представила ChatGPT Gov специально для правительства США, его можно будет развернуть в собственном коммерческом облаке, но для остальных пользователей эта опция остается недоступной.
Под каждую задачу нужен свой ИИ
В российском legal tech первые интеллектуальные системы появились шесть лет назад. Речь идет о модели предсказания исхода дела, которая реализована в продуктах ПравоТех. Сейчас точность предсказания составляет 82%, и это считается очень высоким показателем.
Всего в компании несколько десятков отдельных интеллектуальных систем, одни работают как фичи в продуктах, а другие — как отдельные инструменты. Например, есть ИИ-фильтр — умный поиск, который раскладывает запрос на нормы права, суммаризация документов, выделение доводов в деле, возможность поговорить с делом или отдельным судебным актом. «Пользователь открывает карточку арбитражного дела, в которой много документов и процессуальных событий. Он просто пишет в чат вопрос, а система выделяет ему нужные знания из контекста», — объясняет Пелевин.
Генеративный ИИ тоже используется, но в связке с технологией автоматизации human-in-the-loop: это чат-бот юридических консультаций для неюристов. Сервис работает на базе YandexGPT, при этом ответ не сразу отдается пользователю, а сначала вручную проверяется юристом. «По нашей статистике, примерно 20% ответов больших языковых моделей ошибочны. Там содержится недостоверная информация, которая может принести какой-то вред. Наши юристы проверяют и переписывают консультацию и делают её достоверной. Но за счет связки работы с ИИ мы значительно экономим время», — рассказывает CEO ПравоТех.
В ПравоТех не стоит задача натренировать одну модель на больших юридических данных, важнее искать ИИ-решения для конкретных задач. Одна из них — научиться определять доводы из судебного акта. «Сначала мы выделяли эти доводы с помощью внешней большой языковой модели, а потом собственную тренировали на полученных данных. В итоге наша система очень качественно работает только с юридическими доводами, при этом никакую другую задачу решать не может», — говорит Пелевин.
Многие компании думали, что можно «просто» зайти на юридический рынок и предложить чат-бота на основе ИИ, с которым можно будет работать. Но, к сожалению, это не сработало. Юристам нужна большая экспертная платформа, которая использует ИИ-функции.
Сейчас в компании используется метрика «feature adoption rate» (уровень внедрения фич), согласно которой более 30% пользователей продуктов ПравоТех используют ИИ-функции в каждой сессии, этот показатель планируют довести до 100%.
Но в мировой повестке тема ИИ — это не про специализированные фичи, а про гонку больших языковых моделей, которая давно вышла на межгосударственный уровень. Так, в январе рынки обрушил запуск языковой модели R1 от китайской компании DeepSeek, ее называют главным конкурентом OpenAI. Правда, для юридического сообщества такие гиганты имеют ограниченную пользу, поэтому вендоры индустрии правотеха концентрируются на нишевых решениях и продолжат движение в эту сторону.