Нейросети пишут все: студенческие рефераты, новостные заметки, а теперь и экспертные заключения. Можно ли доверять заключению, созданному языковой моделью? Столкнулись с нейроисследованием на реальном кейсе и хотим поделиться выводами.
ИИ вместо эксперта: официально
В отличие от студенческой или ученической работы, проведение исследования и оформление заключения специалистом/экспертом направлено не на проверку его компетенций, а на установление объективной истины. И искусственный интеллект обладает здесь множеством очевидных преимуществ:
- быстрее и качественнее обрабатывает огромные массивы данных;
- способен заметить в данных неочевидные закономерности, которые не всегда замечает человек;
- всегда руководствуется логикой, а не интуицией;
- беспристрастен и непредвзят, в отличие от человека, на заключение которого могут повлиять эмоции, усталость, давление участников процесса;
- нейросети можно обучать на новейших научных публикациях и обновлять их базу знаний со скоростью, недоступной даже тем специалистам, которые регулярно повышают квалификацию.
Почему же тогда суды упорно отклоняют справки и заключения, сгенерированные нейросетями (а таких прецедентов в практике все больше)?
Ответ лежит не в плоскости точности вычислений, а в плоскости права. Нейросети справляются с анализом данных, но результаты судебной экспертизы — это юридически значимое доказательство, за которое эксперт несет ответственность. А кому отвечать за текст, сгенерированный нейросетью?
Эксперта предупреждают об ответственности за заведомо ложное заключение. Эксперта можно вызвать в суд и допросить. Эксперт объясняет ход исследования, а если допускает ошибки, то отвечает за них. Нейросеть же не является субъектом права: ее нельзя наказать, предупредить или проверить через перекрестный допрос. Вот почему среди перечисленных в процессуальных кодексах допустимых доказательств нет и не может быть результатов работы искусственного интеллекта.
ИИ вместо эксперта: неофициально
Однако есть совершенно очевидная тенденция. Не будут ли специалисты выполнять исследования с помощью нейросетей, а потом представлять их суду как результаты собственных изысканий? С этой проблемой уже столкнулись учителя в школах, преподаватели в университетах, редакторы в издательствах, может ли это стать проблемой судей?
Трудно отрицать: опасность есть. ИИ широко внедряется в качестве инструмента для анализа. Глупо было бы не использовать его возможности для автоматизации рутинных задач, анализа больших объемов информации, исследования изображений, звукозаписей и цифровых данных, изучения ПО и сетевых технологий. Но как именно специалист встроит этот инструмент в свою работу, обеспечит ли достаточный контроль за процессом и какой в итоге получит результат, зависит только от самого специалиста и уровня его компетенций.
Кейс: экспертиза от ИИ в споре по трудовому праву
Недавно судебный лингвист Veta Екатерина Моштылева лично убедилась, что если у специалиста отсутствуют необходимые навыки и понимание, как выполняется экспертиза (в данном случае лингвистическое исследование), то никакая нейросеть не поможет обеспечить качество заключения.
Обличающие фонограммы
В экспертную группу Veta обратился адвокат ответчика по трудовому спору.
При увольнении с предприятия работника (одного из менеджеров) сложилась конфликтная ситуация. Менеджер сделал аудиозаписи разговоров со своим руководством, а в подходящий момент предъявил их суду вместе с лингвистическим заключением негосударственного экспертного учреждения. В исследовании специалист-речевед пришел к выводам, что в представленных фонограммах содержатся:
- признаки психологического давления на работника со стороны его руководителя;
- угрозы совершения неблагоприятных действий по отношению к нему;
- побуждение к увольнению.
Адвокат признался, что не слишком часто сталкивается с лингвистическими заключениями в трудовых спорах. Но он все равно почувствовал неладное: уж слишком субъективным казалось исследование на первый взгляд. А поскольку оно могло стать весомым доказательством истца в споре, адвокат решил получить на него рецензию другого специалиста.
Если вы заказали рецензию на заключение специалиста/эксперта, прежде чем принимать работу, скачайте чек-лист для проверки качества рецензии.
Так заключение попало на стол к судебному лингвисту экспертной группы Veta, кандидату филологических наук Екатерине Моштылевой.
Поверхностное заключение
Перед рецензентом была поставлена задача дать специальную оценку с точки зрения экспертной деятельности заключению специалиста.
Чтобы ее решить, специалист проверила представленное заключение на соответствие задаче и принципам судебно-экспертной деятельности. Эти принципы зафиксированы в Федеральном законе № 73-ФЗ от 31.05.2001 г. «О государственной судебно-экспертной деятельности в Российской Федерации». Они также распространяются и на судебно-экспертную деятельность негосударственных судебных экспертов, в равной степени касаются судебных и внесудебных экспертиз.
В итоге специалист Veta выявила грубые нарушения принципов судебно-экспертной деятельности:
1. Принцип наличия определенной и ограниченной процессуальной компетенции.
К нарушению этого принципа специалиста подтолкнули сами вопросы, поставленные перед ним. Отвечая на них, лингвист неоднократно вышел за пределы своей профессиональной компетенции: затронул правовые и психологические аспекты, не обладая соответствующими профессиональными знаниями (во всяком случае наличие таких знаний не подтверждено надлежащими документами).
2. Принцип объективности исследования.
Выводы специалиста не следуют из проведенного им анализа. Нарушен принцип непосредственности исследования объектов: дословное содержание фонограмм хотя и установлено, но исследуется без особенностей звучания.
3. Принципы полноты и всесторонности исследования.
Специалист проанализировал стратегии конфликтного общения только одной стороны диалога — работодателя, а реплики работника остались не исследованными. Также он даже не попытался осмыслить суперсегментные единицы речи, например, интонацию собеседников, не указал оборудование и ПО, необходимые для анализа устной речи.
И кому же отвечать за недостатки заключения?
Такая поверхностность исследования удивила специалиста, но все объяснила неожиданная находка.
Я ощутила сразу, при предварительном изучении всю эту громоздкость, равномерность, искусственную связность. Методы перечислены по типовой методике, но не используются в тексте совсем. Зато используется старое доброе лингвистическое описание. И какое-то это описание чересчур идеальное! Такое, знаете, монотонное, щепетильное, занудное, тошнотворное...
Екатерина отметила в тексте и более объективные признаки использования нейросетей: повторы терминов, противительные конструкции. Но не спешила с выводами — все это мог использовать и человек, а о том, что эксперт может вот так подходить к своей работе, думать не хотелось.
Но потом она обнаружила артефакт, который не оставил никаких сомнений. Это был элемент промпта, процитированный нейросетью и случайно скопированный в текст заключения:
Особенно анекдотичной ситуация выглядит, если знаешь, что в том же заключении есть вот такая декларация:
Уверены, выводы рецензента не вызовут вопросов у судьи.
Оспорить судебную экспертизу сложнее, чем внесудебное исследование. Для таких случаев мы разработали подробную инструкцию о том, как повысить шансы на назначение повторной экспертизы.
Вместо резюме
Низкое качество судебных и досудебных заключений — боль отечественной судебной экспертизы, с которой Veta борется давно. Юристы не слишком верят в экспертизу как в инструмент и не хотят оплачивать глубокие всесторонние исследования. Специалисты пишут поверхностные заключения, которые не способствуют победе в споре и не повышают доверие к экспертизе. Такой вот замкнутый круг.
Изменилось ли что-то в этой ситуации с внедрением нейросетей? По большому счету, ничего. Раньше недобросовестные эксперты могли наукообразными фразами ввести в заблуждение судью, который не является узким специалистом. Теперь то же самое они могут сделать с помощью ИИ, только стараться нужно еще меньше — достаточно написать в промпт, что текст должен быть «в экспертном стиле».
Сильный специалист никогда не переложит свою задачу на нейросеть, потому что понимает: обстоятельства, которые исследует суд, всегда уникальны, значение имеют нюансы, которые не укладываются в обучающие выборки. Он использует ИИ точечно, чтобы ускорить процесс и не упустить ничего важного (снизить влияние «человеческого фактора»), но всегда будет помнить, что ответственность за конечный результат лежит только на нем.
Проверяйте компетенции специалистов, прежде чем поручить им проведение досудебного исследования или рекомендовать суду. Потому что притворяться экспертом с развитием нейросетей становится легче.
