Какой у вас любимый вкус мороженого? Ванильный, шоколадный? Если вас спросить, «почему», скорее всего, вы ответите, что вам просто нравится этот вкус. Но почему именно он кажется лучшим, и почему временами возникает желание попробовать другие вкусы?
Мы редко анализируем элементарные решения, которые принимаем в повседневной жизни. Если бы мы это делали, то поняли бы, что не всегда можем объяснить, почему у нас возникают определенные предпочтения, эмоции или желания.
Искусственный интеллект сталкивается с той же проблемой: разработчикам ИИ становится все труднее объяснить, как искусственный интеллект работает и почему он создаёт то, что создаёт.
Глубокие нейронные сети (DNN), состоящие из нескольких уровней систем обработки, обученных на человеческих данных и имитирующих нейронные сети человеческого мозга, зачастую отражают в своей работе не только человеческий интеллект, но и человеческую необъяснимость.
Большинство систем искусственного интеллекта представляют собой модели «черного ящика» – системы, которые можно проанализировать только на основе их входных и выходных данных. Ученые не пытаются расшифровать «черный ящик» или непрозрачные процессы, через которые проходит система, до тех пор, пока получают искомый результат. Например, если предоставить такой модели искусственного интеллекта данные обо всех вкусах мороженого в мире и дополнить их статистикой экономических и социальных факторов, а также информацией об образе жизни миллионов людей, то ИИ, скорее всего, сможет угадать ваш любимый вкус мороженого или кофе, даже если он не был запрограммирован с этой целью.
Системы искусственного интеллекта такого типа сталкиваются с проблемами именно потому, что данные, на которых они обучаются, часто предвзяты. Таким образом, эти модели воспроизводят расовые и гендерные предубеждения.
Неизбирательное применение таких систем искусственного интеллекта приводит к ситуациям, когда, например, чернокожих людей ошибочно идентифицируют с помощью технологии распознавания лиц. Эти системы трудно скорректировать – и отчасти потому, что их разработчики зачастую даже не могут объяснить, как они работают.
Поскольку системы искусственного интеллекта становятся более сложными, а наша способность понимать их уменьшается, эксперты по искусственному интеллекту все чаще призывают разработчиков сделать шаг назад и сосредоточиться больше на том, как и почему система выдает определенные результаты.
В статье «Необъяснимость и непостижимость искусственного интеллекта» профессор Луисвиллского университета Роман В. Ямпольский пишет:
«Если у нас есть только «черный ящик», с которым можно работать, невозможно понять причины сбоев и повысить безопасность систем. Более того, если мы привыкнем принимать ответы ИИ без объяснения причин и, таким образом, станем относиться к нему как к оракулу, мы никогда не поймем, почему такая система ИИ однажды начнет давать неверные или манипулятивные ответы».
Модели «черного ящика» могут быть чрезвычайно эффективными, поэтому многие ученые и компании жертвуют объяснимостью ради точности – и оправдывают это. Системы искусственного интеллекта используются в автономных автомобилях, чат-ботах для обслуживания клиентов и технологиях диагностики заболеваний. Некоторые задачи они способны выполнять лучше людей.
Например, машина, способная запомнить триллион элементов в виде цифр, букв и слов, может обрабатывать информацию и производить вычисления гораздо быстрее и лучше, чем это делают люди, которые запоминают в среднем семь элементов посредством своей кратковременной памяти.
Различные модели глубокого обучения включают генеративно-состязательные сети (GAN) – их чаще всего используют для обучения генеративных моделей ИИ, таких как генератор преобразования текста в изображение MidJourney AI.
Эти GAN фактически противопоставляют модели ИИ друг другу для выполнения конкретной задачи; затем «победитель» каждого раунда противопоставляется другой модели, позволяя модели повторять выполнение задачи до тех пор, пока она не станет очень хорошо справляться с конкретной задачей. Проблема в том, что при этом создаются модели, которые их разработчики просто не могут объяснить.
Эмили М. Бендер, профессор лингвистики Вашингтонского университета, говорит:
«Я думаю, что во многих случаях люди рассматривают эти модели «черного ящика» как ответ на нехватку ресурсов. Было бы очень полезно создать автоматизированную систему, которая могла бы производить тот тип вывода, который нужен, в зависимости от типа входных данных, которые она использует.
Если у вас есть набор данных, состоящий из таких входных и выходных данных, всегда можно обучить систему «черного ящика», которая сможет выдавать выходные данные нужного типа. Однако зачастую гораздо сложнее оценить, верны ли они. Более того, во многих случаях невозможно создать систему, в которой выходные данные были бы гарантированно правильными, поскольку входные данные просто не содержат достаточно информации».
Когда мы доверяем системе только потому, что она дает нам ответы, которые идеально соответствуют тому, что мы ищем, мы пренебрегаем важными вопросами: надежны ли эти ответы или просто представляют собой то, что мы хотим услышать? Кому в конечном итоге выгодны результаты? И кто будет нести ответственность, если эта информация причинит ущерб?»
Если бизнесмены и ученые, работающие с данными, не понимают, почему и как ИИ рассчитывает результаты, это непонимание создает потенциальные риски для бизнеса. Невозможность опровергнуть данные ограничивает потенциальную ценность ИИ из-за того, что компании не доверяют ИИ и накладывают ограничения на его развитие», – говорит Бина Амманат, исполнительный директор Института искусственного интеллекта Deloitte.
По мнению Джеффа Клуна, доцента кафедры информатики Университета Британской Колумбии, «риски заключаются в том, что система принимает решения на основе ценностей, с которыми мы не согласны – например, предвзятые (расистские или сексистские) решения; другой риск заключается в том, что система принимает очень плохое решение, но мы не можем вмешаться, потому что не понимаем причин».
Системы искусственного интеллекта уже полны предвзятости и постоянно воспроизводят ее в своих результатах, причем разработчики не понимают, как это происходит. В 2018 году исследователи Джой Буоламвини и Тимнит Гебру обнаружили, что популярные системы распознавания лиц наиболее точно идентифицируют светлокожих мужчин и допускают самые серьезные ошибки, идентифицируя темнокожих женщин.
Системы распознавания лиц, которые предвзято относятся к «цветным» людям, но используются во всех сферах жизни, от аренды жилья до полицейских органов, еще больше цементируют существующие расовые предубеждения. На основе этих данных принимаются решения о том, кому сдадут квартиру или кого назовут преступником.
Системы искусственного интеллекта могут определять расовую принадлежность человека на основе рентгеновских снимков и компьютерной томографии, но ученые понятия не имеют, почему и как именно это работает.
Автоматизированные системы, анализирующие медицинские изображения, хуже идентифицируют чернокожих пациентов и женщин, и мы точно не знаем, почему. И это лишь пара примеров опасных последствий, которые возникают, когда мы принимаем полученные с помощью ИИ результаты за конкретную истину.
В то же время некоторые эксперты говорят, что открытые и более легко интерпретируемые модели ИИ не настолько эффективны.
Исследователь Клун полагает: «Сейчас существует множество задач, в решении которых подход «черного ящика» намного превосходит интерпретируемые модели. Разрыв настолько значительный, что модели «черного ящика» являются единственным вариантом. Даже в тех случаях, когда интерпретируемые модели работают лучше, мы обычно идем на компромисс между емкостью и интерпретируемостью. В настоящее время ведется работа по устранению этого разрыва, но я подозреваю, что он сохранится в обозримом будущем, а возможно, и навсегда».
Разновидность ИИ, известная как объяснимый ИИ (XAI), не способна решить эту проблему. Попытка добавить объяснимость после того, как система ИИ уже создана, делает ее более сложной, чем без нее.
«Возможно, нам следует отказаться от иллюзии объяснимости и вместо этого сосредоточиться на более тщательном тестировании надежности, предвзятости и производительности моделей», —допускает Клун.
В последние годы некоторые представители отрасли говорят о разработке «моделей белого ящика», которые более прозрачны и результаты которых можно лучше объяснить (стоит отметить, что сами по себе термины «белый ящик»/«черный ящик» также является частью долгой истории научных терминов, которые имеют расовый подтекст; например, исследователи пытались заменить «черный список» на «стоп-лист»). Однако модели «белого ящика» — это относительно новая отрасль исследований ИИ, которая пытается сделать ИИ более объяснимым.
Исследователи искусственного интеллекта говорят, что важный первый шаг – предоставить пользователям конкретной системы большую роль в процессе разработки.
Ос Киз, ученый, работающий на кафедре человеко-ориентированного дизайна и инженерии Вашингтонского университета, считает:
«Многие объяснения, которые люди воспринимают как объяснения, на самом деле не являются таковыми. Они написаны на основе интересов разработчиков и ориентированы на то, что разработчики считают важным объяснить, а не на то, что нужно пользователю.
Эта проблема отчасти вызвана огромным разрывом между разработчиками и реальными пользователями. Необходимо более широкое участие пользователей не только в построении системы; они должны задавать вопросы о том, какие опции необходимы, чтобы сделать ИИ действительно объяснимым».
Исполнительный директор Института искусственного интеллекта Deloitte Бина Амманат согласна с тем, что один из лучших способов сделать ИИ более прозрачным и объяснимым — адаптировать объяснения и отчеты для людей, которые будут использовать программу. Аналогичным образом, по ее словам, разработчики должны сначала определить потребности и приоритеты людей, которые в наибольшей степени затронуты этими моделями ИИ.
Ещё одна серьёзная проблема заключается в том, что многие системы искусственного интеллекта разработаны на основе представления, согласно которому «система хороша, если она работает для всех и всегда». «Но проблема в том, что разным людям понадобятся разные объяснения разных вещей. Если мы действительно хотим, чтобы ИИ был более объяснимым, нам нужно фундаментально изменить то, как мы видим ИИ, и то, как разработчики видят ИИ», – считает Киз.
Идея более локализованных систем ИИ – то, о чем исследователи говорят все последние годы. В статье Бендер и Гебру, которых уволили из Google за ее публикацию в 2021 году, говорится, что обучение моделей ИИ с помощью больших данных затрудняет проверку на предвзятость. Исследовательницы также пишут, что большие данные не отражают группы населения, которые имеют меньший доступ к Интернету, и «непропорционально представляют более молодых пользователей и пользователей из развитых стран».
«Поскольку мы совмещаем искусственный интеллект с большими данными, мы всегда будем отдавать предпочтение людям, у которых есть ресурсы для запуска тысячи серверов, или тем, у кого есть ресурсы для сбора миллиарда изображений», — говорит Киз. «Я бы сказал, что это недемократично, но это можно назвать и неправильным целеполаганием».
«Первый вопрос: на каких условиях разрабатывается ИИ? Кто решает, когда он будет развернут? И на каких основаниях? Если мы не можем ответить на эти вопросы, то все благие намерения и представления о том, как мы будем жить с этим ИИ, бесполезны. Если мы не обсуждаем эти вопросы, то мы проигрываем. Всё, что нам остается – создавать продукты для людей, у которых есть власть, и затыкать рты несогласным», – подчеркивает Киз.
Освободить наборы данных, на которых обучаются системы искусственного интеллекта, от всей предвзятости, практически невозможно в обществе, где Интернет как таковой отражает человеческую предвзятость. Одна из опций – использование небольших наборов данных, когда разработчики в большей контролируют используемую в них информацию.
По словам экспертов, другое возможное решение –проектирование с учетом предвзятости, а не имитация объективности.
«Я считаю, что на данный момент лучший подход — позволить системе научиться делать то, чего мы хотим», — полагает Клун. «Это означает, что система пытается сделать то, что мы просим (например, создать фотографии руководителей), и, если не делает (например, создает изображения исключительно белых мужчин), мы даем отрицательный отзыв, и она учится и пытается снова. Мы повторяем этот процесс до тех пор, пока ИИ не создаст продукт, который мы одобрим (например, предоставит серию фотографий руководителей, которые отражают расовое разнообразие). Это называется «обучение через обратную связь с людьми», поскольку система, по сути, использует метод проб и ошибок. Он позволяет привести результаты в соответствие с нашими собственными ценностями. Однако и этот метод далек от совершенства, и нам нужно гораздо больше исследований и инноваций».
Сейчас, когда продолжаются дискуссии о том, где и как следует использовать ИИ, необходимо учесть разные факторы, прежде чем мы позволим ИИ принимать решения о выдаче кредитов или приеме на работу.
«Я считаю, что крайне важно помнить: то, что называется «ИИ», не является неким автономным деятелем, базой знаний или мыслящей сущностью», – говорит исследовательница искусственного интеллекта Эмили Бендер. «Это инструменты, которые могут служить конкретным целям. Как и в случае с любым другим инструментом, мы должны задаться вопросом: насколько хорошо они работают? Насколько они подходят для поставленной задачи? Для кого они предназначены? И может ли их использование укрепить или, наоборот, ослабить структуры угнетения?»
