Системы искусственного интеллекта (ИИ) могут быть своего рода непрозрачными черными ящиками, поэтому возникло такое явление, как объяснимый или прозрачный ИИ (explainable AI или XAI) – разновидность искусственного интеллекта, ориентированная на разработку систем, понятных и объяснимых для людей.
Чтобы понять фундаментальные основы и назначение XAI, нужно понять, что такое ИИ. Искусственный интеллект как область науки имеет долгую историю и охватывает широкий набор технологических приложений, число которых постоянно растет. Дать одно-единственное определение ИИ, с которым согласны все, затруднительно.
Европа идет в авангарде разработки правовых рамок и этических норм в сфере создания и применения ИИ. В 2021 году Европейская комиссия (ЕК), высший орган исполнительной власти ЕС, предложила первый в истории набор правил, которые закладывают законодательную базу для регулирования искусственного интеллекта и содержат юридически обязывающее определение ИИ.
ЕК определяет ИИ как систему, генерирующую контент, прогнозы, рекомендации или решения, влияющие на среду, с которой они взаимодействуют. Такие системы ИИ разрабатываются в соответствии с одним или несколькими методами и подходами, которые описаны ниже.
Во-первых, они имеют дело с моделями машинного обучения (МО) (с учителем, без учителя, с подкреплением и глубоким обучением) – все это категории ИИ. Машинное обучение – неотъемлемая часть ИИ. Однако не все системы ИИ работают с глубоким обучением и другими передовыми методами МО.
Системы МО могут обучаться и адаптироваться, не следуя формальным инструкциям. Не все МО работают в соответствии с заранее заданной внешней целью. Некоторые системы ориентированы на абстрактные цели и функционируют без постоянного участия человека.
Системы ИИ могут работать с подходами, основанными на логике или знании – например, представлением знаний и индуктивным (логическим) программированием – или сочетать их. Они также могут использовать другие методы: статистические подходы, методы поиска и оптимизации и т. д.
ИИ как система, работающая с моделями машинного обучения – это лишь одно определение, есть и другие. Например, «искусственная система, способная делать выбор в процессе оценки». В целом, системы ИИ могут «обучаться» и, в этом отношении, влиять на свое окружение.
Черный ящик ИИ
Проблема черного ящика: код непредсказуем
Системы ИИ управляются данными, поэтому два других важнейших компонента ИИ – это программный код и данные. Прогресс в ИИ протекает на фоне глобальной цифровой трансформации и «датафикации» – процесса постоянного роста генерируемых и собираемых данных.
Сбор и обработка данных коррелируют с тем, как разработан набор алгоритмов ИИ. Алгоритмы – это указания по решению задачи с помощью набора правил. Почему это важно? ИИ делает «выбор» или генерирует выходные данные на основе входных данных и алгоритмов. Поскольку ИИ «обучается», он может принимать решения, не основанные на данных, которые вводит человек. Таким образом, ИИ способен стать «черным ящиком» (системой, механизм работы которой неизвестен, сложен и непредсказуем).
В случае ИИ термин «черный ящик» относится к проблеме понимания и контроля решений и действий систем и алгоритмов ИИ. Потенциально, контроль и управление этими системами затруднены. Их работа непрозрачна, что затрудняет их подотчетность, и возникают соответствующие правовые и нормативные последствия.
Объяснимый ИИ (XAI)
Объяснимый ИИ призван решить проблему «непредсказуемого кода». XAI предоставляет понятные человеку объяснения того, как система ИИ достигает определенного результата. Объяснимый ИИ обеспечивает прозрачность процесса принятия решений в системах искусственного интеллекта.
Почему важен объяснимый ИИ (XAI)?
XAI включает разработку систем искусственного интеллекта, которые могут разными методами объяснить процесс принятия решений. XAI позволяет внешним наблюдателям понять, как возникают выходные данные системы ИИ и насколько они надежны. Это важно, поскольку непредсказуемый и непрозрачный ИИ может приводить к прямым и косвенным негативным последствиям для отдельных людей и общества в целом.
ИИ обучается и находит новую информацию с помощью сложных схем в своем внутреннем ядре, которые имеют форму, аналогичную нейронным сетям человеческого мозга. Эти схемы называют системами «глубокого обучения». Ученые спорят о том, до какой степени системы глубокого обучения прозрачны, но согласны с тем, что большинство решений ИИ должны быть хотя бы отчасти объяснимы. Это важно, потому что в наши дни государственные структуры и коммерческие организации активно внедряют ИИ, и необходимо гарантировать подотчетность и прозрачность этих систем.
Актуальность объяснимого ИИ в процессе принятия государственных решений хорошо иллюстрирует случай голландской Systeem Risico Indicatie (SyRI). Эту автоматизированную систему принятия решений с использованием ИИ разработали голландские околоправительственные организации. В системе использовались личные данные и другие инструменты для выявления потенциального мошенничества. Однако по итогам ее работы власти посчитали, что система принимает решения на основе непрозрачных процессов, и подотчетность принятия решений отсутствует.
Национальные голландские суды и международные организации пришли к выводу, что система нарушает неприкосновенность частной жизни и права человека. Случай SyRi показывает, что приложения ИИ на службе у государства могут приводить к дискриминации и несправедливости: жертвами SyRi становились представители малообеспеченных слоев населения и меньшинств.
Задача SyRi состояла в том, чтобы выявлять потенциальных мошенников в сфере социального обеспечения (людей, незаконно получающих от государства помощь). Определенных лиц система помечала как представителей группы высокого риска (людей, получающих госпомощь незаконно). SyRi анализировала получателей помощи только в районах, где жили люди с низким доходом, поскольку такие районы считались «проблемными». Государство проводило анализ рисков только в сообществах, которые уже были признаны «высокорисковыми», поэтому неудивительно, что там выявили больше граждан с высоким уровнем риска, по сравнению с другими районами, которые не считались «высокорисковыми».
Эпизод с SyRi показывает: когда нет прозрачности и внешнего контроля, работа систем ИИ может приводить к нежелательным последствиям.
Помимо государства, системы ИИ разрабатывают и внедряют частные компании, у которых их собственные интересы перевешивают соображения прозрачности и объяснимости. Хотя только благодаря госфинансированию структуры ИИ смогли развиться до своего нынешнего состояния, их текущий прогресс в значительной степени возможен благодаря частному инвестированию, объемы которых неуклонно растут: в 2022 году частные инвесторы вложили в ИИ в 18 раз больше средств, чем в 2013 году.
Коммерческие разработчики ИИ в первую очередь отвечают перед своими акционерами, поэтому их интересует преимущественно прибыль, защита патентных прав и свобода от регулирования. регулирования. Соответственно, поскольку коммерческие системы ИИ функционируют недостаточно прозрачно и в процессе обучения и развития ИИ накапливаются огромные объемы данных, важно понимать, как работает такая система.
В конечном счете, ключевое достоинство XAI – его способность давать представление о процессе принятия решений в соответствии с его моделями. Эта особенность позволяет пользователям, производителям и мониторинговым агентствам понимать, как и почему был достигнут тот или иной результат.
XAI способен укрепить доверие к государственным и частным системам искусственного интеллекта, повысить подотчетность и гарантировать, что модели ИИ не будут предвзятыми и не станут дискриминировать людей.
Кроме того, XAI поможет предотвратить ситуации, когда сомнительные или незаконно полученные данные поступают в в государственные учреждения из межорганизационных баз данных, работающих во взаимодействии с алгоритмическими системами обнаружения мошенничества.
Объяснимый ИИ
Как работает объяснимый ИИ?
В основе принципов XAI лежит идея разработки систем ИИ – прозрачных, поддающихся объяснению и способных предоставлять четкие обоснования своих решений.
Суть «объяснимости» в том, чтобы сделать прозрачными наиболее важные факторы и параметры, влияющие на решения ИИ.
Из-за внутренней сложности систем ИИ обеспечить полную и неизменную объяснимость сложно, но в системы ИИ можно запрограммировать определенные параметры и значения. На практике высокий уровень объяснимости достижим.
Объяснимость позволяет заложить в ИИ принципы, которые можно назвать этическими: устойчивость, справедливость и беспристрастность. Такие характеристики позволяет отслеживать приложения ИИ и разработку ИИ. Это особенно важно для определенных сценариев использования ИИ в приложениях, которые применяют в системе правосудия, (социальных) СМИ, здравоохранении, финансах и национальной безопасности – там, где модели ИИ используются для принятия важных решений, влияющих на жизнь людей и общества в целом.
Каковы ограничения объяснимого ИИ?
Ограничения XAI связаны с его реализацией. Например, разработчики, как правило, сосредоточены на функциональных требованиях. Из этого правила возможны исключения, но алгоритмы в любом случае создают большие группы разработчиков на протяжении длительного времени. Сложность процесса затрудняет достижение его целостного понимания, а также понимания ценностей, заложенных в системах ИИ.
В теории, предпочтительно выводить «объяснимость» из кода и алгоритмов ИИ, но на практике это проблематично, поскольку присутствует конфликт между предписанной природой алгоритмов/кода и гибкостью терминологии, которая допускает изменения.
Когда мы выясняем, насколько объясним ИИ, рассматривая самые важные параметры и факторы, влияющие на принятие решений, возникают вопросы, например: что считать «прозрачным» или «объяснимым» ИИ? Насколько высок «порог» объяснимости?
Развитие ИИ происходит экспоненциально. Концепция XAI имеет ограниченное применение в тех случаях, когда ИИ быстро развивается и совершенствуется. Поэтому XAI как таковое представляется недостаточным для снижения потенциальных рисков, и могут потребоваться дополнительные превентивные меры в виде руководств и законов.
Объяснимый искусственный интеллект: перспективы
ИИ продолжает развиваться, поэтому важность XAI будет только расти. Системы искусственного интеллекта могут применяться как во благо, так и во зло. В какой степени ИИ будет формировать наше будущее, во многом зависит от того, кто его использует и для каких целей, как он сочетается с другими технологиями, и каким принципам и правилам он соответствует.
XAI может предотвратить или смягчить некоторые потенциальные побочные эффекты систем ИИ. Независимо от того, можно ли объяснить каждое решение системы ИИ, само существование концепции XAI подразумевает, что сами люди несут ответственность за решения и действия искусственного интеллекта.
