Согласно новому исследованию, алгоритмы ИИ по-прежнему могут иметь расовые предубеждения, даже если они обучены на данных, более репрезентативных для разных этнических групп.
Международная группа исследователей проанализировала, насколько точны алгоритмы в прогнозировании различных когнитивных моделей поведения и показателей здоровья на основе фМРТ-сканирования мозга, таких как память, настроение и даже сила хвата. Медицинские наборы данных часто искажены — они не собираются из достаточно разнообразной выборки, а определенные группы населения не учитываются или представляются в ложном свете.
Неудивительно, что прогностические модели, которые пытаются обнаружить, например, рак кожи, не так эффективны при анализе более темных тонов кожи, чем более светлых. Предвзятые наборы данных часто являются источником предвзятости моделей ИИ. Но статья, опубликованная в Научные достижения обнаружил, что это нежелательное поведение в алгоритмах может сохраняться, даже если они обучены на более справедливых и разнообразных наборах данных.
Команда провела серию экспериментов с двумя наборами данных, содержащими десятки тысяч фМРТ-сканов мозга людей, включая данные из проекта Human Connectome Project и когнитивного развития мозга подростков. Чтобы исследовать, как расовые различия влияют на производительность прогностических моделей, они попытались свести к минимуму влияние других переменных, таких как возраст или пол, на точность.
«Когда прогностические модели обучались на данных, в которых преобладали белые американцы (WA), ошибки прогнозирования вне выборки, как правило, были выше для афроамериканцев (AA), чем для WA», — говорится в документе.
Это не должно вызывать удивления, но интересно то, что эти ошибки не исчезли, даже когда они обучали алгоритмы на наборах данных, содержащих образцы из одинакового представления как для WA, так и для AA, или только из AA.
Алгоритмы, обученные исключительно на выборках данных из AA, по-прежнему не были столь точными при прогнозировании когнитивного поведения для группы населения, как алгоритмы, обученные на WA, для WA, что противоречит общепринятому пониманию того, как эти системы обычно работают. «Когда модели обучались только на AA, по сравнению с обучением только на WA или равном количестве участников AA и WA, точность прогнозирования AA улучшалась, но оставалась ниже, чем для WA», — говорится в аннотации. Почему?
Исследователи не совсем уверены, почему модель ведет себя таким образом, но полагают, что это может быть связано с тем, как были собраны данные. «На данный момент трудно сказать, откуда взялась оставшаяся разница в точности предсказания WA-AA, когда модель обучалась только на AA», — Цзинвэй Ли, научный сотрудник Института неврологии и медицины, мозга и поведения Исследовательского центра Юлиха. в Германии рассказал Регистр.
«Несколько шагов во время предварительной обработки нейровизуализации могли повлиять на результат. Например, во время предварительной обработки принято согласовывать мозг отдельных людей со стандартным шаблоном мозга, чтобы можно было сравнивать отдельные мозги. Но эти шаблоны мозга обычно создавались из белого населения. .”
«То же самое для предопределенных функциональных атласов, где воксели в изображениях мозга могут быть сгруппированы в области на основе их функциональной однородности… Но разграничение таких функциональных атласов снова часто основывалось на наборах данных, в которых преобладало белое или европейское население с точки зрения размера выборки. .”
Другая причина может заключаться в том, что данные, полученные от пациентов, не совсем точны. «Это также вопрос, действительно ли психометрические тесты, которые мы используем в настоящее время, отражают правильную психологическую концепцию, лежащую в основе групп меньшинств», — добавила она.
Когда алгоритмы были применены к Набор данных Human Connectome Project позволил более точно предсказать, были ли WA более склонны к гневу или агрессии, или у них были лучшие навыки чтения. Та же попытка сделать эти прогнозы оказалась менее успешной с когортой АА.. (Но когда их использовали для анализа набора данных по когнитивному развитию мозга подростков, другие виды поведения, такие как когнитивный контроль, внимание или память, лучше прогнозируется в WA или AA.????) – не знаю, что это значит
Ли сказал, что исследование не подтверждает, что существуют нейробиологические или психометрические показатели, которые различаются в популяциях из-за их этнической принадлежности. Вместо этого она хочет подчеркнуть, что наличия более разнообразного набора данных недостаточно, чтобы алгоритмы ИИ были менее предвзятыми и более справедливыми.
«Я был бы очень осторожен, чтобы не делать никаких заявлений о том, что WA и AA различаются по этим нейробиологическим или психометрическим показателям просто из-за их этнической принадлежности. Как мы также обсуждали в статье, этническая принадлежность или раса — такое сложное понятие, учитывая все , социальные, образовательные факторы.Мы не хотим усиливать [racial] стереотипы или усиление структурного расизма. Напротив, цель этой статьи состоит в том, чтобы выступать за большую справедливость в отношении этнических групп в конкретном контексте нейровизуализирующего анализа».
Алгоритмическая предвзятость — это проблема, которую правительство США пытается решить. На этой неделе Национальный институт стандартов и технологий опубликовал отчет, в котором пришел к аналогичным выводам.
«Текущие попытки устранить пагубные последствия предвзятости ИИ по-прежнему сосредоточены на вычислительных факторах, таких как репрезентативность наборов данных и справедливость алгоритмов машинного обучения», — говорится в отчете. [PDF] читать.
«Эти средства жизненно важны для смягчения предвзятости, и предстоит еще много работы. Тем не менее, человеческие и системные, институциональные и социальные факторы также являются значительными источниками предвзятости ИИ, и в настоящее время они упускаются из виду». ®
