Исследование находит пол и уклон типа кожи в коммерческих системах искусственного интеллекта: Экспертиза программного обеспечения лицевого анализа показывает коэффициент ошибок 0,8 процентов для светлокожих мужчин, 34,7 процентов для темнокожих женщин

В опытах исследователей коэффициенты неточностей этих трех программ в определении пола светлокожих мужчин ни при каких обстоятельствах не были хуже, чем 0,8 процента. Для дам с более чёрной кожей, но, коэффициенты неточностей увеличились — больше чем к 20 процентам в одном случае и больше чем 34 процентам в других двух.

Результаты приводят к вопросам о том, как сегодняшние нейронные сети, каковые обучаются делать вычислительные задачи, ища образцы в огромных комплектах данных, научены и оценены. К примеру, в соответствии с бумаге, исследователи в наибольшей американской технологической компании потребовали степени точности больше чем 97 процентов для совокупности распознавания лиц, которую они проектировали. Но комплект данных, применяемый, дабы оценить его работу, был больше чем 77-процентным мужчиной — и больше чем 83-процентным белым.

«Что вправду принципиально важно, вот способ и как тот способ относится к вторым заявлениям», говорит Джой Буолэмвини, исследователь в Гражданской Медиа-группе MIT Media Lab и первый создатель на новой бумаге. «Те же самые центральные данными способы, каковые смогут употребляться, дабы постараться выяснить чей-то пол, кроме этого употребляются, дабы опознать человека, в то время, когда Вы ищете преступного подозреваемого либо открывать Ваш телефон. И это не приблизительно компьютерное видение. Я вправду надеюсь, что это поощрит больше работы в рассмотрение [других] различий».К Buolamwini присоединяется на статье Timnit Gebru, что был аспирантом в Стэнфорде, в то время, когда работа была сделана и есть сейчас postdoc в Микрософт Research.

Случайные открытияТри программы, каковые изучили Buolamwini и Gebru, были совокупностями лицевого анализа неспециализированного назначения, каковые имели возможность употребляться, дабы соответствовать лицам на разных фотографиях, и оценить особенности, такие как пол, настроение и возраст. Все три совокупности разглядывали классификацию полов как выбор из двух альтернатив — мужчину либо даму — что сделал их работу на той задаче особенно легкой оценить статистически.

Но те же самые типы уклона, возможно, сокрушают работу программ на вторых задачах, кроме этого.Вправду, это было случайное открытие очевидного уклона в отслеживании лица одной из программ, что стали причинами расследование Буоламвини во-первых.Пара лет назад, как аспирант в Media Lab, Buolamwini трудился над совокупностью, которую она назвала Оптимистичными Стенками, интерактивной, мультимедийной арт-инсталляцией, которая разрешила пользователям руководить красочными примерами, спроектированными на отражающей поверхности, двигая их головами.

Дабы отследить перемещения пользователя, совокупность применяла коммерческую программу лицевого анализа.Команда, которую Buolamwini собрал, дабы трудиться над проектом, была этнически разнообразна, но исследователи нашли, что, в то время, когда это прибыло время, дабы представить устройство на публике, они должны были надеяться на одного из участников команды с более легкой кожей, дабы показать его. Совокупность легко, казалось, не трудилась точно с пользователями с более чёрной кожей.

Интересный, Buolamwini, что есть тёмным, начал воображать фотографии себя к коммерческим программам распознавания лиц. В нескольких случаях программы не приняли фотографии показом людской лица по большому счету. В то время, когда они сделали, они последовательно неправильно классифицировали пол Буоламвини.Количественные стандарты

Дабы начать изучить уклоны программ систематически, Buolamwini сперва собрал последовательность изображений, по которым весьма лучше представлены дамы и люди с чёрной кожей, чем они находятся в комплектах данных, в большинстве случаев, раньше оценивал совокупности анализа лица. Последний комплект содержал больше чем 1 200 изображений.После этого, она трудилась с дерматологическим врачом, дабы закодировать изображения в соответствии с масштабу Фитцпатрика цвета кожи, масштабу на шесть пунктов, от света до темноты, первоначально развитой дерматологами как средство оценки риска загара.

Тогда она применила три коммерческих совокупности лицевого анализа с наибольших технологических компаний на ее сравнительно не так давно выстроенный комплект данных. Через все три коэффициенты неточностей для классификации полов были последовательно выше для дам, чем они были для мужчин, и для предметов с более чёрной кожей, чем для предметов с более легкой кожей.Для дам с более чёрной кожей — того назначенного множества IV, V, либо VI в масштабе Фитцпатрика — коэффициенты неточностей составляли 20,8 процента, 34,5 процента, и 34.7.

Но с двумя из совокупностей, коэффициенты неточностей для дам с самой чёрной кожей в комплекте данных — назначенных счет VI — были хуже все еще: 46,5 процентов и 46,8 процентов. По существу, для тех дам, совокупность, быть может, кроме этого предполагала пол наугад.

«Дабы потерпеть неудачу на каждом третьем, в коммерческой совокупности, на чем-то, это было уменьшено до двойной задачи классификации, Вы должны задать вопрос, это было бы не запрещаеться, в случае если та интенсивность отказов была в разной подгруппе?» Буоламвини говорит. «Второй громадный урок… — то, что отечественные оценки, стандарты, по которым мы измеряем успех, сами смогут дать нам фальшивое чувство прогресса».

13 Комментариев в “Исследование находит пол и уклон типа кожи в коммерческих системах искусственного интеллекта: Экспертиза программного обеспечения лицевого анализа показывает коэффициент ошибок 0,8 процентов для светлокожих мужчин, 34,7 процентов для темнокожих женщин

Добавить комментарий