Исследователи всматриваются под капотами нейронных сетей: Техника освещает внутренние работы систем искусственного интеллекта тот язык процесса

На протяжении обучения, но, нервная сеть все время регулирует собственные внутренние параметры настройки методами, которыми кроме того не смогут трактовать ее создатели. Большое количество недавней работы в информатике сосредоточилось на умных способах для определения, как нервные сети делают то, что они делают.

В нескольких недавних газетах исследователи из Искусственного интеллекта и Лаборатории Информатики MIT (CSAIL) и Катара, Вычисляя НИИ применяли сравнительно не так давно развитую трактующую технику, которая была применена в других областях, дабы проанализировать нейронные сети, обученные сделать распознавание речи и машинный перевод.Они находят эмпирическую помощь некоторых неспециализированных интуиций о том, как сети, возможно, трудятся.

К примеру, совокупности, думается, концентрируются на задачах низшего уровня, таких как звуковое признание либо признание части речи, перед хождением дальше к высокоуровневым задачам, таким как транскрипция либо семантическая интерпретация.Но исследователи кроме этого находят необычное упущение в типе данных, каковые разглядывает сеть перевода, и они говорят о том, что исправление того упущения усиливает работу сети. Улучшение робко, но оно говорит о возможности, что анализ нейронных сетей имел возможность оказать помощь улучшить точность совокупностей ИИ.

«В машинном переводе, исторически, был вид пирамиды с разными слоями», говорит Джим Гласс, научный сотрудник CSAIL, что трудился над проектом с Джонатаном Белинковым, аспирантом MIT в информатике и электротехнике. «На самом низком уровне было слово, поверхностные формы, и вершина пирамиды была некоторым межъязыковым понятием, и у Вас будут разные слои, где Вы делали синтаксис, семантику. Это было весьма абстрактным понятием, но мысль пребывала в том, чем выше Вы вошли в пирамиду, тем легче это должно будет перевести на новый язык, и после этого Вы спустились бы опять.

Так, часть того, что делает Джонатан, пробует узнать, какие конкретно нюансы этого понятия кодируются в сети».Работа над машинным переводом была сравнительно не так давно представлена в двух газетах на Интернациональной Совместной Конференции по Обработке естественного языка. На одном Белинков – первый создатель, и Стекло – ведущий создатель, и на втором, Белинков – соавтор.

На обоих к ним присоединяются исследователи от Qatar Computing Research Institute (QCRI), включая Льюиса Маркеса, Хасана Сэджджэда, Надира Дуррани, Фэхима Дэльви и Штефана Фогеля. Белинков и Стекло – единственные авторы на бумаге, разбирая совокупности распознавания речи, каковые Белинков представил на Нервном Симпозиуме Обработки информации несколько дней назад.

УравниваниеНервные сети так именуют, по причине того, что они приблизительно приближают структуру людской мозга.

В большинстве случаев, они устроены в слои, и любой слой складывается из многих несложных единиц обработки – узлов – любой из которых связан с несколькими узлами в слоях выше и ниже. Эти поданы в самый низкий слой, узлы которого обрабатывают его и передают его к следующему слою.

У связей между слоями имеется разные «веса», каковые определяют, сколько продукция любого узла изображает в вычисление, выполненное следующим.На протяжении обучения всегда приспосабливаются веса между узлами. По окончании того, как сеть научена, ее создатели смогут выяснить веса всех связей, но с тысячами либо кроме того миллионы узлов и еще больше связей между ними, выводя, что кодирует метод те веса, практически неосуществимы.

MIT и техника исследователей QCRI складываются из взятия обученной сети и применения продукции каждого из ее слоев, в ответ на отдельные учебные примеры, дабы научить другую нейронную сеть делать конкретную задачу. Это разрешает им выяснить, для какой задачи любой слой оптимизирован.При сети распознавания речи Белинков и Стекло применяли продукцию отдельных слоев, дабы научить совокупность определять «телефоны», хорошие фонетические единицы, конкретные на разговорный язык.

Звуки «t» в словах «чай», «дерево», и «но», к примеру, имели возможность бы быть классифицированы как отдельные телефоны, но совокупность распознавания речи обязана расшифровать всех их применяющих письмо «t». И вправду, Белинков и Стекло нашли, что более низкие уровни сети были лучше в признании телефонов, чем более большие уровни, где, по-видимому, различие менее важно.Совершенно верно так же в более раннем докладе, сделанном прошлым летом на Годовом собрании Ассоциации для Компьютерной лингвистики, Стекло, Белинков и их коллеги QCRI продемонстрировали, что более низкие уровни сети машинного перевода были особенно хороши в морфологии частей особенности и признании – речи, такие как время, спряжение и число.Создание значения

Но в новой газете, они говорят о том, что более большие уровни сети лучше в чем-то названном семантической маркировкой. Как Белинков растолковывает, разметчик части речи признает, что «сама» местоимение, но значение того местоимения – его семантический суть – весьма отличается в предложениях, «она приобрела книгу сама» и «она сама приобрела книгу». Семантический разметчик назначил бы разные показатели на те два случая «себя», так же, как совокупность машинного перевода имела возможность бы отыскать разные переводы для них на данном выходном языке.

оптимальнее выступающие сети машинного перевода применяют так именуемые расшифровывающие кодирование модели, так, MIT и сеть исследователей QCRI применяют его кроме этого. В таких совокупностях вход, на исходном языке, проходит через пара слоев сети – известный как кодирующее устройство – дабы произвести вектор, последовательность чисел, каковые так или иначе воображают семантическое содержание входа. Тот вектор проходит через еще пара слоев сети – декодера – дабы привести к переводу на выходном языке.Не смотря на то, что кодирующее декодер и устройство научены совместно, они смогут принимать во внимание отдельными сетями.

Исследователи поняли, что, любопытно, более низкие слои кодирующего устройства способны отличать морфологию, но более высокие слои декодера не. Так, Белинков и исследователи QCRI переобучили сеть, победив ее работу в соответствии с не только точность перевода, вместе с тем и анализ морфологии на выходном языке. В сущности они заставили декодер поправиться при различении морфологии.Применяя эту технику, они переобучили сеть, дабы перевести английский язык на немецкий язык и нашли, что его точность возросла на 3 процента.

Это не подавляющее улучшение, но это – показатель, что взор под капотом нейронных сетей мог быть больше, чем отвлечённое осуществление.БУМАГА: Анализ скрытых представлений в постоянных автоматических совокупностях распознавания речи https://arxiv.org/abs/1709.04482

БУМАГА: Оценка слоев представления в нейронном машинном переводе со стороны и семантических задачах маркировки http://people.csail.mit.edu/belinkov/assets/pdf/ijcnlp2017-semantics.pdfБУМАГА: улучшение и Понимание морфологического изучения в декодере нейронного машинного перевода http://people.csail.mit.edu/belinkov/assets/pdf/ijcnlp2017-decoder.pdf


13 thoughts on “Исследователи всматриваются под капотами нейронных сетей: Техника освещает внутренние работы систем искусственного интеллекта тот язык процесса

  1. Сидорова Оксана

    Чтобы скрепная пресса рассказала русскому Ивану как несправедливо угнетенная пиндосами и еврогеями румянощокая русская богатырка борется за справедливость

  2. Steelstalker

    вата почему вы французам не сказали шо бензин подешевеет зря люди митинговали

Добавить комментарий