Студент Вышки выступит на ACL — главной конференции по компьютерной лингвистике

© Коллекция Essentials/ iStock

Статья студента 4 курса факультета компьютерных наук Артема Гадецкого была принята на международную конференцию Association for Computational Linguistics — единственную конференцию по компьютерной лингвистике уровня A*.  Согласно системе CORE, которая ранжирует крупные конференции по computer science, конференции типа A* — это конференции высшего уровня.

Конференция ACL проводится ежегодно с 1962 года. На ней, как правило, представляют исследования, связанные с  обработкой естественного языка: диалоговые системы, машинный перевод, различные генеративные модели текста. В среднем на конференцию принимают около 20% от поданных работ, в этом году из 1544 присланных работ было одобрено 384.

Научную работу Артем подготовил совместно с профессором факультета компьютерных наук Дмитрием Ветровым и Ильей Якубовским, исследователем компании Joom. Доклад на тему «Conditional Generators of Words Definitions» будет представлен на конференции, которая пройдет с 15 по 20 июля в Мельбурне (Австралия).

О статье

Часто в задачах машинного обучения в качестве данных выступает текст. Этот текст обычно разбивается на слова и затем преобразуется в вектор - набор чисел, с которым алгоритмам машинного обучения уже удобно работать. В работе Артема Гадецкого исследовались как раз такие векторные представления слов. Обычно для одного слова используется один вектор, но так как существуют многозначные слова, то неочевидно, что это представление хранит информацию о всех значениях слова. В работе была построена модель генерации определений слов. С ее помощью можно генерировать различные определения для разных значений одного и того же слова. За основу берется в данном случае пример употребления слова. Посмотрите, как это работает c простыми словами star, sentence, head:

 

Слово	Пример употребления	Сгенерированное определение
star	she got star treatment	a person who is very important
star	bright star in the sky	a small circle of a celestial object or planet that is seen in a circle
sentence	sentence in prison	an act of restraining someone or something
sentence	write up the sentence	a piece of text written to be printed
head	the head of a man	the upper part of a human body
head	the leader of organization	with the highest rank or position

Также в результате исследования было показано, что в одном таком представлении содержится информация о многих возможных смыслах. К тому же, есть основания полагать, что отдельные компоненты векторов слов могут отвечать за части речи и другие различные свойства слов.

Артем Гадецкий, студент 4 курса образовательной программы «Прикладная математика и информатика»

Построение интерпретируемых моделей является развивающейся и важной областью, так как полное понимание работы таких методов позволит найти недостатки и исправить их. Наша работа является шагом в сторону понимания того, что выучивают нейронные сети.

Дмитрий Ветров, заведующий Лабораторией компании Самсунг

Эта работа является прекрасным экспериментальным подтверждением того, что современные нейронные сети извлекают гораздо больше информации о данных, чем было принято считать. Нейронная сеть не просто понимает значения слов в зависимости от контекста, но и способна сформулировать свое понимание на человеческом языке. Это открывает новые возможности для построения интерпретируемых моделей искусственного интеллекта, когда нейронная сеть, помимо принятого решения, сразу генерирует текстовое описание, почему она приняла именно это решение. Технология, предложенная в нашей статье, представляет как конкретную практическую пользу, например, для финансовой сферы, так и более фундаментальную, показывая, что даже сравнительно примитивные (с точки зрения полноценного ИИ) технологии машинного обучения обладают неожиданными свойствами, традиционно приписываемыми высшей нервной деятельности. Это означает, что пройдена еще одна ступенька на пути к созданию полноценного искусственного разума.