• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Студент Вышки выступит на ACL — главной конференции по компьютерной лингвистике

© Коллекция Essentials/ iStock

Статья студента 4 курса факультета компьютерных наук Артема Гадецкого была принята на международную конференцию Association for Computational Linguistics — единственную конференцию по компьютерной лингвистике уровня A*.  Согласно системе CORE, которая ранжирует крупные конференции по computer science, конференции типа A* — это конференции высшего уровня.

Конференция ACL проводится ежегодно с 1962 года. На ней, как правило, представляют исследования, связанные с  обработкой естественного языка: диалоговые системы, машинный перевод, различные генеративные модели текста. В среднем на конференцию принимают около 20% от поданных работ, в этом году из 1544 присланных работ было одобрено 384.

Научную работу Артем подготовил совместно с профессором факультета компьютерных наук Дмитрием Ветровым и Ильей Якубовским, исследователем компании Joom. Доклад на тему «Conditional Generators of Words Definitions» будет представлен на конференции, которая пройдет с 15 по 20 июля в Мельбурне (Австралия).

О статье

Часто в задачах машинного обучения в качестве данных выступает текст. Этот текст обычно разбивается на слова и затем преобразуется в вектор - набор чисел, с которым алгоритмам машинного обучения уже удобно работать. В работе Артема Гадецкого исследовались как раз такие векторные представления слов. Обычно для одного слова используется один вектор, но так как существуют многозначные слова, то неочевидно, что это представление хранит информацию о всех значениях слова. В работе была построена модель генерации определений слов. С ее помощью можно генерировать различные определения для разных значений одного и того же слова. За основу берется в данном случае пример употребления слова. Посмотрите, как это работает c простыми словами star, sentence, head:

 
СловоПример употребленияСгенерированное определение
starshe got star treatmenta person who is very important
starbright star in the skya small circle of a celestial object or planet that is seen in a circle
sentencesentence in prisonan act of restraining someone or something
sentencewrite up the sentencea piece of text written to be printed
headthe head of a manthe upper part of a human body
headthe leader of organizationwith the highest rank or position


Также в результате исследования было показано, что в одном таком представлении содержится информация о многих возможных смыслах. К тому же, есть основания полагать, что отдельные компоненты векторов слов могут отвечать за части речи и другие различные свойства слов.



Артем Гадецкий, студент 4 курса образовательной программы «Прикладная математика и информатика»

Построение интерпретируемых моделей является развивающейся и важной областью, так как полное понимание работы таких методов позволит найти недостатки и исправить их. Наша работа является шагом в сторону понимания того, что выучивают нейронные сети.


Дмитрий Ветров, заведующий Лабораторией компании Самсунг

Эта работа является прекрасным экспериментальным подтверждением того, что современные нейронные сети извлекают гораздо больше информации о данных, чем было принято считать. Нейронная сеть не просто понимает значения слов в зависимости от контекста, но и способна сформулировать свое понимание на человеческом языке. Это открывает новые возможности для построения интерпретируемых моделей искусственного интеллекта, когда нейронная сеть, помимо принятого решения, сразу генерирует текстовое описание, почему она приняла именно это решение. Технология, предложенная в нашей статье, представляет как конкретную практическую пользу, например, для финансовой сферы, так и более фундаментальную, показывая, что даже сравнительно примитивные (с точки зрения полноценного ИИ) технологии машинного обучения обладают неожиданными свойствами, традиционно приписываемыми высшей нервной деятельности. Это означает, что пройдена еще одна ступенька на пути к созданию полноценного искусственного разума.

Вам также может быть интересно:

На программе «Фундаментальная и компьютерная лингвистика» учат строить мир будущего

Кто может научить робота говорить? Кто, используя мощь компьютеров, исследует, как устроен язык? Кто одновременно — технарь и гуманитарий? Ответ — специалист по компьютерной лингвистике. Таких специалистов тоже готовят в Вышке. О программе «Фундаментальная и компьютерная лингвистика» рассказывает преподаватель Борис Орехов.

В Нижнем Новгороде прошла международная научная школа по информационному поиску

Завершила работу VIII международная школа-конференция RuSSIR-2014 (Russian Summer School in Information Retrieval – Российская летняя школа по информационному поиску), организованная Высшей школой экономики в Нижнем Новгороде и компанией РОМИП.

Компьютерная лингвистика: первые выпускники

В Нижегородском кампусе ВШЭ прошла защита дипломных работ первого выпуска магистерской программы «Компьютерная лингвистика». Публикуем мнения выпускников о программе.