28 января 2026 года состоится заседание совместного семинара РАИИ и ФИЦ ИУ РАН «Проблемы искусственного интеллекта».

На заседании семинара будет представлен доклад на тему «Тематические и нейросетевые вероятностные языковые модели: курс на сближение».

Докладчик:

доктор физико-математических наук, профессор РАН Константин Вячеславович Воронцов (зав. каф. «Математические методы прогнозирования» ВМК МГУ, зав. лаб. «Машинное обучение и семантический анализ» Института искусственного интеллекта МГУ, зав. каф. «Машинного обучения и цифровой гуманитаристики» МФТИ, г.н.с. Федерального исследовательского центра «Информатика и управление» РАН).

Аннотация доклада

Доклад будет состоять из трёх частей.
   1. Обзор вероятностных моделей языка: частотных, тематических, дистрибутивных, глубоких нейросетевых. Цели и задачи тематического моделирования, и почему оно остаётся актуальным в эпоху больших языковых моделей.
   2. Теория аддитивной регуляризации тематических моделей (ARTM) концептуально приближает EM-алгоритм обучения вероятностных тематических моделей к градиентным методам обучения нейросетевых моделей языка.
   3. Новая тематическая модель локальных контекстов позволяет окончательно уйти от гипотезы «мешка слов» — наиболее критикуемого допущения в тематическом моделировании. По сути, это простейший вариант модели внимания без обучаемых параметров, но с богатыми возможностями развития.

 Заседание состоится в конференц-зале ФИЦ ИУ РАН (Москва, ул. Вавилова, дом 44, корп. 2, пом. 124) в смешанном формате.