Конференция

В докладе я расскажу о том, как мы создавали средства поиска для исправления ошибок в коде, и что для этого понадобилось сделать с языковыми моделями.

В управлении знаниями важно наличие и поддержание в актуальном состоянии различных классификаторов, рубрикаторов, таксономий, описывающих предметную область. Одним из источников порождения и пополнения таксономий традиционно рассматриваются коллекции текстов предметной области. В докладе будут представлены подходы к автоматическому порождению таксономий из текстов, методы их тестирования и достигаемые результаты. В частности, будут рассмотрены самые новые подходы на основе больших языковых моделей.

Доклад будет посвящен применению алгоритмов машинного обучения для задач определения точек притяжения (Points of Interest) и целей посещения абонентами отдельных регионов с использованием внутренних источников данных телеком-оператора и открытых данных.

Оценка стоимости объектов недвижимости является одной из классических задач, как в области
гео-пространственного анализа, так и в области машинного обучения, однако, универсального
решения, учитывающего все аспекты и специфику рынка недвижимости, не существует до сих пор.
Так, например, цены на недвижимость в России имеют выраженную региональную специфику,
подвержены макроэкономическим колебаниям и сильно варьируются в зависимости от качества и
расположения объекта. Таким образом, в масштабах России для корректного ответа на вопрос о
стоимости объекта недвижимости необходимо решить целый ряд статистических, гео-
аналитических и алгоритмических задач. Совместив современные инструменты гео-аналитики и
машинного обучения и используя уникальный периметр данных доступный банку ВТБ, мы
разработали Geo-AutoML решение, позволяющее в автоматическом режиме строить и
актуализировать модели оценки недвижимости в широкой географии городов России. Данное
решение под капотом не только рассчитывает огромное количество гео-пространственных
факторов, характеризующих транспортную или социальную инфраструктуру в окрестности
объекта, но и с помощью (ai?) алгоритмов машинного обучения отбирает наиболее релевантные
для конкретного города или региона. Техники анализа временных рядов позволяют выделить в
цене такие компоненты как возраст или стадию готовности объекта, учесть влияние процентных
ставок или макроэкономических индикаторов. «Замешав» все эти техники в рамках Geo-AutoML и
концепции Data Fusion мы получили уникальное динамичное решение, эффективно работающее в
изменяющихся условиях рынка.

В этом докладе представим общую таксономию adversarial атак и способов защиты от них. А также частный случай возможных атак на модели глубокого обучения на транзакционных данных и защиты от таких атак.

Передовые решения на основе нейронных сетей. Для разработки и промышленного использования этих решений требуется эффективная организация процессов по созданию и поддержке ML алгоритмов. Такой подход называется MLOps. В докладе описывается становление MLOps процессов в продуктовых командах beeline. Фокус делается на особенностях MLOps процессов, возникающих при использовании SOTA нейронных сетей в задах обработки аудио, видео и текстовых данных. На практическом примере демонстрируется подход организации процессов от этапа постановки эксперимента и версионирования моделей до этапа промышленной эксплуатации и непрерывного обновления моделей. Подробно рассматриваются применяемые современные открытые решения и поясняется выбор фреймворков и инструментов на основе сравнительного анализа.

The recent progress in computer technologies and telecommunications allows collecting very large volumes of information. The data continuously grows year after year and processing such amounts of data becomes a key challenge. In the data sciences community, we are usually interested in identifying the underlying structure of the data and extracting meaningful information; in the last decade the most successful approaches for achieving this goal are based on deep learning (DL) techniques which commonly involves solving large scale optimization problems. The standard methods for solving such problems are based on first-order schemes such as the famous stochastic gradient descent (SGD), and this for many convincing reasons: they are computationally cheap, usually simple to implement and demonstrated a lot of practical successes for the training of numerous DL models. On their side, higher-order methods, including second-order methods, are more rarely considered in DL, although benefiting from many strengths such as faster convergence (per iteration) and frequent explicit regularization step-size. Moreover, many scientific fields have successfully used second-order methods.
This talk briefly presents some recent and successful developments and use of higher-order methods in deep learning and machine learning.

Многие проблемы, возникающие на практике, требуют принятия решений типа да/нет или сводятся к таким решениям. Например, обрабатывать ли заказ i на станке j, перевозить ли груз i в день j, выдавать ли клиенту i кредит и т.д. При формализации таких проблем возникают оптимизационные задачи с бинарными переменными, которые относятся к классу смешанно-целочисленных программ. Обычно такие задачи решаются методами ограничений и ветвлений. Однако, бинарность переменных делает такие методы в классической реализации менее эффективными. С другой стороны, именно бинарность переменных делает возможными приёмы, в том числе из полиномиальной оптимизации, сильно улучшающие гарантии на качество решения. В этой презентации мы сделаем обзор таких приёмов и продемонстрируем их эффективность на конкретном примере из практики.

The training stage, in which a loss is minimized over the training dataset, is one of many steps in the machine learning pipeline, starting with data collection, cleaning, and model selection.
Training modern machine learning models involves finding optimal parameter values through iterative optimization algorithms such as stochastic gradient descent (SGD) or its variants.
One of the key challenges while using such algorithms is determining appropriate step sizes or learning rates, which strike a balance between convergence speed and stability.
In recent years, adaptive step-size algorithms have gained popularity due to their ability to dynamically adjust learning rates based on the gradient magnitudes encountered during training.
This talk explores various adaptive step-size algorithms, such as Adam and Adagrad, and discusses their advantages and limitations for training machine learning models. We will then introduce two new strategies for adaptive step-size based on Polyak step-size and implicit step-size in a variance-reduced method Sarah.

Artificial Intelligence (along with data sciences and optimization) has been a fundamental component of many activities in economics and finance in recent years. In this lecture we first summarize some of the major impacts of AI tools in economics and finance
and discuss future developments and limitations.
In the second part of the talk we present details on neural network embeddings on corporate annual filings for portfolio selection.