Конференция

В докладе я расскажу о том, как мы создавали средства поиска для исправления ошибок в коде и что для этого понадобилось сделать с языковыми моделями.

В управлении знаниями важно наличие и поддержание в актуальном состоянии различных классификаторов, рубрикаторов, таксономий, описывающих предметную область. Одним из источников порождения и пополнения таксономий традиционно рассматриваются коллекции текстов предметной области. В докладе будут представлены подходы к автоматическому порождению таксономий из текстов, методы их тестирования и достигаемые результаты. В частности, будут рассмотрены самые новые подходы на основе больших языковых моделей.

В этом докладе мы обсудим проблему генерации персонализированных рекомендаций при обучении на основе последовательностей действий пользователя. Современные модели решают эту задачу на основе механизма внимания, используемого в трансформерных нейронных сетях. Мы рассмотрим альтернативный подход, основанный на особом тензорном представлении входных данных. Будет показано, как этот подход позволяет создать линейный аналог механизма внимания в рамках обобщения стандартной матричной факторизации для многомерного случая. Полученное решение обеспечивает сравнимое качество рекомендаций, но при этом дает ряд вычислительных преимуществ по сравнению с нейросетевым подходом

Vector mapping is widely required by applications such as navigation, smart city and photovoltaic power station planning. Traditionally, vector maps have been manually drawn by mapping experts. Automating this process is a challenging task. We show some of our latest advances in automatic vector mapping technology for navigation map production and large-scale building mapping.

Доклад будет посвящен применению алгоритмов машинного обучения для задач определения точек притяжения (Points of Interest) и целей посещения абонентами отдельных регионов с использованием внутренних источников данных телеком-оператора и открытых данных.

Летом 2022 года компания «ТЕРРА ТЕХ» (дочерняя компания холдинга «Российские космические системы» Госкорпорации «Роскосмос») представила новую геоналитическую платформу Pixel.AI. Она работает на стыке технологий дистанционного зондирования Земли и искусственного интеллекта.

Пакет аналитики по территории пользователь получает почти через 20 минут после заказа. Данные могут использовать банки, страховые компании при принятии решений о кредитовании, субсидировании и страховании предприятий, мониторинге залогов, инвентаризации сельхозугодий и оценке земельных участков. Сейчас сервис запрограммирован на сельхозаналитику. Pixel.AI позволяет на 97% сократить время и ресурсы на определение границ, статуса, расчет индексов и статистики. И снизить на 48% затраты на обработку космических данных.

Многомерный массив – естественное представление для многих важных типов данных. Большие многомерные массивы возникают благодаря дистанционному зондированию Земли (ДЗЗ), численному моделированию погоды и климата, биоинформатике, наблюдениям астрономических телескопов и многим другим областям. Стремительно растущие объемы многомерных массивов постоянно требуют новых подходов для их эффективного хранения, управления и обработки. В докладе будет представлен обзор ряда возможностей современных Array DBMS – активно развивающейся области R&D

Оценка стоимости объектов недвижимости является одной из классических задач, как в области
гео-пространственного анализа, так и в области машинного обучения, однако, универсального
решения, учитывающего все аспекты и специфику рынка недвижимости, не существует до сих пор.
Так, например, цены на недвижимость в России имеют выраженную региональную специфику,
подвержены макроэкономическим колебаниям и сильно варьируются в зависимости от качества и
расположения объекта. Таким образом, в масштабах России для корректного ответа на вопрос о
стоимости объекта недвижимости необходимо решить целый ряд статистических, гео-
аналитических и алгоритмических задач. Совместив современные инструменты гео-аналитики и
машинного обучения и используя уникальный периметр данных доступный банку ВТБ, мы
разработали Geo-AutoML решение, позволяющее в автоматическом режиме строить и
актуализировать модели оценки недвижимости в широкой географии городов России. Данное
решение под капотом не только рассчитывает огромное количество гео-пространственных
факторов, характеризующих транспортную или социальную инфраструктуру в окрестности
объекта, но и с помощью (ai?) алгоритмов машинного обучения отбирает наиболее релевантные
для конкретного города или региона. Техники анализа временных рядов позволяют выделить в
цене такие компоненты как возраст или стадию готовности объекта, учесть влияние процентных
ставок или макроэкономических индикаторов. «Замешав» все эти техники в рамках Geo-AutoML и
концепции Data Fusion мы получили уникальное динамичное решение, эффективно работающее в
изменяющихся условиях рынка.

В докладе рассмотрим тестирование безопасности систем машинного обучения. Обсудим эффективность разных атак, приведя примеры успешных и неуспешных. В заключение докладчик на основе собственного опыта покажет, как успешный подход к тестированию безопасности может привести к успеху, и предоставит полезные ресурсы для дальнейшего изучения темы.

В стандартной постановке адверсальная атака производится на модель, к которой у нас есть полный доступ. Например, доступны градиенты модели по входам. Мы рассмотрим более прикладную постановку, в которой модель доступна как черный и серый ящик и разберем, как можно эффективно атаковать такую модель и сколько вызовов целевой функции нам для этого нужно.

В докладе я расскажу про адверсальные атаки на модели, основанные на последовательностях пользовательских данных. В основном, мы будем обсуждать реалистичные атаки на банковские скоринговые модели, использующие транзакции по картам. Поговорим про то, как может быть устроена реалистичная атака и что должно быть доступно атакующему. Разберем некоторые методы атак, которые подходят для адверсариальной модификации последовательностей. Обсудим результаты их применения к модели аналогичной той, которая может применяться в банках для скоринга клиентов из нашей статьи на KDD`21 (https://arxiv.org/abs/2106.08361).

В докладе расскажу о практическом кейсе применения техник Adversarial ML, которые использовали при проработки соревнования Data Fusion 2023. Речь о атаках и защите при классификации нейронками клиентских транзакций. Какими методами тестировали сетапы соревнования, чтобы отобрать лучшие из возможных сценариев его организации. От чего в итоге отказались и почему.

Расскажем, какие идеи позволили занять 1 место в финальном турнире и 2 место в промежуточном. Поделимся инсайдами в данных и в задаче

Рассмотрим бейзлайн атаки соревнования Data Fusion Contest 2023. Расскажу про вариант white-box атаки при помощи перебора, а также улучшение алгоритма для проведения black-box атаки

В докладе рассматриваются эффекты воздействия атак разных типов на обученную графовую нейронную сеть, применяющуюся в банковском скоринге. Эффекты рассматриваются как с точки зрения data sceince метрик и смещений распределения ответов модели, так и с точки зрения принятия решений в бизнес-процессе

Почему Ассоциация больших данных начала работать с синтетическими данными?
Какие цели ставит АБД в результате работы с синтетическими данными?
Какие результат Ассоциация получила в результате эксперимента?
Какие существуют особенности реализации исследований?
Как в дальнейшем будут использованы результаты исследований с синтетическими данными?

В докладе рассматриваются эффекты воздействия атак разных типов на обученную графовую нейронную сеть, применяющуюся в банковском скоринге. Эффекты рассматриваются как с точки зрения data sceince метрик и смещений распределения ответов модели, так и с точки зрения принятия решений в бизнес-процессе

В докладе будут рассмотрены построенные модели для генерации синтетических платежных транзакций на основе GRU, Transformer, CVAE.
Также будут показаны результаты применения синтетических данных для решения задач предсказания дефолта, возраста и пола клиента

В данном выступлении я расскажу об основных компонентах MOps платформы SciBox. Какие задачи продуктивизации моделей она закрывает и какие компоненты включает. Также речь пойдет об инструменте разметки датасетов Маркер.

Передовые решения на основе нейронных сетей. Для разработки и промышленного использования этих решений требуется эффективная организация процессов по созданию и поддержке ML алгоритмов. Такой подход называется MLOps. В докладе описывается становление MLOps процессов в продуктовых командах beeline. Фокус делается на особенностях MLOps процессов, возникающих при использовании SOTA нейронных сетей в задах обработки аудио, видео и текстовых данных. На практическом примере демонстрируется подход организации процессов от этапа постановки эксперимента и версионирования моделей до этапа промышленной эксплуатации и непрерывного обновления моделей. Подробно рассматриваются применяемые современные открытые решения и поясняется выбор фреймворков и инструментов на основе сравнительного анализа.

В современном мире у всех специалистов в области технологий обработки данных на слуху слова Data Engineering и MLOps. Команда розничных рисков банка «Открытие» убедилась в том, что это не просто слова, а вполне материальные технологии, приносящие ощутимую пользу бизнесу.
Обобщая опыт нашей команды, можно выделить следующие ключевые факторы успешного применения MLOps:
• Снижение риска расхождения входных данных в обучении и применении ML моделей.
• Построение жизненного цикла ML моделей с четким разделением функций как специалистов, так и систем.
• Стандартизация интеграции ML моделей с системами принятия решений (СПР).
• Использование инструментов автоматизации тестирования и мониторинга.
Основным измеримым результатом, которого удалось добиться, является снижение на 43% Time To Market подключения моделей к СПР.
Но результаты, которые сложнее оценить количественно, еще важнее:
• Data Science специалисты стали счастливее от того, что могут больше заниматься исследованиями, а рутинным тестированием и мониторингом меньше.
• Клиенты «Открытия» стали счастливее от того, что мы сделали наши модели более точными и надежными.

The recent progress in computer technologies and telecommunications allows collecting very large volumes of information. The data continuously grows year after year and processing such amounts of data becomes a key challenge. In the data sciences community, we are usually interested in identifying the underlying structure of the data and extracting meaningful information; in the last decade the most successful approaches for achieving this goal are based on deep learning (DL) techniques which commonly involves solving large scale optimization problems. The standard methods for solving such problems are based on first-order schemes such as the famous stochastic gradient descent (SGD), and this for many convincing reasons: they are computationally cheap, usually simple to implement and demonstrated a lot of practical successes for the training of numerous DL models. On their side, higher-order methods, including second-order methods, are more rarely considered in DL, although benefiting from many strengths such as faster convergence (per iteration) and frequent explicit regularization step-size. Moreover, many scientific fields have successfully used second-order methods.
This talk briefly presents some recent and successful developments and use of higher-order methods in deep learning and machine learning.

Федеративное обучение – это популярная ветка распределенного машинного обучения, в основе которой лежит концепция о том, что обучающая выборка распределенно хранится на локальных устройствах пользователей (телефонах, планшетах, персональных компьютерах). Такая постановка задачи рождает массу новых вопросов и проблем от приватности и персонализации до эффективности коммуникаций и локальных вычислений. Но в основе федеративного обучения, как и в основе классического машинного обучения, лежат задачи оптимизации. Поэтому все особенности федеративного обучения в первую очередь отражаются на оптимизационных методах, которые нужно модифицировать под новые требования. О такого рода модификациях, новых подходах и постановках пойдет речь в выступлении

Обучение с подкреплением – это популярная парадигма машинного обучения, с которой связаны недавние успехи в Go, Starcraft, а также в обучении больших языковым моделей (Reinforcement Learning with Human Feedback) и поиск новых алгоритмов быстрого умножения матриц (AlphaTensor). В этой общей задаче наша задача – обучить некоторого агента взаимодействовать со средой, чтобы максимизировать получаемую награду. Поскольку процесс генерации обучающих данных напрямую связан с решениями агента, возникает “exploration-exploitation” дилемма: агенту нужно одновременно исследовать среду, чтобы иметь достаточно разнообразные обучающие данные, и с другой стороны, ему нужно найти алгоритм действий который максимизирует награду, основываясь на текущих данных. В выступлении пойдет речь о практических и теоретических подходах к решению данной важной дилеммы.

Многие проблемы, возникающие на практике, требуют принятия решений типа да/нет или сводятся к таким решениям. Например, обрабатывать ли заказ i на станке j, перевозить ли груз i в день j, выдавать ли клиенту i кредит и т.д. При формализации таких проблем возникают оптимизационные задачи с бинарными переменными, которые относятся к классу смешанно-целочисленных программ. Обычно такие задачи решаются методами ограничений и ветвлений. Однако, бинарность переменных делает такие методы в классической реализации менее эффективными. С другой стороны, именно бинарность переменных делает возможными приёмы, в том числе из полиномиальной оптимизации, сильно улучшающие гарантии на качество решения. В этой презентации мы сделаем обзор таких приёмов и продемонстрируем их эффективность на конкретном примере из практики.

The training stage, in which a loss is minimized over the training dataset, is one of many steps in the machine learning pipeline, starting with data collection, cleaning, and model selection.
Training modern machine learning models involves finding optimal parameter values through iterative optimization algorithms such as stochastic gradient descent (SGD) or its variants.
One of the key challenges while using such algorithms is determining appropriate step sizes or learning rates, which strike a balance between convergence speed and stability.
In recent years, adaptive step-size algorithms have gained popularity due to their ability to dynamically adjust learning rates based on the gradient magnitudes encountered during training.
This talk explores various adaptive step-size algorithms, such as Adam and Adagrad, and discusses their advantages and limitations for training machine learning models. We will then introduce two new strategies for adaptive step-size based on Polyak step-size and implicit step-size in a variance-reduced method Sarah.

Artificial Intelligence (along with data sciences and optimization) has been a fundamental component of many activities in economics and finance in recent years. In this lecture we first summarize some of the major impacts of AI tools in economics and finance
and discuss future developments and limitations.
In the second part of the talk we present details on neural network embeddings on corporate annual filings for portfolio selection.

Покажем, как мы в ЕВРАЗе решили проблему ухода зарубежных вендоров с российского рынка, какой open-source стек использовали и что из этого вышло.

Краткое описание функционала библиотеки, отличительных особенностей, процессе ее разработки. Расскажем о вариантах применения библиотеки в повседневных задачах для специалистов Data Science.

В докладе мы кратко рассмотрим функционал библиотеки и ее основные области применения в индустриальных задачах

В докладе рассматривается концепт технологии систематической кооперативной разработки моделей МО на данных широкого круга владельцев данных без прямого доступа к детальным данным. Технология разрабатывается группой специалистов МФТИ-ВТБ и призвана упростить процесс совместного использования данных для разработки.

Рассмотрим примеры задач обработки данных, актуальные для целей технологии "Крипто-анклава", а также укажем на основные вызовы и ожидаемые направления развития

С увеличением количества бизнес-сервисов и роста нагрузки особенно актуальным становится ранее автоматическое предупреждение о возможных сбоях. В идеале требуется на основе анализа исторических данных по эксплуатации сервисов прогнозировать наступление инцидентов и аварий. Для решения такой задачи предназначен инструмент Платформы производства Сфера - Интеллектуальный анализ событий. С использованием адаптивных алгоритмов выявления аномалий в метриках работы бизнес-сервисов инструмент предупредит о возможных сбоях и предоставит важную диагностическую информацию. При этом динамические пороги внимания формируются с учетом трендов, сезонности, производственных календарей, а гибкие правила алертинга позволяют снизить шум за счет выбора зоны и длительности аномалий.
В ходе сессии будут рассмотрены возможности и перспективы развития продукта, а также подходы к выявлению аномалий в работе бизнес-сервисов, не требующие экспертной настройки и разработанные на основе анализа более 150 тысяч метрик за 3 года.

1. Ключевые преимущества реализации гибридной ИТ-инфраструктуры для ML и AI
2. Катастрофоустойчивость в облаке и не только
3. Сервер с 8хGPU - на шаг до суперкомпьютера

С увеличением количества бизнес-сервисов и роста нагрузки особенно актуальным становится ранее автоматическое предупреждение о возможных сбоях. В идеале требуется на основе анализа исторических данных по эксплуатации сервисов прогнозировать наступление инцидентов и аварий. Для решения такой задачи предназначен инструмент Платформы производства Сфера - Интеллектуальный анализ событий. С использованием адаптивных алгоритмов выявления аномалий в метриках работы бизнес-сервисов инструмент предупредит о возможных сбоях и предоставит важную диагностическую информацию. При этом динамические пороги внимания формируются с учетом трендов, сезонности, производственных календарей, а гибкие правила алертинга позволяют снизить шум за счет выбора зоны и длительности аномалий.
В ходе сессии будут рассмотрены возможности и перспективы развития продукта, а также подходы к выявлению аномалий в работе бизнес-сервисов, не требующие экспертной настройки и разработанные на основе анализа более 150 тысяч метрик за 3 года.

1. Искусственный интеллект - наше будущее и настоящее
2. Что такое ИИ на краевых (edge-) устройствах
3. Оптимизация решения - залог быстрой работы
4. Долговременное хранение (S3)

Развитие подходов к работе с данными неразрывно связан с развитием облачных технологий - вычислений и платформ aaS. Кратное увеличение объёмов данных и усложнение задач в области их аналитики требуют принципиально новых подходов к решению вычислительных задач, реализованных в суперкомпьютерах.
Ранее суперкомпьютеры из-за больших объемов капитальных затрат были доступны единичным компаниям, но сегодня мощности суперкомпьютеров начинают предоставляться как услуга - это делает высокопроизводительные вычисления доступными и открывает колоссальный потенциал развития в области анализа больших данных и сложных AI-моделей.

Обучение методам работы с данными предполагает наличие масштабируемой
инфраструктуры с преднастроенными фреймворками. Выступление будет посвящено
тому, как развернуть и использовать такую инфраструктуру в образовании.