Соревнования

Соревнование
Data Fusion
Участвовать
Этап 1
Отправка сабмитов
Квалификация на Турнир 1
7 февраля
5 марта, 2023
Этап 2
Квалификация
на Турнир 2
6 марта
2 апреля, 2023
Награждение победителей
на конференции
Data Fusion
13 апреля, 2023
Январь
Февраль
Март
Апрель
Май
Турнир 1
Определение победителей
6 марта
11 марта, 2023
Турнир 2
Определение победителей
3 апреля
12 апреля, 2023
Этап 1
Отправка сабмитов
Квалификация на Турнир 1
7 февраля
5 марта, 2023
Турнир 1
Определение победителей
6 марта
11 марта, 2023
Этап 2
Квалификация
на Турнир 2
6 марта
2 апреля, 2023
Турнир 2
Определение победителей
3 апреля
12 апреля, 2023
Награждение победителей
на конференции
Data Fusion
13 апреля, 2023

О соревновании

Data Fusion Contest 2023 — уникальное соревнование по машинному обучению в новом формате. 2 задачи, 2 турнира и призовой фонд — 2 000 000 рублей! 

В этом году соревнование посвящено теме Adversarial Machine Learning (состязательное машинное обучение). Для соревнования был сформирован синтетический датасет на обезличенных данных, при этом данные генерировались таким образом, чтобы сохранить необходимую для решения задачи информацию о пользовательском поведении.

Общий призовой фонд
2000000
Призовой фонд
Задача «Атака»
1000000
Призовой фонд
Задача «Защита»
1000000

Задачи соревнования

Задача #1
АТАКА
1 000 000
В распоряжении участников имеется заранее обученная модель классификатора, пример сформированного файла с атаками, а также данные для обучения и тестирования. Необходимо построить алгоритм, способный наиболее эффективно искажать предсказания предоставленной вам модели на тестовых данных. Атака имеет ряд ограничений: можно менять не более 10 транзакций из 300; у транзакций можно менять только их сумму и/или MCC код; суммы в измененных транзакциях должны укладываться в заранее известные ограничения.
Метрика: ROC-AUC Diff
Формат решения: Размеченный файл
Задача #2
ЗАЩИТА
1 000 000
В распоряжении участников имеется заранее обученная модель классификатора, пример сформированного файла с атаками, а также данные для обучения и тестирования. Необходимо построить решение, которое будет решать задачу классификации с сопоставимым или лучшим качеством, но при этом будет лучше защищено от атак вида изменений во входных данных. Можно использовать как предоставленную модель, так и обучить новую, при выполнении ограничений на ресурсы и время работы модели.
Метрика: Mean Harm ROC-AUC
Формат решения: Контейнер с кодом

Дополнительные активности

Номинация
COMPANION
Награда за лучшие публичные решения по обеим задачам, опубликованные участниками до окончания каждой фазы соревнования. Номинация публичная, в ней участвуют только открытые решения и материалы участников соревнований.
Регулярная активность
WORKSHOPS
Регулярные митапы, гостевые лекции, воркшопы и разборы инструментов для участников Data Fusion 2023. Соревнование - это ещё и отличная возможность прокачать свои навыки анализа данных.
Регулярная активность
GIFTS
Множество сувениров за активное участие в Data Fusion Contest 2023. Из всех активностей Data Fusion Contest 20232 формируется общий рейтинг для розыгрыша мерча Data Fusion, а также сувениров от сообщества ODS.AI.

Уникальность задачи

Участникам предоставляется возможность для проверок своих идей по части адверсальных атак и защиты от них моделей глубокого обучения на последовательностях транзакций. Нейронные сети все чаще используют для решения различных бизнес-задач, и исследование их устойчивости является актуальным с практической стороны вызовом. 

Впервые соревнование по машинному обучению проводится в полностью автоматическом режиме на широкую аудиторию участников, включая проведение турниров между ними. Благодаря такому формату, задача атаки на модели машинного обучения становится не только ценной тестовой средой, но и полноценным межкомандным соревнованием.

Втб
Ods

FAQ

Как поучаствовать в соревновании Data Fusion Contest 2023?

Для участия необходимо пройти регистрацию на платформе соревнования (ссылка). Затем вам необходимо разработать свое решение и загрузить его на платформу соревнования в соответствии с правилами. Решения можно улучшать и загружать на протяжении всего соревнования.

Когда заканчивается регистрация на соревнование?

Зарегистрироваться на соревнование можно в любое время до 2 апреля 2023 23:59:59 МСК.

Можно ли решать сразу обе задачи?

Можно. Принимать участие разрешено как в какой-то одной задаче или активности, так и в любой из возможных комбинации.

Можно ли участвовать в командах?

Участие во всех задачах возможно в командах от 1 до 4 человек.

Когда будут определены победители соревнования?

Победители соревнования будут определены в период с 3 по 14 апреля 2023.

Будет ли церемония награждения победителей?

Да, будет. Церемония награждения пройдет в рамках конференции Data Fusion 2023 14 апреля. Во время церемонии будут объявлены победители соревнования и вручены призы. На церемонию награждения финалисты будут приглашены лично.

Как будут оцениваться решения соревнования?

Решения задач соревнования оцениваются автоматически, на основе сопоставления с истинными тестовыми метками. Лидерборды задач используются для квалификации на турниры: публичный лидерборд по состоянию на 00:00 06.03 2023 для отбора на первый турнир и приватный лидерборд для отбора на финальный турнир. Заявки в специальную номинацию Companion оцениваются жюри из представителей организатора соревнования, а также приглашенных экспертов и исследователей после окончания каждой фазы соревнования (к первому и к финальному турнирам).

Как определяются победители соревнования?

Победителями в каждой из задач становятся участники или их команды, получившие лучшие результаты в турнирном рейтинге. В каждой из задач, которые решает участник, необходимо выбрать до 2 своих финальных решений. Если участник квалифицировался на турнир, каждое из участвующих в турнире финальных решений запускается против всех остальных решений квалифицировавшихся финалистов противоположной задачи. Результаты каждого из турниров публикуются в виде отдельного лидерборда и считаются официальным результатом для получения призов соревнования. Итоговым результатом соревнования являются результаты итогового турнира. 

Как можно квалифицироваться на турнир?

Если участник вошел в топ-10 по квалификационному лидерборду своей задачи, его финальные решения участвуют в соответствующем турнире. Квалификационным лидербордом для первого турнира является публичный лидерборд по состоянию на 00:00 06.03 2023. Квалификационным лидербордом для финального турнира является приватный лидерборд соревнования.

Как проходят турниры?

С участниками, которые квалифицированы на турнир связываются представители организатора соревнования. Участникам задачи “Атака” необходимо в течение 24 часов после квалификации запустить свои выбранные финальные решения на новых тестовых данных, подготовленных специально для каждого турнира, и предоставить результаты их работы. Если решение не предоставлено в срок, оно не участвует в турнире. Участникам задачи “Защита” ничего дополнительного предоставлять не требуется. Затем, в течение 5 дней все решения задач “Атака” и “Защита” запускаются друг против друга, с подсчетом тех же метрик, что и в самих задачах.

Как выбираются финальные решения?

В каждой задаче можно выбрать до 2 своих финальных решений. На протяжении всего соревнования можно выбирать финальные решения, в том числе менять свой выбор. Если финальные решения не были выбраны, в их качестве  автоматически выбираются 2 лучших решения на публичной части тестовых данных. Результаты на публичных тестовых данных доступны в течение хода соревнования, но не используются при определении победителей соревнования.