Соревнования

Соревнование
Data Fusion

О соревновании

Data Fusion Contest 2023 — уникальное соревнование по машинному обучению в новом формате. 2 задачи, 2 турнира и призовой фонд — 2 000 000 рублей! 

В этом году соревнование проходило 7 февраля - 3 апреля и было посвящено теме Adversarial Machine Learning (состязательное машинное обучение). Для соревнования был сформирован синтетический датасет на обезличенных данных, при этом данные генерировались таким образом, чтобы сохранить необходимую для решения задачи информацию о пользовательском поведении.

Задачи соревнования

Задача #1
АТАКА
1 000 000
В распоряжении участников имеется заранее обученная модель классификатора, пример сформированного файла с атаками, а также данные для обучения и тестирования. Необходимо построить алгоритм, способный наиболее эффективно искажать предсказания предоставленной вам модели на тестовых данных. Атака имеет ряд ограничений: можно менять не более 10 транзакций из 300; у транзакций можно менять только их сумму и/или MCC код; суммы в измененных транзакциях должны укладываться в заранее известные ограничения.
Метрика: ROC-AUC Diff
Формат решения: Размеченный файл
Задача #2
ЗАЩИТА
1 000 000
В распоряжении участников имеется заранее обученная модель классификатора, пример сформированного файла с атаками, а также данные для обучения и тестирования. Необходимо построить решение, которое будет решать задачу классификации с сопоставимым или лучшим качеством, но при этом будет лучше защищено от атак вида изменений во входных данных. Можно использовать как предоставленную модель, так и обучить новую, при выполнении ограничений на ресурсы и время работы модели.
Метрика: Mean Harm ROC-AUC
Формат решения: Контейнер с кодом

Дополнительные активности

Номинация
COMPANION
Награда за лучшие публичные решения по обеим задачам, опубликованные участниками до окончания каждой фазы соревнования. Номинация публичная, в ней участвуют только открытые решения и материалы участников соревнований.
Регулярная активность
WORKSHOPS
Регулярные митапы, гостевые лекции, воркшопы и разборы инструментов для участников Data Fusion 2023. Соревнование - это ещё и отличная возможность прокачать свои навыки анализа данных.
Регулярная активность
GIFTS
Множество сувениров за активное участие в Data Fusion Contest 2023. Из всех активностей Data Fusion Contest 20232 формируется общий рейтинг для розыгрыша мерча Data Fusion, а также сувениров от сообщества ODS.AI.

Уникальность задачи

Участникам предоставлялась возможность для проверок своих идей по части адверсальных атак и защиты от них моделей глубокого обучения на последовательностях транзакций. Нейронные сети все чаще используют для решения различных бизнес-задач, и исследование их устойчивости является актуальным с практической стороны вызовом. 

Впервые соревнование по машинному обучению проводилось в полностью автоматическом режиме на широкую аудиторию участников, включая проведение турниров между ними. Благодаря такому формату, задача атаки на модели машинного обучения становится не только ценной тестовой средой, но и полноценным межкомандным соревнованием.

Задача №1. Атака

Промежуточный турнир
# Команды Члены команд ROC-AUC Diff Решений
1 TransactionGPT Vladimir Testov
0.078472 23
2 Andrey Kuznetsov Andrey Kuznetsov
0.050208 25
3 Alexander Dudin Alexander Dudin
0.025627 24
4 Лаборатория Smirnov Georgii Sergeevich
Aleksandr Senin
Valerii Smirnov
Oleg Sidorshin
0.025113 24
5 CONS CONS M
0.024203 7
6 overfit Drastamat Kazanchian
0.022697 15
7 SFTB Ekaterina Nazarenko
Aleksandr Surzhikov
0.020082 13
8 Gennady Shtech Gennady Shtech
0.014378 12
9 Anton Morozov Anton Morozov
0.013327 11
10 ssh1 Sergey Shalnov
0.00909 2
Финальный турнир
# Команды Члены команд ROC-AUC Diff Решений
1 Alexander Dudin Alexander Dudin
0.057434 24
2 Andrey Kuznetsov Andrey Kuznetsov
0.047908 25
3 CONS CONS M
0.043002 7
4 Anatoly Ilyenkov Anatoly Ilyenkov
0.036132 12
5 overfit Drastamat Kazanchian
0.034113 15
6 TransactionGPT Vladimir Testov
0.030437 23
7 e58f8eadf77e e58f8eadf77e
0.024093 39
8 Gennady Shtech Gennady Shtech
0.022779 12
9 ssh1 Sergey Shalnov
0.020814 2
10 Лаборатория Smirnov Georgii Sergeevich
Aleksandr Senin
Valerii Smirnov
Oleg Sidorshin
0.016659 24
Показать еще

Задача №2. Защита

Промежуточный турнир
# Команды Члены команд Mean Harm ROC-AUC Решений
1 Timofey Zheleznyakov Timofey Zheleznyakov
0.688702 77
2 Лаборатория Smirnov Georgii Sergeevich
Aleksandr Senin
Valerii Smirnov
Oleg Sidorshin
0.687847 39
3 Gennady Shtech Gennady Shtech
0.68768 44
4 CONS CONS M
0.686595 33
5 TransactionGPT Vladimir Testov
0.666752 61
6 Kag le Kag le
0.66414 9
7 Andrei Kopylov Andrey Kopylov
0.660798 31
8 Andrey Kuznetsov Andrey Kuznetsov
0.655214 48
9 Drastamat Kazanchian Drastamat Kazanchian
0.652665 29
10 Evgeny Kazenov Evgeny Kazenov
0.636952 26
Финальный турнир
# Команды Члены команд Mean Harm ROC-AUC Решений
1 Лаборатория Smirnov Georgii Sergeevich
Aleksandr Senin
Valerii Smirnov
Oleg Sidorshin
0.699502 39
2 Andrey Kuznetsov Andrey Kuznetsov
0.692319 48
3 Evgeny Kazenov Evgeny Kazenov
0.673929 26
4 Yuriy Kim Yuriy Kim
0.672473 6
5 Drastamat Kazanchian Drastamat Kazanchian
0.668578 29
6 Andrey Khlopotnukh Andrey Khlopotnukh
0.664891 100
7 TransactionGPT Vladimir Testov
0.659323 61
8 CONS CONS M
0.654856 33
9 Stepan Andreev Stepan Andreev
0.651702 12
10 Andrei Kopylov Andrey Kopylov
0.61452 31
Показать еще
Втб
Ods