Соревнования

Соревнование
Data Fusion

О соревновании

Ежегодное соревнование по машинному обучению Data Fusion Contest c призовым фондом в 2 000 000 рублей! В 2024 году соревнование будет состоять из двух основных задач: первая – по геоаналитике и вторая задача по моделям оттока клиентов. Также участников ждет много подарков, онлайн-митапы с воркшопами и возможность прокачаться в новых DS/ML методах!

Задачи соревнования

Задача #1
АТАКА
1 000 000
В распоряжении участников имеется заранее обученная модель классификатора, пример сформированного файла с атаками, а также данные для обучения и тестирования. Необходимо построить алгоритм, способный наиболее эффективно искажать предсказания предоставленной вам модели на тестовых данных. Атака имеет ряд ограничений: можно менять не более 10 транзакций из 300; у транзакций можно менять только их сумму и/или MCC код; суммы в измененных транзакциях должны укладываться в заранее известные ограничения.
Метрика: ROC-AUC Diff
Формат решения: Размеченный файл
Задача #2
ЗАЩИТА
1 000 000
В распоряжении участников имеется заранее обученная модель классификатора, пример сформированного файла с атаками, а также данные для обучения и тестирования. Необходимо построить решение, которое будет решать задачу классификации с сопоставимым или лучшим качеством, но при этом будет лучше защищено от атак вида изменений во входных данных. Можно использовать как предоставленную модель, так и обучить новую, при выполнении ограничений на ресурсы и время работы модели.
Метрика: Mean Harm ROC-AUC
Формат решения: Контейнер с кодом

Дополнительные активности

Номинация
COMPANION
Награда за лучшие публичные решения по обеим задачам, опубликованные участниками до окончания каждой фазы соревнования. Номинация публичная, в ней участвуют только открытые решения и материалы участников соревнований.
Регулярная активность
WORKSHOPS
Регулярные митапы, гостевые лекции, воркшопы и разборы инструментов для участников Data Fusion 2023. Соревнование - это ещё и отличная возможность прокачать свои навыки анализа данных.
Регулярная активность
GIFTS
Множество сувениров за активное участие в Data Fusion Contest 2023. Из всех активностей Data Fusion Contest 20232 формируется общий рейтинг для розыгрыша мерча Data Fusion, а также сувениров от сообщества ODS.AI.

Уникальность задачи

Участникам предоставлялась возможность для проверок своих идей по части адверсальных атак и защиты от них моделей глубокого обучения на последовательностях транзакций. Нейронные сети все чаще используют для решения различных бизнес-задач, и исследование их устойчивости является актуальным с практической стороны вызовом. 

Впервые соревнование по машинному обучению проводилось в полностью автоматическом режиме на широкую аудиторию участников, включая проведение турниров между ними. Благодаря такому формату, задача атаки на модели машинного обучения становится не только ценной тестовой средой, но и полноценным межкомандным соревнованием.

Задача №1. Атака

Промежуточный турнир
# Команды Члены команд ROC-AUC Diff Решений
1 TransactionGPT Vladimir Testov
0.078472 23
2 Andrey Kuznetsov Andrey Kuznetsov
0.050208 25
3 Alexander Dudin Alexander Dudin
0.025627 24
4 Лаборатория Smirnov Georgii Sergeevich
Aleksandr Senin
Valerii Smirnov
Oleg Sidorshin
0.025113 24
5 CONS CONS M
0.024203 7
6 overfit Drastamat Kazanchian
0.022697 15
7 SFTB Ekaterina Nazarenko
Aleksandr Surzhikov
0.020082 13
8 Gennady Shtech Gennady Shtech
0.014378 12
9 Anton Morozov Anton Morozov
0.013327 11
10 ssh1 Sergey Shalnov
0.00909 2
Финальный турнир
# Команды Члены команд ROC-AUC Diff Решений
1 Alexander Dudin Alexander Dudin
0.057434 24
2 Andrey Kuznetsov Andrey Kuznetsov
0.047908 25
3 CONS CONS M
0.043002 7
4 Anatoly Ilyenkov Anatoly Ilyenkov
0.036132 12
5 overfit Drastamat Kazanchian
0.034113 15
6 TransactionGPT Vladimir Testov
0.030437 23
7 e58f8eadf77e e58f8eadf77e
0.024093 39
8 Gennady Shtech Gennady Shtech
0.022779 12
9 ssh1 Sergey Shalnov
0.020814 2
10 Лаборатория Smirnov Georgii Sergeevich
Aleksandr Senin
Valerii Smirnov
Oleg Sidorshin
0.016659 24
Показать еще

Задача №2. Защита

Промежуточный турнир
# Команды Члены команд Mean Harm ROC-AUC Решений
1 Timofey Zheleznyakov Timofey Zheleznyakov
0.688702 77
2 Лаборатория Smirnov Georgii Sergeevich
Aleksandr Senin
Valerii Smirnov
Oleg Sidorshin
0.687847 39
3 Gennady Shtech Gennady Shtech
0.68768 44
4 CONS CONS M
0.686595 33
5 TransactionGPT Vladimir Testov
0.666752 61
6 Kag le Kag le
0.66414 9
7 Andrei Kopylov Andrey Kopylov
0.660798 31
8 Andrey Kuznetsov Andrey Kuznetsov
0.655214 48
9 Drastamat Kazanchian Drastamat Kazanchian
0.652665 29
10 Evgeny Kazenov Evgeny Kazenov
0.636952 26
Финальный турнир
# Команды Члены команд Mean Harm ROC-AUC Решений
1 Лаборатория Smirnov Georgii Sergeevich
Aleksandr Senin
Valerii Smirnov
Oleg Sidorshin
0.699502 39
2 Andrey Kuznetsov Andrey Kuznetsov
0.692319 48
3 Evgeny Kazenov Evgeny Kazenov
0.673929 26
4 Yuriy Kim Yuriy Kim
0.672473 6
5 Drastamat Kazanchian Drastamat Kazanchian
0.668578 29
6 Andrey Khlopotnukh Andrey Khlopotnukh
0.664891 100
7 TransactionGPT Vladimir Testov
0.659323 61
8 CONS CONS M
0.654856 33
9 Stepan Andreev Stepan Andreev
0.651702 12
10 Andrei Kopylov Andrey Kopylov
0.61452 31
Показать еще
Втб
Ods