Соревнования

Соревнование

Data Fusion

О соревновании

Ежегодное соревнование по машинному обучению Data Fusion Contest c призовым фондом в 2 000 000 рублей! В 2024 году соревнование будет состоять из двух основных задач: первая – по геоаналитике и вторая задача по моделям оттока клиентов. Также участников ждет много подарков, онлайн-митапы с воркшопами и возможность прокачаться в новых DS/ML методах!

Задачи соревнования

Задача #1

АТАКА

1 000 000 ₽

В распоряжении участников имеется заранее обученная модель классификатора, пример сформированного файла с атаками, а также данные для обучения и тестирования. Необходимо построить алгоритм, способный наиболее эффективно искажать предсказания предоставленной вам модели на тестовых данных. Атака имеет ряд ограничений: можно менять не более 10 транзакций из 300; у транзакций можно менять только их сумму и/или MCC код; суммы в измененных транзакциях должны укладываться в заранее известные ограничения.

Метрика: ROC-AUC Diff

Формат решения: Размеченный файл

Задача #2

ЗАЩИТА

1 000 000 ₽

В распоряжении участников имеется заранее обученная модель классификатора, пример сформированного файла с атаками, а также данные для обучения и тестирования. Необходимо построить решение, которое будет решать задачу классификации с сопоставимым или лучшим качеством, но при этом будет лучше защищено от атак вида изменений во входных данных. Можно использовать как предоставленную модель, так и обучить новую, при выполнении ограничений на ресурсы и время работы модели.

Метрика: Mean Harm ROC-AUC

Формат решения: Контейнер с кодом

Дополнительные активности

Номинация

COMPANION

Награда за лучшие публичные решения по обеим задачам, опубликованные участниками до окончания каждой фазы соревнования. Номинация публичная, в ней участвуют только открытые решения и материалы участников соревнований.

Регулярная активность

WORKSHOPS

Регулярные митапы, гостевые лекции, воркшопы и разборы инструментов для участников Data Fusion 2023. Соревнование - это ещё и отличная возможность прокачать свои навыки анализа данных.

Регулярная активность

GIFTS

Множество сувениров за активное участие в Data Fusion Contest 2023. Из всех активностей Data Fusion Contest 20232 формируется общий рейтинг для розыгрыша мерча Data Fusion, а также сувениров от сообщества ODS.AI.

Уникальность задачи

Участникам предоставлялась возможность для проверок своих идей по части адверсальных атак и защиты от них моделей глубокого обучения на последовательностях транзакций. Нейронные сети все чаще используют для решения различных бизнес-задач, и исследование их устойчивости является актуальным с практической стороны вызовом.

Впервые соревнование по машинному обучению проводилось в полностью автоматическом режиме на широкую аудиторию участников, включая проведение турниров между ними. Благодаря такому формату, задача атаки на модели машинного обучения становится не только ценной тестовой средой, но и полноценным межкомандным соревнованием.

Задача №1. Атака

Промежуточный турнир
#	Команды	Члены команд	ROC-AUC Diff	Решений
1	TransactionGPT		0.078472	23
2	Andrey Kuznetsov		0.050208	25
3	Alexander Dudin		0.025627	24
4	Лаборатория		0.025113	24
5	CONS		0.024203	7
6	overfit		0.022697	15
7	SFTB		0.020082	13
8	Gennady Shtech		0.014378	12
9	Anton Morozov		0.013327	11
10	ssh1		0.00909	2

Финальный турнир
#	Команды	Члены команд	ROC-AUC Diff	Решений
1	Alexander Dudin		0.057434	24
2	Andrey Kuznetsov		0.047908	25
3	CONS		0.043002	7
4	Anatoly Ilyenkov		0.036132	12
5	overfit		0.034113	15
6	TransactionGPT		0.030437	23
7	e58f8eadf77e		0.024093	39
8	Gennady Shtech		0.022779	12
9	ssh1		0.020814	2
10	Лаборатория		0.016659	24

Задача №2. Защита

Промежуточный турнир
#	Команды	Члены команд	Mean Harm ROC-AUC	Решений
1	Timofey Zheleznyakov		0.688702	77
2	Лаборатория		0.687847	39
3	Gennady Shtech		0.68768	44
4	CONS		0.686595	33
5	TransactionGPT		0.666752	61
6	Kag le		0.66414	9
7	Andrei Kopylov		0.660798	31
8	Andrey Kuznetsov		0.655214	48
9	Drastamat Kazanchian		0.652665	29
10	Evgeny Kazenov		0.636952	26

Финальный турнир
#	Команды	Члены команд	Mean Harm ROC-AUC	Решений
1	Лаборатория		0.699502	39
2	Andrey Kuznetsov		0.692319	48
3	Evgeny Kazenov		0.673929	26
4	Yuriy Kim		0.672473	6
5	Drastamat Kazanchian		0.668578	29
6	Andrey Khlopotnukh		0.664891	100
7	TransactionGPT		0.659323	61
8	CONS		0.654856	33
9	Stepan Andreev		0.651702	12
10	Andrei Kopylov		0.61452	31