Соревнования

Соревнование

Data Fusion

О соревновании

Data Fusion Contest 2023 — уникальное соревнование по машинному обучению в новом формате. 2 задачи, 2 турнира и призовой фонд — 2 000 000 рублей!

В этом году соревнование проходило 7 февраля - 3 апреля и было посвящено теме Adversarial Machine Learning (состязательное машинное обучение). Для соревнования был сформирован синтетический датасет на обезличенных данных, при этом данные генерировались таким образом, чтобы сохранить необходимую для решения задачи информацию о пользовательском поведении.

Задачи соревнования

Задача #1

АТАКА

1 000 000 ₽

В распоряжении участников имеется заранее обученная модель классификатора, пример сформированного файла с атаками, а также данные для обучения и тестирования. Необходимо построить алгоритм, способный наиболее эффективно искажать предсказания предоставленной вам модели на тестовых данных. Атака имеет ряд ограничений: можно менять не более 10 транзакций из 300; у транзакций можно менять только их сумму и/или MCC код; суммы в измененных транзакциях должны укладываться в заранее известные ограничения.

Метрика: ROC-AUC Diff

Формат решения: Размеченный файл

Задача #2

ЗАЩИТА

1 000 000 ₽

В распоряжении участников имеется заранее обученная модель классификатора, пример сформированного файла с атаками, а также данные для обучения и тестирования. Необходимо построить решение, которое будет решать задачу классификации с сопоставимым или лучшим качеством, но при этом будет лучше защищено от атак вида изменений во входных данных. Можно использовать как предоставленную модель, так и обучить новую, при выполнении ограничений на ресурсы и время работы модели.

Метрика: Mean Harm ROC-AUC

Формат решения: Контейнер с кодом

Дополнительные активности

Номинация

COMPANION

Награда за лучшие публичные решения по обеим задачам, опубликованные участниками до окончания каждой фазы соревнования. Номинация публичная, в ней участвуют только открытые решения и материалы участников соревнований.

Регулярная активность

WORKSHOPS

Регулярные митапы, гостевые лекции, воркшопы и разборы инструментов для участников Data Fusion 2023. Соревнование - это ещё и отличная возможность прокачать свои навыки анализа данных.

Регулярная активность

GIFTS

Множество сувениров за активное участие в Data Fusion Contest 2023. Из всех активностей Data Fusion Contest 20232 формируется общий рейтинг для розыгрыша мерча Data Fusion, а также сувениров от сообщества ODS.AI.

Уникальность задачи

Участникам предоставлялась возможность для проверок своих идей по части адверсальных атак и защиты от них моделей глубокого обучения на последовательностях транзакций. Нейронные сети все чаще используют для решения различных бизнес-задач, и исследование их устойчивости является актуальным с практической стороны вызовом.

Впервые соревнование по машинному обучению проводилось в полностью автоматическом режиме на широкую аудиторию участников, включая проведение турниров между ними. Благодаря такому формату, задача атаки на модели машинного обучения становится не только ценной тестовой средой, но и полноценным межкомандным соревнованием.

Задача №1. Атака

Промежуточный турнир
#	Команды	Члены команд	ROC-AUC Diff	Решений
1	TransactionGPT		0.078472	23
2	Andrey Kuznetsov		0.050208	25
3	Alexander Dudin		0.025627	24
4	Лаборатория		0.025113	24
5	CONS		0.024203	7
6	overfit		0.022697	15
7	SFTB		0.020082	13
8	Gennady Shtech		0.014378	12
9	Anton Morozov		0.013327	11
10	ssh1		0.00909	2

Финальный турнир
#	Команды	Члены команд	ROC-AUC Diff	Решений
1	Alexander Dudin		0.057434	24
2	Andrey Kuznetsov		0.047908	25
3	CONS		0.043002	7
4	Anatoly Ilyenkov		0.036132	12
5	overfit		0.034113	15
6	TransactionGPT		0.030437	23
7	e58f8eadf77e		0.024093	39
8	Gennady Shtech		0.022779	12
9	ssh1		0.020814	2
10	Лаборатория		0.016659	24

Задача №2. Защита

Промежуточный турнир
#	Команды	Члены команд	Mean Harm ROC-AUC	Решений
1	Timofey Zheleznyakov		0.688702	77
2	Лаборатория		0.687847	39
3	Gennady Shtech		0.68768	44
4	CONS		0.686595	33
5	TransactionGPT		0.666752	61
6	Kag le		0.66414	9
7	Andrei Kopylov		0.660798	31
8	Andrey Kuznetsov		0.655214	48
9	Drastamat Kazanchian		0.652665	29
10	Evgeny Kazenov		0.636952	26

Финальный турнир
#	Команды	Члены команд	Mean Harm ROC-AUC	Решений
1	Лаборатория		0.699502	39
2	Andrey Kuznetsov		0.692319	48
3	Evgeny Kazenov		0.673929	26
4	Yuriy Kim		0.672473	6
5	Drastamat Kazanchian		0.668578	29
6	Andrey Khlopotnukh		0.664891	100
7	TransactionGPT		0.659323	61
8	CONS		0.654856	33
9	Stepan Andreev		0.651702	12
10	Andrei Kopylov		0.61452	31