Сергей Николенко
Сергей Николенко
ПОМИ РАН Старший научный сотрудник
Современное положение дел в мультимодальном информационном поиске
В докладе мы рассмотрим общую структуру современного мультимодального информационного поиска, в качестве конкретного примера рассматривая в основном поиск по видео, а также обсудим последние новости в этой области, от CLIP4Clip до Tencent Text-Video Retrieval. Рассматриваемые методы сохраняют общую структуру metric learning, в которой ранжирование ведётся по близости в некотором евклидовом пространстве, а основная часть модели — это отображение текстов и видео в это пространство, но последние работы добавляют в эту схему много интересных модификаций.
В 2009 году стал кандидатом физико-математических наук, в 2022 году - доктором физико-математических наук. Исследователь в области машинного обучения, в частности глубокого обучения, теоретической информатики и анализа алгоритмов, автор около 200 публикаций в этих и других областях информатики и математики, автор нескольких книг, в том числе бестселлера "Глубокое обучение" и монографии "Synthetic Data for Deep Learning" (Springer, 2021). Кроме академической работы, имеет большой опыт руководства практическими проектами по машинному обучению и анализу данных.