Даниил Тяпкин

Обучение с подкреплением – это популярная парадигма машинного обучения, с которой связаны недавние успехи в Go, Starcraft, а также в обучении больших языковым моделей (Reinforcement Learning with Human Feedback) и поиск новых алгоритмов быстрого умножения матриц (AlphaTensor). В этой общей задаче наша задача – обучить некоторого агента взаимодействовать со средой, чтобы максимизировать получаемую награду. Поскольку процесс генерации обучающих данных напрямую связан с решениями агента, возникает “exploration-exploitation” дилемма: агенту нужно одновременно исследовать среду, чтобы иметь достаточно разнообразные обучающие данные, и с другой стороны, ему нужно найти алгоритм действий который максимизирует награду, основываясь на текущих данных. В выступлении пойдет речь о практических и теоретических подходах к решению данной важной дилеммы.