Графовые нейронные сети в рекомендациях / ML Meetup Wildberries, Александр Тришин

Summary

В данной презентации Александр рассказывает о графовых нейронных сетях (ГНС) и их применении в системах персонализированных рекомендаций. Он объясняет, как графовые структуры помогают моделировать взаимодействия между пользователями и товарами, а также обсуждает архитектуру ГНС, методы агрегации информации и обучающие методологии. Основное внимание уделяется проблемам, связанным с медленной сходимостью и смещением в сторону популярных товаров, и решениям, которые были реализованы для улучшения разнообразия рекомендаций. Эксперименты показали положительные результаты, подтверждающие эффективность предложенной модели в увеличении разнообразия выдачи.

Takeaways

• 😀 Графовые нейронные сети (ГНС) используются для улучшения персонализированных рекомендаций, позволяя учитывать больше интересов пользователей.
• 😀 В основе ГНС лежит структура графа, где вершины представляют собой пользователей или товары, а рёбра отображают их взаимодействия.
• 😀 Существует два основных типа графов: граф пользователей-товаров и граф товаров-товаров, каждый из которых имеет свои преимущества и недостатки.
• 😀 Конволюционные графовые сети используют операции агрегации для обработки информации о соседних вершинах и обновления эмбеддингов.
• 😀 Модели обучаются с использованием парной потери (например, BPR) и негативного семплирования, что помогает улучшить качество рекомендаций.
• 😀 Одна из основных проблем — медленная сходимость моделей, вызванная равномерным семплированием негативных примеров.
• 😀 Для повышения скорости сходимости рекомендуется неравномерное семплирование негативных примеров на основе популярности товаров.
• 😀 Популярность товаров может привести к смещению в рекомендациях, когда модель начинает рекомендовать только самые популярные позиции.
• 😀 Модель L-GCN (графовая свёрточная сеть) показывает высокую производительность с небольшим количеством обучаемых параметров.
• 😀 В результате тестирования было замечено увеличение разнообразия рекомендаций при небольшом уменьшении релевантности, что подтвердило эффективность графовых сетей.

Q & A

Кто выступал в качестве докладчика и о чем он говорил?

Докладчиком был Александр, который рассказал о графовых нейронных сетях и их использовании в персональных рекомендациях.

Какие типы графов обсуждались в презентации?

Обсуждались два основных типа графов: графы пользователей и товаров (user-item graphs) и графы товаров (item-item graphs).

Что такое графовая нейронная сеть и как она работает?

Графовая нейронная сеть (GNN) использует операции свертки для агрегирования информации из соседних вершин графа, применяя функцию агрегации и обновления векторов признаков.

Какие проблемы были выявлены при использовании графовых сетей в рекомендациях?

Основные проблемы включали медленную сходимость и сильное смещение в сторону популярных товаров, что влияло на разнообразие рекомендаций.

Как докладчик планировал решить проблему медленной сходимости?

Предлагалось использовать неравномерную выборку негативных примеров, пропорционально популярности товаров, чтобы ускорить сходимость модели.

Как изменили функцию агрегации, чтобы улучшить рекомендации?

Функцию агрегации адаптировали так, чтобы снизить вес самых популярных товаров при обновлении векторов признаков, нормируя их с меньшим коэффициентом.

Какие результаты были получены в результате тестирования графовой нейронной сети?

Тестирование показало увеличение разнообразия выдачи рекомендаций при небольшом снижении общей точности в сравнении с предыдущими моделями.

Что такое функция потерь BPR и как она используется в обучении графовых сетей?

Функция потерь BPR (Bayesian Personalized Ranking) используется для обучения графовых сетей на основе парных примеров, где положительные примеры выбираются как непосредственные соседи.

Как докладчик оценивал эффективность рекомендаций?

Эффективность оценивалась по метрикам разнообразия и качества рекомендаций, с акцентом на то, как изменились взаимодействия пользователей с рекомендованными товарами.

Какое количество пользователей и товаров было в модели?

Модель имела более 60 миллионов пользователей и значительно меньшее количество товаров, которые использовались в взаимодействиях за последний год.