Мультимодальные модели научились понимать товар целиком

Исследователи показали, как нейросети эволюционировали от простого визуального поиска к пониманию товара через несколько каналов одновременно. Вместо анализа только фотографии модели теперь объединяют изображения, текстовые описания и атрибуты товаров — так они точнее определяют, что именно видят.

В этом направлении разработаны модели e-CLIP, MOON, MOON2.0, AFMRL и MOON3.0. Такой подход улучшает качество поиска и рекомендаций в электронной коммерции.