Visa представила публичный тест Agentic Commerce Benchmark, который проверяет, способен ли искусственный интеллект правильно понять запрос покупателя и принять решение о покупке от его имени. Результаты показали, что технология пока не всегда справляется даже с базовой задачей — выяснить, что именно нужно клиенту.
В испытаниях участвовали 22 модели искусственного интеллекта из 12 лабораторий. Им предложили 15 реалистичных сценариев, среди которых были покупка телевизора, ноутбука и прибора для ухода за собой. Модель должна была не просто предложить подходящий товар, но и отказаться от покупки, если ни один вариант не соответствует требованиям клиента.
ИИ не всегда умеет остановиться
В среднем модели успешно проходили 57,2 процента тестов. Лучший результат составил 82,2 процента попыток, а худший — 28,9 процента. При этом стабильность оказалась отдельной проблемой: каждому участнику дали по три попытки для каждого сценария, и все три раза пройти задание удалось лишь в 34,2 процента случаев.
Особенно настораживающим Visa считает поведение моделей после ошибки. В 54 процента неудачных попыток ИИ все равно принимал решение о покупке. Это происходило либо потому, что предложенный товар не отвечал требованиям клиента, либо потому, что модель не выясняла все важные детали его запроса.
В одном из сценариев покупатель просил помочь выбрать новый телевизор. Он упоминал рекомендацию родственника в пользу Samsung и членство у стороннего поставщика. Чтобы корректно подобрать товар, ИИ должен был уточнить бюджет, поддержку Dolby Vision и возможности для игр. Одного случайно угаданного совпадения было недостаточно: модель должна была собрать достаточно информации, чтобы обосновать решение.
Покупатели пока не готовы доверять ИИ оплату
Тест отражает сложность покупок, которые часто начинаются не с четкого задания, а с обсуждения вариантов. Клиент может не до конца понимать собственные требования, сравнивать разные категории и менять решение по ходу поиска. Для автономного ИИ это означает необходимость вести диалог, задавать уточняющие вопросы и вовремя признавать, что подходящего предложения нет.
Visa планирует со временем расширить проверку на другие категории товаров и приглашает пользователей самостоятельно пройти тест до «черной пятницы». При этом готовность технологии действовать от имени покупателя пока опережает готовность людей ей доверять. Согласно опросу Visa среди потребителей в США, проведенному в мае прошлого года, лишь 23 процента респондентов доверяют ИИ проведение платежных операций от своего имени.
Потенциал у такого формата торговли значительный: в прошлом году онлайн-покупатели в США потратили $11.8 billion в «черную пятницу», а в киберпонедельник потребительские расходы достигли $14.25 billion. Однако дальнейшее распространение автономных покупок будет зависеть не только от возможностей ИИ, но и от доверия клиентов к новой модели оплаты.
Опубликовано: · Обновлено:
Источник: WWD, автор — Roy Stephen Canivel
