Чат-бот мэрии Нью-Йорка советовал предпринимателям нарушать трудовое право

Чат-бот MyCity, запущенный мэрией Нью-Йорка в 2024 году для консультаций владельцев малого бизнеса, раздавал незаконные советы — например, не выплачивать полностью чаевые или увольнять сотрудников за жалобы на харассмент. Проблема была в архитектуре памяти бота: правильная и устаревшая информация лежали в базе знаний наравне, и система не смогла выбрать между верным и неверным вариантом.

Случай показывает, что LLM-агенты требуют механизмов контроля доверия к собственным источникам данных.