Сколько стоит одна галлюцинация: считаем реальные убытки от ошибок агента в проде
Habr ·
Галлюцинацией агента в продакшне называют неверное действие: вызов API, запись в базу, письмо клиенту, транзакция. Стоимость такой ошибки определяется не столько ценой токенов, сколько обратимостью действия и временем, за которое ее заметили. Ниже — задокументированные случаи с суммами от $812 до примерно $100 млрд рыночной капитализации, данные исследований и формула, по которой убытки от ошибок агента можно оценить для своей системы. Читать далее
Галлюцинацией агента в продакшне называют неверное действие: вызов API, запись в базу, письмо клиенту, транзакция. Стоимость такой ошибки определяется не столько ценой токенов, сколько обратимостью действия и временем, за которое ее заметили. Ниже — задокументированные случаи с суммами от $812 до примерно $100 млрд рыночной капитализации, данные исследований и формула, по которой убытки от ошибок агента можно оценить для своей системы. Читать далее