HTTP-запрос закончился, а LLM ещё работает: как проектировать AI-задачи на Go
Habr ·
Обычный Go backend привык отменять работу вместе с HTTP-запросом. Но если пользователь закрыл вкладку посреди анализа документа, это ещё не означает, что LLM-провайдер прекратил генерацию и расходы. Разбираю, почему для длительных AI-операций недостаточно r.Context() , как организовать фоновые задачи на PostgreSQL и что делать с идемпотентностью, retry и повторными списаниями за API. Читать далее
Обычный Go backend привык отменять работу вместе с HTTP-запросом. Но если пользователь закрыл вкладку посреди анализа документа, это ещё не означает, что LLM-провайдер прекратил генерацию и расходы. Разбираю, почему для длительных AI-операций недостаточно r.Context() , как организовать фоновые задачи на PostgreSQL и что делать с идемпотентностью, retry и повторными списаниями за API. Читать далее