Тестовые стенды: как разрабатывать, не разоряясь на токенах
Почему счёт за разработку иногда превышает счёт за продакшен и чем заменить живые запросы на стенде.
Раздел
Author: Редакция
Версии моделей: как переживать обновления без сюрпризов
Почему псевдоним «последняя версия» опасен в продакшене и как обновляться так, чтобы заметить ухудшение до пользователей.
Асинхронная обработка: что отправить в фон, а что оставить в чате
Как устроена очередь задач, по какому признаку выбирать между синхронным и фоновым режимом и что предусмотреть заранее.
Логирование запросов к модели: что писать, чтобы разбирать инциденты
Какие поля обязательны в журнале, как разбить расход по сценариям и что нельзя писать в логи ни при…
Модерация запросов и ответов: фильтры на обоих концах
Что проверять до вызова модели, что после, и почему система с двумя исходами всегда ошибается в одну сторону.
Расшифровка звонков нейросетью: от записи до полей в CRM
Как устроен конвейер обработки разговоров, что модель извлекает надёжно, а что придётся проверять человеку.
Эмбеддинги и векторный поиск: как искать по смыслу
Как текст превращается в вектор, чем векторный поиск отличается от обычного и какие решения определяют качество.
Контекстное окно: что делать, когда запрос не помещается
Как устроено окно контекста, почему модель молча теряет часть данных и в каком порядке сокращать запрос.
Лимиты запросов: как проектировать нагрузку и не упираться в потолок
Почему лимит считается сразу в двух величинах, как устроены повторы с растущей паузой и что делать, когда отказы…
Ключи API: хранение, лимиты и ротация без простоя
Почему один ключ на всю компанию — плохая идея, как разделить доступ по окружениям и менять ключи так,…