RAG: ответы по своим документам

Модель знает публичный интернет до своей даты отсечения и ничего не знает про вашу вики. RAG решает это без обучения: документы режут на чанки, превращают в векторы, а при запросе достают несколько чанков, ближайших к вопросу, и вставляют их в промпт.

RAG выигрывает, когда в ответах нужны ссылки на внутренние источники, а корпус меняется быстрее, чем вы успели бы дообучить модель. Он проигрывает, когда задаче нужно новое поведение, а не новые факты — тогда лучше обучать или писать навыки. Начните с размера чанка около 500 токенов и перекрытия, измеряйте правильность ответов и только потом трогайте остальное.

Как RAG ломается

Три классические поломки. Достались не те чанки: чините разбиение и фильтры по метаданным, а не модель. Чанки верные, ответ неверный: промпт их топит — ставьте найденный текст в начало и просите модель ссылаться на него. Устаревший индекс: документы ушли вперёд, а векторы нет — пересчитывайте эмбеддинги по расписанию, а не по жалобам.

Оценивайте на двадцати фиксированных вопросах с ответами, проверенными человеком. Если вы не можете понять, помогло изменение или нет, вы украшаете, а не проектируете.

Затраты, о которых забывают

Эмбеддинги стоят денег или времени GPU при каждой переиндексации, векторное хранилище растёт вместе с корпусом, а каждый запрос платит за найденный контекст дважды: сначала за эмбеддинг вопроса, потом за чтение чанков. Начните с top-k не больше пяти, кешируйте частые вопросы и месяц следите за счётом за токены, прежде чем объявлять победу.