Cómo evaluar un RAG sin gastar nada: 93 preguntas y dos métricas
Parte 3 de 1113 de octubre de 2026 · 1 min · David Silvente López
La mayoría de los RAG se ajustan «a ojo». Medir cuesta un día de trabajo y cambia las decisiones. Así lo hice.
1. Preguntas con respuesta conocida
Escribí 93 preguntas en lenguaje natural sobre cinco normas (ENS 30, LOPDGDD 14, Ley 39/40 y RGPD 28, y 21 que cruzan normas). Para cada una anoté qué artículos deben aparecer para poder responder. Lo importante es que sean preguntas realistas, no copiadas del título del artículo.
2. Dos métricas de recuperación
- Cobertura: qué parte de los artículos necesarios aparece en el contexto.
- Todo cubierto: el porcentaje de preguntas con TODOS los artículos necesarios. Es la que más importa: si falta uno, la respuesta puede salir incompleta.
3. Compara configuraciones con el mismo conjunto
Híbrido, híbrido con reranker, GraphRAG. Con seis fragmentos, en «todo cubierto»: 61 % el híbrido, 69 % con reranker y 72 % con GraphRAG más reranker. Cada configuración tarda segundos en ejecutarse, así que puedes iterar.
4. Lee el ruido
Entre dos ejecuciones cambian una o dos preguntas. Diferencias de 2-3 puntos con 93 preguntas no son una mejora demostrada. Si quieres decidir con confianza, necesitas más preguntas.
5. Después, la respuesta del LLM
Puntuación manual de 0 a 2 contra el texto de la ley. Es subjetiva y lenta: úsala en una muestra pequeña y dilo en el informe.
Las trampas
Un solo lector, preguntas escritas por quien conoce la respuesta y un conjunto que acaba memorizándose. Reserva un conjunto de preguntas sin tocar.
Preguntas frecuentes
¿Cómo evaluar un RAG sin gastar dinero?
Escribe preguntas realistas con respuesta conocida, anota qué documentos deben aparecer para responder y compara configuraciones con ese mismo conjunto. Cuesta un día de trabajo.
¿Qué métricas usar para medir la recuperación de un RAG?
Cobertura (qué parte de los artículos necesarios aparece en el contexto) y «todo cubierto» (porcentaje de preguntas con todos los artículos necesarios), que es la que más importa.
¿Qué resultados dio la evaluación con 93 preguntas?
Con seis fragmentos, en «todo cubierto»: 61 % el híbrido, 69 % con reranker y 72 % con GraphRAG más reranker.
¿Cuántas preguntas hacen falta para fiarse de una mejora?
Con 93 preguntas, diferencias de 2-3 puntos no son una mejora demostrada, porque entre ejecuciones cambian una o dos preguntas. Para decidir con confianza hacen falta más.
¿Tienes un RAG o un proyecto de IA con normativa o documentación?
Te ayudo a medirlo antes de gastar: preguntas de prueba, recuperación, abstención y coste.
Agenda tu diagnósticoSígueme en LinkedIn, donde comento cada artículo · Compartir: LinkedIn · X