Cómo monté un laboratorio cerrado de RAG con Docker, Neo4j y Qdrant
Parte 2 de 1113 de octubre de 2026 · 1 min · David Silvente López
Quería probar GraphRAG sin mandar nada fuera ni depender de claves de producción. Esto es lo que monté y lo que aprendí.
La receta
- Docker en una distro WSL2 aislada (se borra con un comando).
- Dos redes:
interna, sin salida a internet, para Neo4j, Qdrant y el LLM;salida, solo para descargas puntuales. - Neo4j 5 Community con el grafo de 642 artículos y sus citas; Qdrant con los embeddings.
- vLLM en CPU con un modelo pequeño (Qwen2.5 1,5B) y llama.cpp preparado para modelos GGUF de 4 a 9B.
Los límites, sin adornos
- Sin GPU: unos 3 tokens/s al generar y unos 250 tokens/s al leer el contexto. Una respuesta tarda ~35 s.
- Memoria: con 16 GB, WSL ve 7,5 GB; hubo que parar Neo4j para cargar modelos grandes.
- Errores reales: modelo descargado en el volumen equivocado, contexto de 8.192 tokens insuficiente, KV cache demasiado grande.
Qué gané
Reproducibilidad: cualquiera puede levantar el laboratorio y repetir las 93 preguntas. Y una conclusión incómoda: con este hardware, el cuello de botella es el contexto que le das al modelo, no el modelo.
Preguntas frecuentes
¿Cómo montar un RAG en local sin conexión a internet?
Con Docker y dos redes: una interna sin salida a internet para la base de grafos, la vectorial y el LLM, y otra solo para descargas puntuales.
¿Qué piezas lleva un laboratorio de RAG con Docker, Neo4j y Qdrant?
Docker en una distro WSL2 aislada, Neo4j 5 Community con el grafo de 642 artículos, Qdrant con los embeddings y vLLM en CPU con Qwen2.5 1,5B, más llama.cpp para modelos GGUF de 4 a 9B.
¿Qué rendimiento tiene un LLM en un portátil sin GPU?
Unos 3 tokens/s al generar y unos 250 tokens/s al leer el contexto: una respuesta tarda unos 35 segundos.
¿Cuánta memoria hace falta para un laboratorio de RAG local?
Con 16 GB, WSL ve 7,5 GB y hubo que parar Neo4j para cargar modelos grandes.
¿Tienes un RAG o un proyecto de IA con normativa o documentación?
Te ayudo a medirlo antes de gastar: preguntas de prueba, recuperación, abstención y coste.
Agenda tu diagnósticoSígueme en LinkedIn, donde comento cada artículo · Compartir: LinkedIn · X