Modelos locales y optimización

Qué vas a aprender, tema a tema

1. Qué hay dentro de un modelo y cuánto ocupa

   Parámetros, pesos, tokens y contexto: calcula cuánta memoria necesita un modelo antes de descargarlo.

   • Parámetros, pesos y memoria
   • Tokens, contexto y caché KV
   • Teoría en PDF, repaso interactivo y cuestionario del tema

2. Cuantización: modelos más ligeros

   Entiende los formatos GGUF y los niveles Q4, Q5, Q8 y elige el equilibrio entre tamaño, velocidad y calidad.

   • Qué es cuantizar y el formato GGUF
   • Elegir cuantización con criterio
   • Teoría en PDF, repaso interactivo y cuestionario del tema

3. CPU frente a GPU

   Entiende cuándo compensa la GPU, cómo usarla desde Docker en Windows y qué pasa cuando el modelo no cabe en VRAM.

   • Por qué la GPU acelera y cuándo no
   • GPU en Docker con WSL2
   • Teoría en PDF, repaso interactivo y cuestionario del tema

4. Ollama a fondo

   Ajusta contexto, tiempo en memoria, paralelismo y crea tus propios modelos con un Modelfile.

   • Parámetros que cambian el rendimiento
   • Tu propio modelo con un Modelfile
   • Teoría en PDF, repaso interactivo y cuestionario del tema

5. llama.cpp: control fino y medición

   Usa el servidor de llama.cpp y su herramienta llama-bench para medir con precisión.

   • El servidor de llama.cpp
   • Medir con llama-bench
   • Teoría en PDF, repaso interactivo y cuestionario del tema

6. vLLM: servir modelos a varios usuarios

   Conoce cuándo compensa vLLM, cómo funciona por dentro y cómo levantarlo con Docker.

   • Qué aporta vLLM
   • Levantar vLLM con Docker
   • Teoría en PDF, repaso interactivo y cuestionario del tema

7. Medir la velocidad de verdad

   Mide tiempo hasta el primer token, tokens por segundo y rendimiento con carga, y presenta resultados honestos.

   • TTFT, tokens por segundo y latencia total
   • Pruebas con carga y presentar resultados
   • Teoría en PDF, repaso interactivo y cuestionario del tema

8. Medir la calidad y elegir modelo

   Construye una evaluación propia de calidad, combínala con la velocidad y elige el modelo adecuado para cada tarea.

   • Evaluar la calidad con tus tareas
   • Elegir con calidad, velocidad y memoria
   • Teoría en PDF, repaso interactivo y cuestionario del tema

Y al final, el examen del curso (aprobado: 7 sobre 10), la insignia verificable y el certificado de aprovechamiento.

Sobre este curso