Curso abierto de Ingeniería de Sistemas LLMRevisado 23 ago 2026
LLM EngineerClub
BuscarENClub Quiz

RUTA DE CAMPO

Ruta abierta de Ingeniería de Sistemas LLM

La Ingeniería de Sistemas LLM diseña el entorno que convierte un modelo en un producto fiable. El contenido de esta ruta vive y mejora en un repositorio público; esta edición web lo convierte en una experiencia navegable con herramientas, progreso y evaluación.

Comprobar mi nivelVer el mapa completoVer y mejorar en GitHub
01

MÓDULO 1

Interfaces de modelo y fundamentos

15–18 h

Transformer, tokenización, generación y clientes multi-proveedor tratados como componentes reemplazables.

Prueba de trabajo

Cliente multi-proveedor con tokens, latencia, errores y metadatos observables.

Prerrequisitos

Ninguno

Contenido12 recursos
  1. Módulo 01 — Interfaces de modelo y fundamentosMapa del módulo · 3 min
  2. Arquitectura Transformer: encoder, decoder y atención multi-cabezaLección · 10 min
  3. Tokenización: BPE, WordPiece y comparativa entre modelosLección · 8 min
  4. Parámetros de generación: temperature, top_p, top_k y penaltiesLección · 7 min
  5. Panorámica actual: GPT-5.6, Claude 5, Gemini 3.x, Llama 4 y MistralLección · 9 min
  6. Servicios de IA en AWS: Bedrock, SageMaker JumpStart y Amazon QLección · 6 min
  7. Lab 01 — Primera llamada a OpenAI con Responses APILaboratorio · 20 min
  8. Lab 02 — Primera llamada a la API de Anthropic (Claude)Laboratorio · 20 min
  9. Lab 03 — Tokenización comparada con tiktokenLaboratorio · 20 min
  10. Lab 04 — Barrido de temperature y top_p sobre un mismo promptLaboratorio · 20 min
  11. Lab 05 — Inferencia multi-modelo con Amazon Bedrock Converse APILaboratorio · 20 min
  12. Ejercicios — Módulo IEjercicios · 3 min
02

MÓDULO 2

Contexto y contratos de salida

38–45 h

Contexto, instrucciones, tools y salidas estructuradas como interfaces versionadas y evaluables.

Prueba de trabajo

Pipeline de evaluación de contratos con dataset, comparación A/B y regresión en CI.

Prerrequisitos

Modelos

Contenido16 recursos
  1. Módulo 02 — Contexto y contratos de salidaMapa del módulo · 3 min
  2. 01 — Técnicas base: zero-shot, few-shot, chain-of-thought y self-consistencyLección · 8 min
  3. 02 — Prompts de sistema, roles y delimitación de contextoLección · 6 min
  4. 03 — Function calling / tool use en OpenAI y AnthropicLección · 6 min
  5. 04 — Structured outputs: JSON mode, response_format, Pydantic e InstructorLección · 6 min
  6. 05 — Evaluación de prompts: datasets de test, LLM-as-judge y A/B testingLección · 7 min
  7. 06 — Versionado y gestión de promptsLección · 5 min
  8. 07 — Sesgos y alucinaciones: detectar, medir y mitigarLección · 7 min
  9. Lab 01 — Comparar zero-shot y few-shot sobre los mismos casosLaboratorio · 20 min
  10. Lab 02 — Razonamiento privado y self-consistency con voto mayoritarioLaboratorio · 20 min
  11. Lab 03 — Bucle completo de function calling con OpenAI Responses APILaboratorio · 20 min
  12. Lab 04 — Bucle completo de tool use con Anthropic Messages APILaboratorio · 20 min
  13. Lab 05 — Structured Outputs nativo e Instructor con PydanticLaboratorio · 20 min
  14. Lab 06 — Pipeline reproducible de evaluación de prompts sobre un datasetLaboratorio · 20 min
  15. Lab 07 — Comparación estadística pareada de dos promptsLaboratorio · 20 min
  16. Ejercicios — Módulo IIEjercicios · 3 min
03

MÓDULO 3

Retrieval Engineering

50–60 h

Ingesta, embeddings, vector stores, chunking, reranking, grounding y RAGAS.

Prueba de trabajo

Sistema de retrieval con citas, abstención, trazabilidad y evaluación automatizada.

Prerrequisitos

Modelos · Contratos

Contenido23 recursos
  1. Módulo 03 — Retrieval EngineeringMapa del módulo · 3 min
  2. 01 — Arquitectura RAG: ingestion, embedding, indexado y retrievalLección · 6 min
  3. 02 — Embeddings y bases de datos vectorialesLección · 6 min
  4. 03 — Estrategias de chunkingLección · 6 min
  5. 04 — Reranking: cross-encoders, Cohere Rerank y ColBERTLección · 5 min
  6. 05 — RAG avanzado: HyDE, multi-query, Self-RAG y CRAGLección · 6 min
  7. 06 — Amazon Bedrock Knowledge Bases: RAG gestionado en AWSLección · 5 min
  8. 07 — Evaluación de RAG con RAGASLección · 6 min
  9. 08 — Alucinaciones en RAG: diagnóstico y mitigaciónLección · 6 min
  10. Lab 01 — Similitud semántica con embeddings localesLaboratorio · 20 min
  11. Lab 02 — RAG mínimo con retrieval, contexto con IDs y generación opcionalLaboratorio · 20 min
  12. Lab 03 — Comparar chunking con una métrica de retrievalLaboratorio · 20 min
  13. Lab 04 — Recuperación en dos etapas: candidatos baratos y reranking precisoLaboratorio · 20 min
  14. Lab 05 — RAG avanzado con multi-query, HyDE y Reciprocal Rank FusionLaboratorio · 20 min
  15. Lab 06 — Evaluación por capas: retrieval determinista y RAGAS 0.4.xLaboratorio · 20 min
  16. Ejercicios — Módulo IIIEjercicios · 4 min
  17. Proyecto del módulo — NebulaOps Knowledge AssistantProyecto · 2 min
  18. Facturación y pagosRecurso · 3 min
  19. Handbook de operacionesRecurso · 3 min
  20. Preguntas frecuentesRecurso · 2 min
  21. Producto, planes y límitesRecurso · 3 min
  22. Runbook de incidentesRecurso · 3 min
  23. Seguridad de cuentasRecurso · 3 min
04

MÓDULO 4

Interfaces de agentes y tools

50–60 h

Patrones agentic, tool use, MCP, memoria y colaboración entre agentes con autoridad explícita.

Prueba de trabajo

Agente con servidor MCP, tools tipadas, límites de autoridad y trazas completas.

Prerrequisitos

Modelos · Contratos

Contenido18 recursos
  1. Módulo 04 — Interfaces de agentes y toolsMapa del módulo · 3 min
  2. 01 — Patrones de agentes: ReAct, plan-execute, reflection, self-critiqueLección · 7 min
  3. 02 — LangGraph: grafos de estado, ciclos, condicionales y checkpointsLección · 7 min
  4. 03 — Model Context Protocol (MCP): arquitectura y desarrollo de servidoresLección · 6 min
  5. 04 — Tool use avanzado: diseño de herramientas, manejo de errores, idempotenciaLección · 6 min
  6. 05 — Sistemas multi-agente: coordinación, supervisores, comunicaciónLección · 6 min
  7. 06 — Memoria de agentes: trabajo, episódica y semánticaLección · 5 min
  8. 07 — Agents for Amazon BedrockLección · 5 min
  9. 08 — Evaluación de agentes: resultado, trayectoria, coste y seguridadLección · 5 min
  10. 09 — Alignment y fine-tuning: SFT, RLHF, RLAIF y Constitutional AILección · 6 min
  11. Lab 01 — Bucle ReAct desde cero, con tools tipadas y límite de pasosLaboratorio · 20 min
  12. Lab 02 — Primer grafo de estado con LangGraph 1.2.x, totalmente offlineLaboratorio · 20 min
  13. Lab 03 — Ciclo acotado y aristas condicionales en LangGraphLaboratorio · 20 min
  14. Lab 04 — Threads, checkpoints e historial con InMemorySaverLaboratorio · 20 min
  15. Lab 05 — Servidor MCP 2.x de notas, pequeño pero completoLaboratorio · 20 min
  16. Lab 06 — Supervisor multi-agente con handoffs explícitos en LangGraphLaboratorio · 20 min
  17. Lab 07 — Memoria de trabajo, episódica y semántica con aislamiento y olvidoLaboratorio · 20 min
  18. Ejercicios — Módulo IVEjercicios · 3 min
05

MÓDULO 5

Harness Engineering

25–35 h

Arquitectura y evaluación causal de harnesses: contexto, loops, capabilities, sandboxes, ecosistema actual y benchmarks reproducibles.

Prueba de trabajo

Harness ejecutable y benchmark causal de runtimes actuales, con aislamiento, trazas, fallos inyectados y evidencia reproducible.

Prerrequisitos

Contratos · Agentes

Contenido11 recursos
  1. Módulo 05 — Harness EngineeringMapa del módulo · 3 min
  2. 01 — Anatomía de un harness y sus contratosLección · 3 min
  3. 02 — Contexto, capacidades y aislamientoLección · 3 min
  4. 03 — Trazas y evaluation harnessLección · 3 min
  5. 04 — Panorama actual: comparar arquitectura, no marcasLección · 9 min
  6. 05 — Benchmarking causal de harnessesLección · 8 min
  7. Lab 01 — Harness con manifiesto de capacidades, aprobación, sandbox y trazasLaboratorio · 20 min
  8. Lab 02 — Evaluation harness con trials aislados y graders separadosLaboratorio · 20 min
  9. Lab 03 — Diseña comparaciones válidas entre harnesses actualesLaboratorio · 20 min
  10. Ejercicios — Harness EngineeringEjercicios · 4 min
  11. Proyecto — Harness de reparación verificableProyecto · 4 min
06

MÓDULO 6

Loop Engineering

25–35 h

Bucles de ejecución gobernables: estado, progreso, presupuestos, terminación, reintentos y reanudación.

Prueba de trabajo

Loop duradero con presupuesto multidimensional, parada verificable, idempotencia y recuperación.

Prerrequisitos

Agentes · Harnesses

Contenido8 recursos
  1. Módulo 06 — Loop EngineeringMapa del módulo · 3 min
  2. 01 — Estado, presupuestos y terminaciónLección · 3 min
  3. 02 — Errores, idempotencia y reanudaciónLección · 3 min
  4. 03 — Progreso, concurrencia y evaluación del loopLección · 3 min
  5. Lab 01 — Loop acotado con estados terminales y detección de progresoLaboratorio · 20 min
  6. Lab 02 — Checkpoint, reanudación e idempotencia de un efectoLaboratorio · 20 min
  7. Ejercicios — Loop EngineeringEjercicios · 3 min
  8. Proyecto — Loop duradero de investigaciónProyecto · 2 min
07

MÓDULO 7

Graph Engineering

25–35 h

Grafos de ejecución, conocimiento y procedencia para sistemas LLM que deben explicar qué saben y qué hicieron.

Prueba de trabajo

Sistema híbrido con grafo de estado, grafo de conocimiento, procedencia y evaluación de consultas.

Prerrequisitos

Retrieval · Agentes · Loops

Contenido8 recursos
  1. Módulo 07 — Graph EngineeringMapa del módulo · 3 min
  2. 01 — Tres grafos y sus invariantesLección · 3 min
  3. 02 — Conocimiento, identidad y procedenciaLección · 3 min
  4. 03 — Retrieval híbrido y evaluaciónLección · 3 min
  5. Lab 01 — Grafo tipado que rechaza relaciones sin procedenciaLaboratorio · 20 min
  6. Lab 02 — Retrieval léxico + camino de grafo con procedencia verificableLaboratorio · 20 min
  7. Ejercicios — Graph EngineeringEjercicios · 3 min
  8. Proyecto — Mapa operativo con conocimiento y procedenciaProyecto · 2 min
08

MÓDULO 8

Production Engineering para sistemas LLM

50–60 h

Observabilidad, eval continua, costes, despliegue, seguridad, safety y gobierno.

Prueba de trabajo

Sistema desplegado con SLOs, costes, evals y runbook operativo.

Prerrequisitos

Retrieval · Harnesses · Loops · Graphs

Contenido19 recursos
  1. Módulo 08 — Production Engineering para sistemas LLMMapa del módulo · 3 min
  2. Observabilidad LLM: trazas, spans, métricas y alertasLección · 5 min
  3. Evaluación continua: pipelines de eval y regression testing en CILección · 7 min
  4. Optimización de costes: caching semántico, model routing y batchingLección · 7 min
  5. Docker para LLMs: contenedores, multi-stage builds y optimización de imágenesLección · 6 min
  6. Despliegue de LLMs open-source: vLLM, Ollama y Triton Inference ServerLección · 6 min
  7. 06 — Despliegue y monitorización en AWSLección · 6 min
  8. 07 — Responsible AI: de principios a controles mediblesLección · 5 min
  9. 08 — Seguridad y governance de sistemas LLMLección · 5 min
  10. 09 — Safety en producción: políticas, guardrails y respuestaLección · 5 min
  11. Lab 01 — Trazas manuales JSONL sin framework ni datos sensiblesLaboratorio · 20 min
  12. Lab 02 — La misma cadena instrumentada con LangSmithLaboratorio · 20 min
  13. Lab 03 — Cache semántico con aislamiento, versionado, TTL y umbral calibrableLaboratorio · 20 min
  14. Lab 04 — Model routing auditable entre GPT-5.6 Luna, Terra y SolLaboratorio · 20 min
  15. Lab 05 — Gate de regresión determinista para CILaboratorio · 20 min
  16. Lab 06 — Descubrimiento e inferencia local con la API nativa de OllamaLaboratorio · 20 min
  17. Lab 07 — Prompt injection: medir ataques y aplicar controles por capasLaboratorio · 20 min
  18. Ejercicios — Módulo VIIIEjercicios · 3 min
  19. Lab Docker — API LLMOps endurecida y observableRecurso · 2 min
09

MÓDULO 9

Proyecto de campo

47–57 h

Un sistema real, acotado y verificable que integra decisiones, fallos, métricas, operación y revisión pública.

Prueba de trabajo

Sistema defendible con arquitectura, evals, trazas, costes, runbook y demo reproducible.

Prerrequisitos

Retrieval · Harnesses · Loops · Graphs · Producción

Contenido11 recursos
  1. Módulo 09 — Proyecto de campoMapa del módulo · 5 min
  2. Propuestas de proyectoProyecto · 7 min
  3. Guía del pipeline RAG del proyecto de campoProyecto · 6 min
  4. Guía del sistema agénticoProyecto · 6 min
  5. Guía de despliegue en cloudProyecto · 3 min
  6. Guía LLMOps del proyecto de campoProyecto · 5 min
  7. Plantilla de análisis de costesProyecto · 4 min
  8. Guía de demo y revisión técnicaProyecto · 5 min
  9. Checklist final del proyecto de campoProyecto · 5 min
  10. Documento de arquitectura — [Nombre del proyecto]Proyecto · 4 min
  11. Plantilla de ADR (Architecture Decision Record)Proyecto · 3 min

Currículo abierto y verificable

Esta edición web se genera desde el repositorio público que conserva las lecciones, laboratorios, ejercicios y su historial de contribuciones.

Ver y mejorar en GitHub

MAPA DE COMPETENCIAS

Qué debes poder demostrar

Una competencia solo cuenta cuando existe un artefacto revisable. Estas 11 señales conectan decisiones de producto, control del sistema y evidencia operativa.

01

Fundamentos y modelos

Explicar transformers, tokenización, inferencia y selección de modelos con sus trade-offs.

Evidencia

Comparativa ejecutable y decisión de modelo sustentada por una evaluación.

02

Prompt systems

Tratar prompts, esquemas y tools como contratos versionados y evaluables.

Evidencia

Dataset de regresión y pipeline A/B con criterios explícitos.

03

RAG y retrieval

Diseñar ingesta, chunking, búsqueda, reranking, grounding y evaluación de RAG.

Evidencia

RAG medido con casos respondibles y no respondibles, citas y métricas de retrieval.

04

Interfaces de agentes

Diseñar tools, MCP, memoria y límites de autoridad sin delegar el control al modelo.

Evidencia

Agente con tres herramientas tipadas, permisos explícitos y casos negativos.

05

Harness Engineering

Construir el entorno que entrega contexto, capacidades, aislamiento, señales y evaluaciones al agente.

Evidencia

Harness reproducible con manifiesto de capacidades, sandbox, trazas y evals aisladas.

06

Loop Engineering

Controlar iteraciones, presupuesto, progreso, reintentos, concurrencia, parada y reanudación.

Evidencia

Loop acotado y reanudable que demuestra terminación, idempotencia y recuperación ante fallos.

07

Graph Engineering

Modelar grafos de ejecución, conocimiento y procedencia con invariantes y consultas medibles.

Evidencia

Sistema híbrido que conecta estado, evidencia y decisiones sin perder procedencia.

08

Evaluación

Separar calidad de modelo, retrieval y aplicación mediante evals reproducibles.

Evidencia

Suite de regresión con baseline, rúbrica, muestras fallidas y criterio de aceptación.

09

LLMOps

Observar latencia, coste, calidad, seguridad y cambios de distribución en producción.

Evidencia

Dashboard operativo, alertas y runbook de incidente.

10

Safety y governance

Modelar amenazas, limitar herramientas y aplicar privacidad, guardrails y auditoría.

Evidencia

Threat model, prueba de prompt injection y controles verificables.

11

Arquitectura de producto

Tomar decisiones de build vs buy, coste, fiabilidad y experiencia de usuario.

Evidencia

ADRs, análisis de costes y revisión técnica del proyecto de campo.

Cómo funciona tu progreso

Tu progreso se guarda bajo un seudónimo para que puedas retomarlo. Puedes exportarlo o borrarlo cuando quieras, sin crear una cuenta.

Ver privacidad y exportación