Llevar un modelo open weight a una empresa y operarlo en su propio hardware: servirlo, medirlo, ponerle un gateway, un RAG con sus documentos, evals, observabilidad y la entrega sin internet. Da por sabido el entrenamiento RAG y le suma lo que cambia cuando el modelo vive en hardware propio.
Despacho de abogados. Un despacho quiere preguntarle a sus expedientes con un LLM, sin que un solo documento salga de su red: el modelo, el índice y los logs viven en un servidor suyo.
Sin rentar GPU: el modelo local con su API (1), tu RAG llevado al despacho (5) y su gate con el modelo propio (6) corren solo en tu Mac.
En cada estación, las cuentas de servilleta van en dos escalas: «En el despacho» y «En el dojo».
El temario: qué sale de cada estación y en qué etapa de la T cae. Cada una llega con su kit, sus cuatro rondas y su lugar en tu tablero, igual que las de clasificación. Todas corren en tu Mac, salvo las que dicen GPU rentada.
Un marketplace sugiere la categoría de cada foto que sube quien vende. Recorres las 12 estaciones del dato a producción: etiquetas, dataset versionado, entrenamiento, gate, serving con Triton, Docker, Kubernetes y monitoreo.
12 de 12 estaciones listasIr al entrenamiento →Entrenamiento 02 · C11Un asistente interno contesta con los documentos de la empresa y cita sus fuentes. Recorres las 12 estaciones de un RAG: ingestión, chunking, permisos, índice híbrido, reranker, un LLM local, la API con citas, evals y monitoreo.
12 estaciones · próximamenteIr al entrenamiento → ¿Primera vez?El kit, las cuatro rondas con sus prompts, el repaso y tu registro en el tablero: igual en todos los entrenamientos.
Leerlo →