/ IA Privada
← Todos los entrenamientos Próximamente · patrón LLM y RAG

IA Privada en hardware propio

Llevar un modelo open weight a una empresa y operarlo en su propio hardware: servirlo, medirlo, ponerle un gateway, un RAG con sus documentos, evals, observabilidad y la entrega sin internet. Da por sabido el entrenamiento RAG y le suma lo que cambia cuando el modelo vive en hardware propio.

8 estaciones · el temario, mientras llegan sus kits
Datosestación 5Modeloestaciones 2 · 6APIestaciones 1 · 3Contenedorestación 8Orquestaciónestación 4Monitoreoestación 7

Qué es el caso

el caso de referencia

Despacho de abogados. Un despacho quiere preguntarle a sus expedientes con un LLM, sin que un solo documento salga de su red: el modelo, el índice y los logs viven en un servidor suyo.

Sin rentar GPU
156

Sin rentar GPU: el modelo local con su API (1), tu RAG llevado al despacho (5) y su gate con el modelo propio (6) corren solo en tu Mac.

En cada estación, las cuentas de servilleta van en dos escalas: «En el despacho» y «En el dojo».

Las 8 estaciones

agrupadas en la T · temario

El temario: qué sale de cada estación y en qué etapa de la T cae. Cada una llega con su kit, sus cuatro rondas y su lugar en tu tablero, igual que las de clasificación. Todas corren en tu Mac, salvo las que dicen GPU rentada.

Datosestación 5
5Tu RAG, al despachosale: el RAG del entrenamiento RAG en el servidor del despacho, sin internet, con el modelo propioMacpróximamente
Modeloestaciones 2 · 6
2Medir y cuantizarsale: TTFT, tokens/s y calidad de 3 cuantizaciones, lado a ladoMacpróximamente
6El gate, con el modelo propiosale: el mismo golden set contra el modelo del despacho, y guardrails para que nada salga de su redMacpróximamente
APIestaciones 1 · 3
1Un modelo local por APIsale: un modelo chico que contesta por una API compatible con OpenAIMacpróximamente
3Servir con vLLM bajo cargasale: vLLM sirviendo y su curva de usuarios contra latenciaGPU rentadapróximamente
Contenedorestación 8
8Entrega sin internetsale: un paquete que se instala sin internet, con su prueba de humoMac y GPU rentadapróximamente
Orquestaciónestación 4
4Gateway de modelossale: un gateway con llaves, límites y ruteo entre modelosMacpróximamente
Monitoreoestación 7
7Observabilidad y fallassale: tableros y alertas de GPU e inferencia, con su runbookGPU rentadapróximamente
Datosestación 5Modeloestaciones 2 · 6APIestaciones 1 · 3Contenedorestación 8Orquestaciónestación 4Monitoreoestación 7
Pasa el cursor por una etapa de la lista para verla en la T.

Otros entrenamientos

el mismo método
Entrenamiento 01 · C01

Clasificación de imágenes

Un marketplace sugiere la categoría de cada foto que sube quien vende. Recorres las 12 estaciones del dato a producción: etiquetas, dataset versionado, entrenamiento, gate, serving con Triton, Docker, Kubernetes y monitoreo.

12 de 12 estaciones listasIr al entrenamiento →
Entrenamiento 02 · C11

RAG

Un asistente interno contesta con los documentos de la empresa y cita sus fuentes. Recorres las 12 estaciones de un RAG: ingestión, chunking, permisos, índice híbrido, reranker, un LLM local, la API con citas, evals y monitoreo.

12 estaciones · próximamenteIr al entrenamiento →
¿Primera vez?

Cómo se usa el dojo

El kit, las cuatro rondas con sus prompts, el repaso y tu registro en el tablero: igual en todos los entrenamientos.

Leerlo →