Llevo LLMs a producción sin que rompan nada.

El LLM nunca produce un número que importe.

Claude agrupa titulares por tema —juicio semántico que ningún algoritmo de keywords hace bien— y ahí termina su trabajo. Todas las métricas las computa el código comparando contra el estado anterior de la base. Si un tema sale marcado como urgente, puedo explicar exactamente por qué; un score puntuado por el modelo no sería reproducible ni defendible ante un editor.

MediaBriefs

El modelo no puede responder prosa aunque quiera.

Todo el acceso al modelo pasa por un único método que declara una herramienta con su input_schema y fuerza tool_choice. La única salida posible es una llamada a esa herramienta con esa forma. No hay parseo de JSON libre en ningún punto del sistema, y el esquema cumple doble función: documenta cada campo para el modelo y garantiza la forma para Mongoose.

MediaBriefs · Sin Anestesia

Elimina una clase entera de alucinación y abarata el output.

El clustering manda 200 titulares numerados y pide de vuelta índices, no títulos. El modelo no puede devolver un titular ligeramente distinto ni una URL inventada: solo puede señalar cuáles de los que le di van juntos. Ahorra los tokens de salida, que son los caros, y el código valida trivialmente con una comparación de rango.

MediaBriefs

Cada llamada tiene definido qué pasa cuando falla.

Si el clustering falla, se conservan los temas anteriores: prefiero datos de hace dos horas a una pantalla vacía. Si la diarización no está disponible, la transcripción sale igual con un flag que viaja al frontend — la app sabe cuándo muestra un resultado degradado y lo dice, en vez de fingir que hubo un solo hablante.

MediaBriefs

La IA propone, la persona dispone.

El mapeo de columnas al importar contactos se revisa antes de confirmar; los mensajes de WhatsApp se aprueban antes de enviarse; los clips se aprueban antes de publicarse. Y donde el error tiene consecuencia real —sugerir un invitado que no existe— el nombre que devuelve el modelo se resuelve contra la base de datos: si no está, se descarta. El modelo nunca crea contactos.

Sin Anestesia

La métrica correcta es la del negocio, no la del paper.

Recorté el 20 % de un prompt tras verificar con count_tokens que el andamiaje costaba ~7.000 tokens por episodio. Y antes de self-hostear Whisper construí un benchmark que no mide WER sino cobertura de nombres propios: si el modelo local escribe «Bolarte» en vez de «Boluarte», el highlight se elige peor aunque el WER global se vea bien. Umbrales de decisión definidos por adelantado, antes de ver los resultados.

Sin Anestesia