PoC de LLM local e infraestructura de IA: reunimos los elementos necesarios para tomar decisiones

Desafíos

Existen operaciones que manejan datos confidenciales y no es posible enviar todo a la IA en la nube. Por otro lado, resulta difícil determinar por cuenta propia si un LLM local, que opera en el entorno propio sin enviar datos al exterior, realmente puede ser de utilidad en las operaciones de la empresa. Cada vez recibimos más consultas de este tipo. Cuando se habla de una PoC (prueba de concepto), a menudo se tiende a «crear y dar por terminado», y se escucha con frecuencia en el mercado que, aunque se logró algo funcional, al final no se pudo avanzar hacia la implementación en producción.

Enfoque

En Cor., lo que buscamos con una PoC no es una «demostración funcional», sino un «estado en el que se cuenta con todos los elementos de juicio para decidir si avanzar o no a producción». No nos cerramos de antemano a la IA en la nube o a un LLM local; diseñamos bajo la premisa de utilizarlos en el lugar adecuado según el nivel de confidencialidad de la información que se maneje. Mantenemos una postura rigurosa de no hacer de la mera creación el objetivo final.

Implementación

A lo largo de un período de 3 meses, avanzamos con el siguiente flujo de trabajo:

• Organización de las operaciones objetivo
• Diseño del tratamiento de los datos (límites de entrada, permisos de acceso, registros de operaciones y aprobación humana)
• Construcción del entorno de pruebas
• Definición y medición de los indicadores de evaluación
• Determinación de si se avanza o no a producción

Si ya se dispone de información organizada a partir de un diagnóstico (diagnóstico para la adopción de IA con datos confidenciales), acotamos el alcance de la PoC con base en ella.

Resultados

Al finalizar los 3 meses, dispondrá de los elementos necesarios para determinar si se avanza o no a la fase de producción. Si los resultados son favorables, se avanza hacia la construcción en producción y la operación/mantenimiento (cotización individual según los requisitos). De lo contrario, consideramos que la decisión de «no hacerlo por ahora» también es un resultado valioso que se obtiene de una PoC. Cor. continúa realizando verificaciones con LLM locales y aprovecha esa experiencia acumulada en el diseño de las PoC. La tarifa parte de los 3 millones de yenes por 3 meses (variable según los desafíos y el contenido).