Por qué fracasan la RAG y la IA de conocimiento interno: lo que se debe preparar antes de la precisión de búsqueda

La IA de conocimiento interno y RAG son uno de los primeros casos de uso de IA que a muchas empresas les resulta fácil probar. Sin embargo, en la práctica, se suele chocar con obstáculos como «la búsqueda funciona, pero no se utiliza», «la respuesta parece verosímil, pero no es confiable» o «no podemos pasar a producción por miedo a la gestión de permisos». La causa no reside en el modelo, sino en el diseño previo a la implementación.

El diseño de RAG y la IA de conocimiento interno, en manos de Cor.Inc.

Considero que lo primero que se debe examinar al implementar RAG no es la base de datos vectorial ni el modelo, sino el estado de los documentos internos. Documentos obsoletos, duplicados, inconsistencias terminológicas entre departamentos y permisos de acceso ambiguos: si se despliega IA pasando esto por alto, lo único que se conseguirá es que la confusión regrese con mayor rapidez.

En Cor.Inc., en el contexto del desarrollo de IA a medida, LLM locales e IA segura, brindamos soporte desde el diseño operativo para el aprovechamiento de la IA aplicada a documentos internos, actas de reuniones, especificaciones y presupuestos.

Consultar sobre IA de conocimiento interno

Datos objetivos tomados como premisa en este artículo

• En las Tendencias de DX 2025 de la IPA, se señalan como desafíos para el aprovechamiento de la IA generativa en las empresas japonesas la comprensión de su impacto y riesgos, la creación de reglas y criterios de gestión, y los aspectos de alfabetización relacionados con creer respuestas erróneas.
• OWASP incluye la «Sobreconfianza» (Overreliance) como un riesgo de los LLM, estructurando cómo no evaluar críticamente las salidas de los LLM afecta la toma de decisiones y la responsabilidad legal.
• En el sitio web de Cor., se establece que, mediante LLM locales e IA segura, los datos confidenciales no se transfieren al exterior de manera innecesaria y se diseña la operación de la IA según el nivel de confidencialidad.

Razón de fracaso 1: Los documentos internos están obsoletos o duplicados

RAG es un mecanismo que genera respuestas consultando documentos internos. En consecuencia, si la fuente de referencia está desactualizada, devolverá una respuesta desactualizada. Si existen documentos duplicados, no podrá determinar cuál es el correcto, y si el formato difiere según el departamento, el nivel de detalle de los resultados de búsqueda también variará.

Lo que se debe hacer antes de implementar IA no es una depuración documental perfecta. Se trata de determinar, como mínimo, la ubicación de las versiones más recientes, el tratamiento de los documentos en desuso, los propietarios de los documentos y la frecuencia de actualización.

Razón de fracaso 2: Dejar la gestión de permisos en la ambigüedad

En la IA de conocimiento interno, es fundamental quién puede ver qué. No se deben incluir en el mismo ámbito de búsqueda las normativas internas visibles para todos los empleados y la información de clientes o de recursos humanos limitada a ciertos departamentos.

Muchas de las empresas que se estancan al pasar RAG a producción no lo hacen por la precisión de la búsqueda, sino por el diseño de permisos. Desde la fase de PoC, se debe definir cómo reflejar el control de acceso a nivel de documento, de carpeta y de departamento.

Razón de fracaso 3: Los indicadores de evaluación se quedan en un «parece conveniente»

Para evaluar la IA de conocimiento interno, no basta con que la respuesta sea natural. Los indicadores que deben observarse son: la precisión de las respuestas, la tasa de presentación de las fuentes de referencia, la reducción del tiempo de búsqueda, la disminución de consultas directas, la detección de respuestas erróneas y el porcentaje de usuarios que vuelven a utilizarla.

En lugar de conformarse con un «parece útil» en la PoC, es necesario realizar la validación tras definir qué tarea se reducirá en cuántos minutos, cuántas consultas directas se disminuirán y en qué departamentos se pondrá en producción.

El diseño de RAG y la IA de conocimiento interno, en manos de Cor.Inc.

Si desea implementar búsqueda de documentos internos o RAG pero tiene dudas sobre la organización de documentos, la gestión de permisos o los indicadores de evaluación, debe comenzar por el diseño operativo antes de la selección tecnológica. En Cor.Inc., ofrecemos soporte para la implementación, incluidos LLM locales e IA segura.

Consultar sobre IA de conocimiento interno

Preguntas frecuentes

¿Qué es RAG?

Es un mecanismo en el que se buscan documentos internos o información externa y, basándose en dichos resultados, un LLM genera la respuesta. Su característica principal es que no depende únicamente de la memoria del modelo, sino que puede consultar fuentes de información designadas.

¿Qué es lo primero que se debe hacer al implementar RAG?

Antes de seleccionar el modelo, se debe definir el alcance de los documentos que se consultarán, la gestión de las versiones más recientes, los permisos y los indicadores de evaluación.

¿Se pueden combinar LLM locales y RAG?

Es posible. Al manejar documentos confidenciales, combinar LLM locales o entornos de búsqueda cerrados con RAG permite diseñar un sistema que no transfiera información al exterior de manera innecesaria.

Materiales de referencia

• IPA: Tendencias de DX 2025 - La proporción de iniciativas con IA generativa en Japón es inferior a la de EE. UU. y Alemania, y disminuye a menor tamaño de la empresa. Los desafíos radican en la gobernanza, la alfabetización y la exploración de casos de uso.
• OWASP Top 10 for LLM Applications - Clasificación de los riesgos representativos de las aplicaciones con LLM, como Sensitive Information Disclosure, Excessive Agency y Overreliance.
• Sitio web de Cor.: AI × CO-CREATION / Resumen del negocio - Información confirmada sobre las áreas de negocio de Cor., Grift, LLM locales/IA segura, desarrollo impulsado por IA y el mensaje de cocreación.
• Sitio web de Cor.: Seguridad - Información confirmada sobre local-first, registros mínimos, niveles de confidencialidad, política de uso de IA y preparación de la certificación ISMS.