RAG与企业知识库AI失败的原因:在追求检索精度之前更应梳理的关键要素
从数据整理、权限、评估指标和运营设计的角度,解析企业内部文档检索与RAG引入后未见成效的原因。这是一份旨在避免企业知识库AI止步于PoC的实用指南。
企业知识库AI和RAG是许多企业最容易率先尝试的AI应用方式。然而在实践中,往往容易碰壁,出现“虽然能检索,但没人用”、“回答看似合理却不可信”、“因担心权限管理而无法正式上线”等问题。究其原因,并不在于模型本身,而在于导入前的方案设计。
Cor.株式会社认为,在导入RAG时首先应该关注的,不是向量数据库或模型,而是企业内部文档的状态。若在陈旧资料、内容重复、各部门表述不一致、访问权限模糊等问题悬而未决的情况下直接接入AI,只会更快地招致混乱。
本文所依据的客观数据
- IPA的《DX动向2025》指出,日本企业在应用生成式AI时面临的课题包括:对效果和风险的理解、管理规则与标准的制定,以及轻信错误回答等素养层面的问题。
- OWASP将过度依赖(Overreliance)列为LLM的风险之一,并总结指出,不对LLM的输出进行批判性评估将影响决策并带来法律责任。
- 在Cor.的官网上提到,关于本地LLM与安全AI,主张不将机密数据做非必要的外部传输,并根据机密程度来设计AI运营方案。
失败原因1:内部文档陈旧、内容重复
RAG是通过参考企业内部文档来生成回答的机制。换言之,如果参考来源陈旧,返回的回答也会是陈旧的。如果存在重复资料,系统就无法判断哪一份是正确的;如果各部门的格式不一致,检索结果的颗粒度也会参差不齐。
在导入AI之前需要做的,并不是进行尽善尽美的文档整理,而是至少要明确最新版本的存放位置、废弃资料的处理方式、文档责任人以及更新频率。
失败原因2:权限管理模糊不清
在企业知识库AI中,“谁能看什么”至关重要。绝不能将全体员工可见的内部规章制度,与仅限部门内部访问的客户信息或人事信息置于同一个检索对象中。
许多企业在将RAG投入正式生产时停滞不前,并非因为检索精度,而是卡在权限设计上。从PoC阶段开始,就应当确定如何落实基于文档级别、文件夹级别以及部门级别的访问控制。
失败原因3:评估指标止步于“感觉挺好用”
对企业知识库AI的评估,仅仅看回答是否自然是远远不够的。应当关注的指标包括:回答的准确性、参考来源的提供率、检索时间的缩短、咨询量的减少、出现错误回答时的检出率,以及用户的重复使用比例。
不能让PoC仅仅以“看起来能用”草草收尾,必须在验证前明确:能够减少哪项业务的多少分钟工时、能够减少哪类咨询的多少件数量,以及将在哪个部门正式上线。
如果您希望导入内部文档检索或RAG,但在文档整理、权限管理、评估指标方面存有顾虑,建议在进行技术选型之前先从业务设计着手。Cor.株式会社提供包括本地LLM与安全AI在内的落地实施支持。
常见问题
Q. 什么是RAG?
这是一种检索企业内部文档或外部信息,并基于检索结果由LLM生成回答的机制。其特点在于不单纯依赖模型本身的知识,而是可以参考指定的信息源。
Q. 导入RAG时首先应该做的是什么?
相比于模型选型,更应该优先确定参考文档的范围、最新版本的管理方式、权限以及评估指标。
Q. 本地LLM可以与RAG结合使用吗?
可以结合使用。在处理机密文档时,若将本地LLM或封闭的检索环境与RAG相结合,即可设计出防止信息做非必要外部传输的架构。
参考资料
- IPA: DX动向2025 - 日本在生成式AI方面的实践比例低于美国和德国,且企业规模越小,实践比例越低。面临的课题在于治理、素养以及应用场景探索。
- OWASP Top 10 for LLM Applications - 梳理了敏感信息泄露(Sensitive Information Disclosure)、过度授权(Excessive Agency)、过度依赖(Overreliance)等LLM应用的代表性风险。
- Cor. HP: AI × CO-CREATION / 业务概况 - 确认Cor.的业务领域、Grift、本地LLM与安全AI、AI驱动开发、共创理念。
- Cor. HP: 安全 - 确认本地优先、最小化日志、机密级别划分、AI使用方针、ISMS(预计于2026年10月完成第二阶段审核,并预计于2026年12月左右完成认证注册)。
想在贵公司推进本文的内容?
机密数据 AI 活用诊断的咨询,由 AI 接待「Cloudia」受理。
详细了解机密数据 AI 应用诊断Support this article
If this article was helpful, please support us with a tip. You can choose any amount.
相关文章

添加示例反而变差的问题亦有存在。通过小型LLM验证的生成式AI测试方法
2026年10月29日,在代表寺田 康佑担任讲师的某企业内部学习会上,针对小型语言模型(Qwen2.5-3B-Instruct)尝试了“附带示例”和“要求复核”这两种改进方式。本文将根据回答变好的问题、变差的问题,以及将错误断定为正确的问题,为您阐述在业务中测试生成式AI时的对比方法。

从修复版本发布到完成应用:以LiteLLM为例探讨更新的负责人、期限与记录
以LiteLLM在非公开镜像仓库中分发修复补丁为契机,探讨本地LLM的更新负责人、应用期限与记录方式。本文是面向企业提供的专业解析,旨在帮助企业明确区分补丁发布与在自社环境中的实际应用。
在公司里使用本地推理API之前。认证、许可列表和终端退役的设计
在公司里使用本地推理API之前,把认证、许可列表和终端退役分开设计。许可列表表明的是通信可以通到的对方。谁可以把它们用于哪项业务,要另外决定。