引入AI智能体前必须确定的权限、日志与审批流程
在AI智能体引入日益推进的2026年,本文将为您解析在将其融入业务前必须确定的权限设计、操作日志以及人工审批节点。请将其作为避免止步于PoC的落地实施方针加以活用。
引入AI智能体前必须确定的权限、日志与审批流程
在AI Agent引入不断推进的2026年,本文将为您解析将其嵌入业务前应确定的权限设计、操作日志以及人工审批节点。请将其作为避免止步于PoC的落地实施方针加以活用。
AI Agent与仅仅返回文本的AI不同。它能够调用外部工具,规划多个步骤,并在某些情况下对实际的业务系统进行操作。正因如此,在引入前应该决定的,并非“使用哪种Agent”,而是“放权到何种程度”。
AI Agent引入设计请咨询Cor.株式会社
我认为,在引入AI Agent时最危险的,并非低估其能力,而是未对其责任范围进行设计。AI越优秀,失败时的影响范围也就越大。
Cor.株式会社在AI受托开发与AI顾问的一线业务中,非常重视在将AI嵌入业务之前,明确权限、日志和人工审批节点的设计。
本文引用的客观数据
- Gartner预测,到2026年底,40%的企业级应用将搭载任务特化型AI Agent。
- McKinsey在2025年的调查中指出,23%的组织正在规模化应用AI Agent,39%处于实验阶段。
- Gartner预测,由于成本增加、价值不明确以及风险管理不足,到2027年底将有超过40%的Agentic AI项目被取消。
权限应基于“被允许做什么”而非“能做什么”来决定
Agent能够做的事情越多,固然越便利。但在业务中,“被允许”比“能够”更为重要。是仅仅起草邮件即可,还是允许其直接发送?是仅生成报价草案即可,还是直接提交给客户?是仅检索内部数据库即可,还是允许其进行更新?
如果在未明确界限的情况下直接引入,一旦发生问题,责任究竟在于AI的失误,还是人工确认的不足,就会变得模糊不清。起初,应将其划分为浏览、草拟、提议、执行、外部发送等阶段,且在执行和外部发送环节必须设置人工审批。
在实际业务中,按粒度梳理权限可以让运营更为稳定。例如,可以按“仅浏览”、“至起草为止”、“至发送/执行为止”划分为3个阶段,级别越高,越必须引入人工审批。仅浏览可以自由交由其处理,但对于会对外部产生影响的操作,必须经过人工介入——事先共享这一界限划分,能够防患于未然。
日志并非用于监控,而是出于可复现性与问责性的需要
一旦AI Agent接入业务,就必须能够在事后解释“为什么会得出这一结果”。如果不记录输入的信息、参考的数据、执行的工具、审批的人员以及修改的对象,在发生问题时就无法进行改进。
在日志中记录的项目,如果能按执行者(哪个Agent、谁的指示)、目标数据、执行内容、审批人、时间戳、结果(成功/失败)等粒度进行规范,将更易于事后追溯。这并非“为了责备某人的记录”,而是为了防止重蹈覆辙的运营基石。
日志设计不是为了监视员工,而是为了保护业务。在Cor.的安全方针中,也秉持着不进行过度全量采集,而是仅限于业务相关的安全遥测数据并实现必要可视化的理念。
在最初的PoC中甚至应确定“终止条件”
在AI Agent的PoC中,不仅应确定成功条件,还应确定终止条件。例如,当操作即将超出预期的目标范围时、在进行高风险操作之前、或出现连续失败时,自动终止并上报给人工处理——正是这样一种设计。一旦出现此类动态,立即终止并重新审视设计。
具体而言,当操作对象超出预期、相同处理连续失败、或涉及事先定义为高风险的操作(如外部发送、数据删除、对生产环境的更改等)时,设置自动停止处理并等待人工确认的规则。预先设定终止条件,就能为在AI失控前实施人工介入预留空间。
AI Agent并非一旦引入就会自动产出成果。唯有预先完成权限、日志和审批流设计的企业,才能真正将其嵌入业务之中。
AI Agent引入设计请咨询Cor.株式会社
若要将AI Agent嵌入业务,仅靠提示词和模型选型是远远不够的。Cor.株式会社能够为您提供涵盖权限、日志、审批、业务流程及安全性的AI引入设计支持。
常见问题
Q. AI Agent与常规的生成式AI有什么区别?
常规的生成式AI主要用于生成回答。而AI Agent的不同之处在于,它能够规划多个步骤,并与外部工具或业务系统联动来推进任务。
Q. 起初可以交由其处理的业务有哪些?
应从可以加入人工审批的业务开始,例如起草、摘要、候选方案生成、内部信息检索辅助等。
Q. 引入AI Agent时最重要的设计是什么?
是权限、日志、审批流和终止条件。尤其是在交由其进行外部发送或更新业务系统时,必须保留人工的最终确认。
参考资料
- Gartner: 40% of Enterprise Apps Will Feature Task-Specific AI Agents by 2026 - 预测到2026年底,40%的企业级应用将搭载任务特化型AI Agent。
- McKinsey: The State of AI: Global Survey 2025 - 88%在至少一项业务中常态化使用AI,约三分之一正在规模化应用,23%正在规模化应用AI Agent,39%处于实验阶段。
- Gartner: Over 40% of Agentic AI Projects Will Be Canceled by End of 2027 - 预测由于成本增加、价值不明确以及风险管理不足,到2027年底将有超过40%的AI Agent项目被取消。
- Cor. HP: 安全 - 确认本地优先(Local-First)、最小化日志、敏感度分级、AI使用方针、正在完善ISMS体系。
Support this article
If this article was helpful, please support us with a tip. You can choose any amount.
相关文章
公司中可以与不可以输入ChatGPT的信息——机密数据AI利用的判断标准
面向犹豫是否可将合同、会议纪要、报价单、客户信息输入生成式AI的经营者及管理部门,解读机密级别的划分方法、云端AI与本地LLM的分工使用,以及完善公司内部规则的要点。
中小企业的AI引入为何进展缓慢|从总务与管理部门起步的切实可行路线图
立足于中小企业AI引入率仅为20.4%的现状,本文将解析如何从总务与管理部门轻松起步推进AI应用。适合正在探讨迈出AI应用第一步的企业阅读。
生成式AI企业内部使用规范制定指南|从OWASP与IBM调查解析风险管理
面向制定生成式AI使用规则的管理层与职能部门,梳理禁止输入信息、经批准的AI工具、日志记录、员工培训及应急响应机制。本文旨在帮助希望兼顾AI应用与信息管理的企业。