本地 LLM

本地 LLM/AI 基础设施 PoC —— 备齐可供判断的依据

因为有机密数据,无法把全部内容交给云端 AI;可本地 LLM 是否真能用于业务,自家又判断不了。这项 3 个月的 PoC,正是要从这种状态出发,备齐可判断是否投产的依据。

课题

有涉及机密数据的业务,不可能把全部内容都交给云端 AI。可是,不向外部传送数据、在本地运行的本地 LLM 究竟能否真正用于自家业务,仅凭自身又难以判断。这样的咨询正在增多。而说到 PoC,往往容易变成“做出来就结束”,业界也常听到这样的说法:能跑的东西是做出来了,最终却没能推进到投产导入。

思路

Cor.株式会社在 PoC 中所追求的,不是“能演示的 demo”,而是“备齐了可判断是否投产的依据”这一状态。我们不会一开始就锁定云端 AI 或本地 LLM 其中之一,而是以“依据所处理信息的机密程度、因地制宜地组合使用”为前提进行设计。我们始终坚持:不把“做出来”本身当作目标。

实装

在 3 个月内,我们推进以下流程。

  • 目标业务的梳理
  • 数据处理方式的设计(输入边界・访问权限・操作日志・人工审批)
  • 测试环境的搭建
  • 评估指标的设定与测量
  • 是否投产的判断

如果已通过诊断(机密数据 AI 应用诊断)完成了相关梳理,我们会以此为基础,收敛 PoC 的范围。

成果

3 个月结束后,可判断是否投产的依据会留在您手中。若进展顺利,则推进到投产构建与运维保障(依需求另行报价)。若不然,我们认为“现在先不做”这一判断,同样是可以带走的 PoC 成果。Cor.株式会社持续开展本地 LLM 的验证工作,并把这些积累运用到 PoC 的设计之中。费用为 3 个月 300 万日元起(视课题与内容而变动)。如果您有意向,先从机密数据 AI 应用诊断开始,也是一种方式。

想进一步了解这个案例的您

您现场的课题,也请让我们一起思考。

相关实绩