로컬 LLM／AI 기반 PoC — 판단할 수 있는 재료를 갖춥니다

과제

기밀 데이터를 다루는 업무가 있어 클라우드 AI에 모든 것을 내보낼 수는 없다. 그렇다고 데이터를 외부로 내보내지 않고 자체 환경에서 구동하는 로컬 LLM이 우리 업무에서 정말 쓸 만한지, 자사만으로는 판단이 서지 않는다. 그런 상담이 늘고 있습니다. PoC라고 하면 「만들고 끝」이 되기 쉬워, 동작하는 것은 만들었지만 결국 본격 도입으로 나아가지 못했다는 이야기도 세간에서 자주 듣습니다.

접근 방식

Cor.가 PoC에서 목표로 하는 것은 「동작하는 데모」가 아니라 「본격 도입 여부를 판단할 수 있는 재료가 갖춰진 상태」입니다. 클라우드 AI와 로컬 LLM 중 어느 한쪽으로 미리 정해 두는 것이 아니라, 다루는 정보의 기밀도에 따라 적재적소로 구분해 쓰는 것을 전제로 설계합니다. 만드는 것 자체를 목표로 삼지 않는다는 자세를 철저히 지키고 있습니다.

구현

3개월 동안 다음 흐름을 진행합니다.

• 대상 업무의 정리
• 데이터 취급의 설계(입력 경계・접근 권한・조작 로그・휴먼 승인)
• 시험 환경의 구축
• 평가 지표의 설정과 계측
• 본격 도입 여부의 판단

진단(기밀 데이터 AI 활용 진단)에서 정리한 내용이 있는 경우에는, 그것을 토대로 PoC의 범위를 좁힙니다.

성과

3개월을 마치면 본격 도입 여부를 판단할 수 있는 재료가 손에 남습니다. 잘 진행되면 본격 구축・운영 보수로 나아갑니다(요건에 따라 개별 견적). 그렇지 않다면 「지금은 하지 않는다」는 판단도 PoC의 성과로 가져갈 수 있는 것이라고 생각합니다. Cor.는 로컬 LLM의 검증을 지속적으로 수행하고 있으며, 그 축적을 PoC의 설계에도 활용하고 있습니다. 비용은 3개월 300만 엔~(과제나 내용에 따라 변동)입니다. 관심이 있으시다면 우선 기밀 데이터 AI 활용 진단부터 시작하는 것도 하나의 방법입니다.