로컬 LLM/AI 기반 PoC — 판단을 내릴 수 있는 근거를 마련해 드립니다

과제

기밀 데이터를 다루는 업무가 있어 클라우드 AI에 모든 것을 맡길 수는 없다. 그렇다고 해서 데이터를 사외로 반출하지 않고 로컬 환경에서 구동하는 로컬 LLM이 자사 업무에 실제로 유용할지, 자체적으로는 판단하기 어렵다. 이러한 상담 요청이 늘고 있습니다. PoC라고 하면 ‘만들고 끝나는’ 경우가 많아, 작동하는 것은 만들었지만 결국 실제 운영 도입으로는 이어지지 못했다는 이야기도 자주 들립니다.

접근 방식

Cor.가 PoC에서 지향하는 것은 ‘작동하는 데모’가 아니라 ‘실제 운영 도입 여부를 판단할 수 있는 근거가 갖추어진 상태’입니다. 클라우드 AI와 로컬 LLM 중 어느 한쪽만을 고집하는 것이 아니라, 다루는 정보의 기밀도에 따라 적재적소에 구분하여 활용하는 것을 전제로 설계합니다. 만드는 것 자체를 목표로 삼지 않는 자세를 철저히 지키고 있습니다.

구현

3개월 동안 다음과 같은 단계로 진행합니다.

• 대상 업무 정리
• 데이터 처리 방식 설계(입력 경계, 접근 권한, 작업 로그, 사람에 의한 승인)
• 테스트 환경 구축
• 평가 지표 설정 및 측정
• 실제 운영 도입 여부 판단

진단(기밀 데이터 AI 활용 진단)을 통해 정리된 내용이 있는 경우, 이를 바탕으로 PoC의 범위를 좁혀 진행합니다.

성과

3개월이 지나면 실제 운영 도입 여부를 판단할 수 있는 근거가 남게 됩니다. 결과가 긍정적이라면 실제 운영 구축 및 운영 유지보수 단계로 나아갑니다(요구사항에 따라 별도 견적). 그렇지 않더라도 ‘지금은 진행하지 않는다’는 판단 역시 PoC의 성과로서 얻어갈 수 있는 결과라고 생각합니다. Cor.는 로컬 LLM 검증을 지속해 왔으며, 이러한 노하우를 PoC 설계에도 적극 활용하고 있습니다. 비용은 3개월 300만 엔부터(과제 및 내용에 따라 변동)입니다.