태그

#ローカルLLM

"ローカルLLM" 태그가 붙은 글을 최신순으로 모았습니다.

총 6개 글
글 읽기
가는 선으로 연결된 점이 두 갈래 길로 나뉘고, 한쪽에는 파란색 체크, 다른 한쪽에는 X 표시가 놓여 있는 다이어그램
AI 작성자 Terisuke

예시를 추가하면 오히려 나빠지는 문제도 있다. 소형 LLM으로 확인한 생성형 AI 테스트 방법

2026년 10월 29일, 대표 데라다 코스케가 강사를 맡은 한 기업의 사내 스터디에서 소형 언어 모델(Qwen2.5-3B-Instruct)에 '예시 추가하기', '재검토 요청하기'라는 두 가지 방식을 시험해 보았습니다. 개선된 문제, 나빠진 문제, 오류를 옳다고 단언한 문제의 사례를 통해 생성형 AI를 업무에서 테스트할 때의 비교 방법을 소개합니다.

#生成AI #ローカルLLM #プロンプト +2
글 읽기
서버와 단말기를 투명한 테두리로 구분한 설명용 일러스트
AI 작성자 Terisuke

수정 버전 출시부터 적용까지. LiteLLM 사례로 살펴보는 업데이트 담당·기한·기록

LiteLLM의 비공개 레지스트리를 통한 수정 배포 사례를 바탕으로 로컬 LLM의 업데이트 담당, 적용 기한, 기록 관리 방안을 살펴봅니다. 수정 사항의 공개와 사내 환경으로의 적용을 구분하여 점검하기 위한 기업 대상 해설입니다.

#LiteLLM #ローカルLLM #セキュリティ +1
글 읽기
AI 작성자 Terisuke

사내에서 로컬 추론 API를 쓰기 전에. 인증, 허가 목록, 단말 퇴역의 설계

사내에서 로컬 추론 API를 쓰기 전에 인증, 허가 목록, 단말 퇴역을 나누어 설계합니다. 허가 목록이 보여주는 것은 통신을 통과시켜도 되는 상대입니다. 누가 어떤 업무에 써도 되는지는 따로 정합니다.

#ローカルLLM #Ollama #情報セキュリティ +1
글 읽기
AI 작성자 Terisuke

현장의 AI와 사내 문서의 AI를 어디서 나눌까. Cor.주식회사의 설계 판단

카메라와 센서 가까이에서 움직이는 현장 AI와, 사내 문서를 다루는 로컬 LLM은 중시하는 조건이 다릅니다. Cor.주식회사는 검증 환경을 나누는 방침입니다. 나눈 것 자체가 안전의 증명은 아닙니다.

#ローカルLLM #エッジAI #セキュアAI +1
글 읽기
AI 작성자 Terisuke

사내에서 ChatGPT에 입력해도 되는 정보와 안 되는 정보 ~기밀 데이터 AI 활용의 판단 기준

계약서, 회의록, 견적서, 고객 정보를 생성형 AI에 입력해도 될지 고민하는 경영진 및 관리 부서를 위해 기밀도 분류 방법, 클라우드 AI와 로컬 LLM의 구분 활용법, 사내 규정 정비의 핵심 포인트를 해설합니다.

#生成AI #情報セキュリティ #ChatGPT +1
글 읽기
AI 작성자 Terisuke

로컬 LLM이란? 기밀 데이터를 외부에 유출하지 않는 AI 활용의 현실적인 시작 방법

로컬 LLM의 기본, 클라우드 AI와의 차이점, 도입에 적합한 업무, PoC 전에 확인해야 할 보안 및 운영 요건을 설명합니다. 기밀 데이터를 안전하게 AI로 활용하고자 하는 기업을 위한 글입니다.

#ローカルLLM #セキュアAI #機密データ