LLM 설정

본 챕터는 솔루션이 사용할 언어 모델 프로바이더와 모델 파라미터를 설정하는 절차를 다룹니다.

지원 프로바이더

프로바이더	영문	유형	비고
OpenAI	OpenAI	클라우드	API 키 필요
Anthropic	Anthropic	클라우드	Claude 시리즈, API 키 필요
Google Gemini	Google Gemini	클라우드	API 키 필요
AWS Bedrock	AWS Bedrock	클라우드	AWS 자격증명 필요
vLLM	vLLM	셀프 호스팅	사내 GPU 서버에 배포한 모델
SGLang	SGLang	셀프 호스팅	사내 GPU 서버에 배포한 모델

금융권 등 폐쇄망 환경 권장 사항

망분리 환경 또는 데이터 외부 반출 제한 정책이 적용되는 환경에서는 외부 클라우드 기반 LLM 사용이 제한될 수 있습니다.

이러한 경우에는 사내 인프라 기반의 추론 환경(vLLM, SGLang 등)을 우선 검토하는 것을 권장합니다.

프로바이더 등록

좌측 메뉴 관리 설정 → 환경 설정 → LLM을 선택합니다.

1. 프로바이더 카드의 연결 버튼 클릭
2. 다음 항목 입력
   • API 키 (또는 토큰): 프로바이더 콘솔에서 발급받은 인증 키
   • 엔드포인트 (셀프 호스팅인 경우): https://vllm.internal.example.com 형태
   • 기본 모델: 이 프로바이더의 기본 사용 모델
3. 연결 테스트 클릭 → 응답 확인
4. 저장

API 키 보안

API 키는 한 번 저장한 뒤 화면에 다시 표시되지 않습니다. 분실 시 프로바이더 콘솔에서 새로 발급받아야 합니다. 변경 시점에는 진행 중인 호출이 일시 실패할 수 있으므로 사용자 적은 시간대를 권장합니다.

기본 LLM 프로바이더 지정

여러 프로바이더가 등록된 경우, 시스템 전역 기본값을 지정합니다.

1. LLM 설정 상단 기본 프로바이더 드롭다운에서 선택
2. 저장

이후 새로 만들어지는 에이전트·에이전트플로우는 기본 프로바이더를 사용합니다. 개별 항목에서 다른 프로바이더로 재정의 가능합니다.

모델 파라미터

파라미터	영문	의미	권장값 (참고)
Temperature	Temperature	응답 무작위성. 0이면 결정적, 높을수록 창의적	사실 위주: 0.2 / 창의적: 0.7
Max Tokens	Max Tokens	한 응답의 최대 토큰 수	일반 챗: 1000~2000
Top P	Top P	핵 샘플링 — 다양성 제어	0.9~1.0
스트리밍	Stream	응답을 실시간으로 흘려보내기	true (사용자 경험 개선)

변경의 운영 영향

운영 영향

LLM 프로바이더 또는 기본 모델을 변경하면 다음 영향이 있습니다.

• 진행 중인 채팅: 이미 시작된 채팅은 기존 모델로 마무리되며, 다음 메시지부터 새 모델이 적용됩니다.
• 배포된 에이전트플로우: 즉시 새 모델 사용. 응답 품질·비용·속도가 달라질 수 있습니다.
• 평가 결과: 과거 평가는 그 시점 모델 기준이므로, 새 모델로 재평가가 권장됩니다.

변경 전 감사 로그를 통해 영향 범위를 확인하고, 가능하면 사용자 적은 시간대에 변경하세요.

운영 권장사항

• 분기별 점검 — 프로바이더가 새 모델을 출시했는지 확인하고 평가 후 업그레이드.
• 비용 모니터링 — 클라우드 프로바이더 사용 시 월간 비용을 별도로 추적. 갑작스런 증가는 비정상 호출(루프 등) 신호일 수 있음.
• 이중화 — 가능하면 1순위·2순위 프로바이더를 두어 1순위 장애 시 자동 폴백.

문의

LLM 설정 관련 문의는 Xgen 솔루션 관리자에게 문의해 주세요.