로컬 OpenAI 호환 LLM

운영자가 관리하는 Chat Completions API의 /v1을 포함한 기본 URL, 정확한 모델 ID와 선택적인 Bearer 자격 증명을 설정합니다. 엔드포인트에는 백엔드 플러그인 프로세스가 접속합니다. localhost는 해당 프로세스가 실행되는 호스트 또는 컨테이너를 뜻하므로 별도 모델 서버는 승인된 내부 주소를 사용합니다.

HTTPS는 인증서를 검증합니다. 사설 CA는 CA 인증서 PEM을 등록합니다. 신뢰할 수 있는 로컬 네트워크에서만 평문 HTTP를 명시적으로 허용합니다. 리디렉션과 프록시 환경 변수는 사용하지 않으며 메타데이터 서비스 목적지는 차단합니다.

연결 검사는 텍스트를 생성하지 않고 모델 목록을 조회합니다. 지정한 모델이 목록에 있어도 확인되는 것은 메타데이터 접근뿐입니다. 호환 모델 목록 API가 없는 서버는 검사 미지원으로 표시하며 샘플 생성이나 모델 다운로드를 실행하지 않습니다.

먼저 텍스트 모드를 사용합니다. 해당 서버와 모델이 OpenAI response_format을 지원하는지 확인한 뒤 JSON 또는 네이티브 스키마 모드를 선택합니다. 실패 시 자동으로 텍스트 모드로 전환하지 않습니다. 완료된 후보는 호스트의 검증과 사용자 검토 후에 저장해야 합니다. 이 제공자는 액션이나 규칙을 실행하지 않습니다.

시간 초과, 취소, 인증 오류, 컨텍스트 한도, 거부와 미완료 생성은 실패로 반환합니다. 자동 재시도와 클라우드 대체 호출은 없습니다. 원문 오류 본문과 추론 내용은 결과에서 제외하며 토큰 사용량은 제공되지 않을 수 있습니다.

이 구현은 모의 HTTP 테스트로 계약을 검증했습니다. 실제 로컬 추론 서버와의 호환성은 아직 검증하지 않았습니다. Ollama 네이티브 API, 도구 호출, 임베딩, 검색, 스트리밍과 모델 수명주기 관리는 이 제공자의 범위에 포함되지 않습니다.