LiteLLM으로 LLM API 통합하기 — 개인 인프라에서 엔터프라이즈까지
100개 이상의 LLM을 단일 OpenAI 형식으로 통합하는 LiteLLM. SDK와 Proxy Server의 차이, 실제 운영 경험, 도입 판단 기준을 공유합니다.
ai llm gateway openai devops kubernetes
100개 이상의 LLM을 단일 OpenAI 형식으로 통합하는 LiteLLM. SDK와 Proxy Server의 차이, 실제 운영 경험, 도입 판단 기준을 공유합니다.
AI 에이전트에게 Bash를 주되 안전하게. NanoClaw는 Docker 컨테이너 격리로 Claude Agent SDK의 풀스택 능력을 안전하게 활용하는 오픈소스 아키텍처다.
NanoClaw의 Telegram 기능을 skills engine 기반으로 전환하고, upstream과 fork custom의 3계층 코드 구조를 확립한 과정을 정리합니다.
NanoClaw를 fork해서 운영하면서 upstream에 PR 4건을 제출한 경험. 1건 머지, 3건 자진 close한 판단 과정과 private fork에서 upstream PR을 보내는 절차를 정리합니다.
Claude 구독 만료 대비 LiteLLM Proxy 기반 LLM fallback 인프라를 K3s + Cloudflare Tunnel로 구성한 과정을 정리합니다.