Telegram group «One Thousand True Fans 1000个铁杆粉丝»

• 06:11
  Luke Yan

  LiteLLM：统一 100+ LLM 的 AI Gateway LiteLLM 提供一个 OpenAI 兼容的统一接口，既可直接在 Python 代码中使用 SDK，也可部署为自托管的 AI Gateway。它支持 Bedrock、Azure、OpenAI、Anthropic、VertexAI、vLLM、Nvidia NIM 等多种模型，并提供成本跟踪、负载均衡、日志、虚拟密钥等企业级功能。 · 统一 API：一次调用即可访问 100+ LLM，省去多套 SDK · OpenAI 兼容：无缝切换模型，代码无需改动 · 企业级特性：虚拟密钥、费用追踪、守护栏、负载均衡、管理仪表盘 · 轻量部署：Python SDK 与 Rust 核心，Docker 镜像已签名，支持 Terraform 自动化部署

Online

Activity

Active users