今天，GitHub上BerriAI的litellm项目新增95个星标。这个工具没搞大动静，全靠开发者自发关注，刚好踩中了不少人头疼的多模型调用痛点。
它到底是什么？
litellm是一款AI网关，核心用Rust编写，包装了Python SDK。它的核心卖点是：用统一的OpenAI格式，就能调用100+种LLM API——包括OpenAI、Anthropic，还有AWS Bedrock、Azure OpenAI、Google VertexAI，甚至是开源的vLLM、Nvidia NIM。除了兼容多模型，它还自带成本跟踪、安全防护（guardrails）、负载均衡和日志功能，不用开发者逐个改代码适配不同模型的原生接口。
轻量的门道在哪？
项目方明确说它是“最快、最精简”的AI网关，这两点是核心优势。Rust核心是关键：比起全用Python开发的网关，Rust编译后的二进制体积小，性能损耗低，跑起来不占额外资源。再加上Python SDK的封装，开发者不用学新语言，插个依赖就能用，兼顾了性能和易用性。市面上很多AI网关要么太笨重，要么只支持少数模型，litellm把“轻量”和“多模型兼容”捏到了一起，这是它能快速涨星的直接原因。
对开发者意味着什么？
很多开发者都踩过坑：同时接三四种LLM，每个接口格式不一样，成本算不清，流量高峰还容易单模型挂掉。litellm刚好补了这些缺口：统一格式省去了适配的重复劳动，成本跟踪能实时盯着调用花费，负载均衡能把流量分散到不同模型，避免单点故障影响服务。今天95个星标，大概率是刚发布的优化或新特性，刚好戳中了近期开发者的需求。
现在100+大模型都能靠一个轻量网关统一调用，开发者会因此放弃部分模型的专属优化功能吗？
素材来源：GitHub Trending · AI情报、大模型
查看报道原文
发表第一条评论吧