请求生命周期
- 身份验证:Flatkey 验证 API 密钥。
- 余额检查:从预付费余额中预留估算费用。
- 提供商路由:将请求转发给对应厂商(OpenAI、Anthropic、Google 等)。
- 响应透传:厂商响应不经修改直接返回客户端。
- 计费结算:确认 Token 数量并扣除准确费用。
自动故障转移
Flatkey 实时监控上游提供商 API 的健康状态。如果某个端点出现错误或延迟升高,Flatkey 可以自动在健康的备用端点上重试,无需修改代码。故障转移在基础设施层运行,无需额外配置即可受益。99.9% 成功率由这一机制提供支持。
基础 URL
所有请求使用同一个基础 URL:分组和额度
可以在控制台中创建 分组,组织 API 密钥并设置路由控制:- 模型访问策略:限制某个密钥或分组可调用的模型
- 支出额度:设置每月或单次请求的支出上限
- 路由规则:优先选择特定提供商或模型版本
延迟考虑
与直接调用提供商相比,通过 Flatkey 路由通常只增加不到 50ms 的开销。对延迟敏感的应用,可在模型健康度中选择平均延迟较低的模型。流式传输
Flatkey 完整支持所有聊天和文本生成模型的流式传输:python
错误处理
Flatkey 保留上游厂商返回的错误格式。如果提供商返回4xx 或 5xx 错误,你会收到与 OpenAI 错误 Schema 相同结构的响应,因此现有错误处理代码可以继续工作。
常见错误及处理方法:
Flatkey 自身产生的错误(身份验证、余额不足)会在请求到达上游提供商之前返回,不会消耗余额。