一支构建生产级推理服务的团队在 DigitalOcean Inference 上运行了六种语言模型，时长为 48 小时。每月仅需 0.20 美元的“tiny”模型击败了价格更高的选项。它保持在 droplets 8 GB 的内存限制内，并避免了导致 70B 版本崩溃的情况，以极低的成本提供了可用的延迟和准确率。
为什么这项测试很重要
企业在将大语言模型 (LLM) 作为 API 暴露时，往往认为更大的、更昂贵的模型能保证最佳体验。实际上，生产环境需要权衡内存、并发和可用性保证。一个在纸面上表现良好的模型，在触发 OOM (内存溢出) 终止或在冷启动期间导致服务停滞时，可能会变成一种负担。这次实战实验表明，在配置适中的硬件上，廉价模型可能是唯一可行的选择。
六大竞争者
| Model | Monthly Cost | Avg. Latency | Accuracy* | RAM Usage / Crash |
|---|---|---|---|---|
| mistral-tiny | $0.20 | 120 ms | 88 % | 1.2 GB |
| mistral-small | $0.80 | 180 ms | 91 % | 2.4 GB |
| mistral-medium | $2.50 | 250 ms | 93 % | 4.1 GB |
| mistral-large | $5.00 | 300 ms | 94 % | 6.8 GB |
| llama-70b | $8.00 | 450 ms | 95 % | CRASH |
| mixtral-8x7b | $10.00 | 500 ms | 96 % | CRASH |
*准确率反映了模型在团队内部基准测试集上的表现。
“tiny”模型的每月成本不到 0.25 美元，且完全处于 8 GB 的内存范围内。两个最大的模型——llama-70b 和 mixtral-8x7b——超过了该限制并反复导致主机崩溃，尽管它们的准确率得分更高，但却无法使用。
导致大模型失败的痛点
- 硬编码端点 – 原有的架构将每个请求都发送到单个模型。当该模型失败时，整个 API 就会宕机。
- 缺乏内存上限 – 更大的模型会耗尽所有可用 RAM，在没有任何警告的情况下触发 OOM 终止。
- 冷启动延迟 – 对新模型的首次请求需要数秒时间，影响了感知的响应速度。
- 无限制的并发 – 突发的并发请求会使内存和 CPU 饱和，导致系统性故障。
如果服务在现实负载下无法保持在线，那么原始性能数据就毫无意义。
动态路由解决方案
工程师们围绕三个原则重写了请求路径：
- 运行时模型选择 – 路由器根据每个请求选择模型，而不是使用静态端点。
- 硬件感知 – 每个请求都会分配一个内存预算；路由器仅将请求分发给符合剩余 RAM 限制的模型。
- 回退链 – 如果选定的模型失败或超时，路由器会自动使用下一个最佳模型进行重试。
修订后的架构增加了四个具体的保障措施：
- 有界并发 – 使用信号量 (semaphore) 限制并行推理，防止内存耗尽。
- 快速失败超时 – 严格的单次请求计时器会在慢速模型阻塞整个进程之前将其中止。
- 内存缓冲 – 系统在 droplet 的 RAM 上预留 20% 的余量，以确保操作系统开销和突发流量的空间。
- 预热 – 在启动时向每个模型发送模拟请求，消除初始冷启动带来的延迟。
这些措施将一个脆弱的流水线转变为一个具有韧性的服务，能够在配置适中的 8 GB droplets 上维持流量，且不会牺牲过多的准确率。
后续关注点
- 硬件扩展 – 随着云服务商以更低的价格提供更大内存的 droplets，大模型的盈亏平衡点可能会发生变化。
- 模型压缩 – 量化 (Quantization) 或知识蒸馏 (Knowledge distillation) 可以缩小高准确率模型的 RAM 占用，使其能在较小的机器上运行。
- 自适应路由 – 未来的路由器可能会实时学习针对给定查询哪种模型能提供最佳权衡，从而进一步实现准确率与成本平衡的自动化。
结论很简单：在生产环境中，在压力下仍能保持运行的模型，比纸面上表现最好的模型更有价值。请根据您的部署约束来选择模型，而不仅仅是看标题上的准确率。