AI成本不失控的秘密:Coinbase如何实现支出减半

对于任何积极应用人工智能的公司来说,如何在享受技术红利的同时控制不断攀升的运营成本,都是一个现实的挑战。Coinbase最近交出了一份令人印象深刻的答卷。

策略一:从模型选择开始优化

成本控制的第一步是重新评估基础工具。Coinbase将默认使用的AI模型切换为GLM 5.2和Kimi 2.7等开源权重模型。这一调整带来了立竿见影的效果:数据显示,高达91%的员工在日常工作中从未触及这些新模型的使用上限。这说明,在许多应用场景下,高性能的开源替代品完全能够满足需求,无需依赖成本更高的专有模型。

策略二:让请求自动找到最佳路径

并非所有任务都需要同等级别的AI算力。Coinbase开发了一套自定义系统,能够对用户输入的提示词进行预处理,并智能地将其路由到最适合处理该任务的模型。例如,简单的信息查询和复杂的策略规划会被自动分流到不同的处理通道,实现了资源的高效匹配,避免了“大炮打蚊子”式的浪费。

策略三:大幅提升缓存命中率

重复计算是资源浪费的主要源头之一。Coinbase重点优化了其AI对话平台LibreChat的缓存机制。通过技术改进,缓存命中率从最初的5%大幅提升至60%。这意味着超过一半的常见或类似请求可以直接从缓存中获取结果,无需调用模型进行重复计算,显著降低了计算成本和响应延迟。

策略四:精细化上下文管理

AI模型处理长上下文会消耗大量资源。Coinbase改变了使用习惯,鼓励员工在切换任务主题时开启新的会话。同时,系统会主动缩小上传文件的上下文处理范围,只聚焦与当前任务最相关的部分。这种“按需索取”的方式,有效避免了无关信息占用宝贵算力的情况。

策略五:将成本可见性与责任挂钩

技术手段之外,管理机制同样关键。Coinbase增强了AI支出的透明度和可追溯性。工程师虽然可以自由选择使用不同的模型,但必须同时承担相应的成本影响预期。这种“谁使用,谁负责”的机制,促使技术团队在追求效果的同时,也会主动权衡成本效益,从源头上培养了成本优化意识。

这五项策略的组合,构成了Coinbase在AI应用浪潮中实现可持续增长的成本护城河。它证明,通过精明的技术决策和严谨的管理流程,企业完全可以在不牺牲创新速度的前提下,有效驾驭AI技术的经济性。