Helloworld 技术社区

开源模型部署:从显存预算到并发压测

社区编辑部· 1天前 · 阅读 2040 · 评论 36

部署前先做预算\n\n模型权重、KV Cache、并发数和上下文长度需要一起评估。

评论区

加载中...