标签
推理加速
-
把大模型推理速度翻倍：腾讯混元开源 AngelSpec，教你部署投机解码
大模型推理贵、慢、卡，这件事困扰整个行业太久了。 7 月 30 日，腾讯混元团队甩出一个新开源项目：AngelSpec。这是一个端到端的投机解码（Speculative Decoding）训练与部署框…
-
DeepSeek 联合北大放出 DSpark：单用户生成速度最高提 85%，一份能从零跑起来的实操指南
6 月 27 日，DeepSeek 在 GitHub 低调推了一篇新论文，署名里有创始人梁文锋和北京大学团队。论文介绍的是一套推测解码（Speculative Decoding）框架，名字叫 DSpa…