标签： 本地
-
llama.cpp 决策模型实测：/v1/systemone 一次前向出概率，M4 跑通 Kev-4B，中文比英文省 28% token
llama.cpp 10 月 2 日合入 /v1/systemone 端点，决策模型从此能跑在自己机器上，不用再绑任何厂商 API。我在 M4 Mac 上实测 Kev-4B 与 Julia-1 两个官…
-
OpenAI Dots 开源平替实测：Mac 自托管 Open Dots，30 行代码吃上本地模型
OpenAI Dots 限 Pro 订阅还缺席多数地区，开源平替两天涨了四百星。我在 M4 Mac 上实测自托管全流程：五分钟起服务，发现它不兼容 Chat Completions 协议，Ollama…
-
小米 MiMo-V2.6 开源上手：AA 46.3 分登顶的万亿级全模态模型，API 调用、本地部署与四款模型怎么选
小米 9 月 22 日开源 MiMo-V2.6：Pro 以 AA 46.3 分登顶开源权重第一，全模态输入加 1M 上下文，价格不变。本文讲清四款模型怎么选、两条 API 路线怎么走、缓存命中后单任务…
-
vLLM v0.28.0 上手指南：从 pip install 到 60% 提速，一篇说清 Kimi-K3、DeepSeek V4 与 7 项 Breaking Changes
vLLM v0.28.0（8 月 26 日发布）：584 commit、Kimi-K3 TTFT 升 60%、每 GPU 省 17 GiB、DeepSeek V4 sparse MLA 端到端。本文实…
-
本地部署大模型完全指南（2026版）：Ollama 与 LM Studio 实战对比
前言 曾经，运行大语言模型（LLM）是只有拥有高端显卡和专业服务器的少数人才能做的事。但到了2026年，一切都变了。 随着模型量化技术的成熟和轻量化工具的普及，普通电脑也能本地运行强大的AI模型。无论…
广告