标签： 本地
-
Headroom 实测：给 AI Agent 压上下文，token 最高省 98%，但有个默认行为你必须知道
Headroom 是 GitHub 本周趋势第一的开源上下文压缩层（75k 星、Apache-2.0），在工具输出、日志和 RAG 内容进入大模型前先压一道，帮 Agent 直接砍 token 成本。…
-
EmbeddingGemma 2 上手指南：740M 参数把文字、图片、音频压进同一个向量空间，M4 本机实测
Google 刚开源的 EmbeddingGemma 2 是一个 740M 参数的多模态嵌入模型，能把文本、代码、图片、视频、音频统一映射到同一个 768 维向量空间。本文在 M4 Mac 上实测：从…
-
Agent Reach 实测：一条命令给 AI Agent 装上联网能力，B站搜索免 Key 跑通
AI Agent 写代码很利索，联网取资料就抓瞎：Twitter API 收费、Reddit 403、B站风控、小红书登录墙。GitHub 9.2 万星的 Agent Reach 把十几个平台的接入选…
-
llama.cpp 决策模型实测：/v1/systemone 一次前向出概率，M4 跑通 Kev-4B，中文比英文省 28% token
llama.cpp 10 月 2 日合入 /v1/systemone 端点，决策模型从此能跑在自己机器上，不用再绑任何厂商 API。我在 M4 Mac 上实测 Kev-4B 与 Julia-1 两个官…
-
OpenAI Dots 开源平替实测：Mac 自托管 Open Dots，30 行代码吃上本地模型
OpenAI Dots 限 Pro 订阅还缺席多数地区，开源平替两天涨了四百星。我在 M4 Mac 上实测自托管全流程：五分钟起服务，发现它不兼容 Chat Completions 协议，Ollama…
-
小米 MiMo-V2.6 开源上手：AA 46.3 分登顶的万亿级全模态模型，API 调用、本地部署与四款模型怎么选
小米 9 月 22 日开源 MiMo-V2.6：Pro 以 AA 46.3 分登顶开源权重第一，全模态输入加 1M 上下文，价格不变。本文讲清四款模型怎么选、两条 API 路线怎么走、缓存命中后单任务…
-
vLLM v0.28.0 上手指南：从 pip install 到 60% 提速，一篇说清 Kimi-K3、DeepSeek V4 与 7 项 Breaking Changes
vLLM v0.28.0（8 月 26 日发布）：584 commit、Kimi-K3 TTFT 升 60%、每 GPU 省 17 GiB、DeepSeek V4 sparse MLA 端到端。本文实…
-
本地部署大模型完全指南（2026版）：Ollama 与 LM Studio 实战对比
前言 曾经，运行大语言模型（LLM）是只有拥有高端显卡和专业服务器的少数人才能做的事。但到了2026年，一切都变了。 随着模型量化技术的成熟和轻量化工具的普及，普通电脑也能本地运行强大的AI模型。无论…
广告