引子
11 月 19 日,前微软亚研院研究员、DeepSeek-VL 负责人张博在 X 上宣布开源 Linger——一个「住在你自己电脑里的个人 Agent」,配套还开源了推理引擎 PolyStrata。仓库第一屏的三句话很有攻击力:一个 125B 参数的模型能塞进 12GB 显卡,本地推理零 token 费,还有一个「Another Me」替你盯邮件、盯日历,主动开口汇报。
九天攒了一千五百多 star,势头是真的。但三句话都少定语:125B 是 2-bit 量化后的 125B;「12GB 显卡」只在 NVIDIA + Linux/Windows 上成立;Mac 用户拿到的是另一套故事。我手上这台 M4 MacBook Pro、16GB 统一内存,正好是官方表格里最入门的那一档——官方文档自己承认,Mac 16GB 档的实测数据来自一台 24GB 的 M6 Mac mini 模拟,不是真机。那我就用真机补上这个空白。
结论先放在前面:桌面应用在我这台机器上打不开(静默退出,原因未明),PolyStrata 引擎能编译、能加载模型,但推理内核在 macOS 26.5.2 上编译失败;换 llama.cpp 跑同一个模型文件,46 tok/s,能用。 这篇就按这个顺序展开,每一步都有命令和数字。
一、Linger 到底是什么
按仓库和文档的说法,Linger 是一套分层的本地栈:Go 写的服务端加 PostgreSQL 管房间和权限,本机一个 Computer Daemon 用出站 WebSocket 连服务端(本机不开端口),Node 写的四个服务管 Agent 生命周期、记忆和 Wiki,最外面是桌面端和一条 112 个命令的 CLI(我从随桌面端打包的命令参考 JSON 里数出来的)。模型可以走本地、走你已有的 Claude Code / Codex 订阅,也可以 BYOK 接自己的 API 端点。
三个最有辨识度的设计:
- 记忆不走向量库。个人 Wiki 是一组有类型的 Markdown 页面(客户、联系人、项目、主题、会议),检索用 PostgreSQL 全文检索,一次查询跑两遍——原话一遍、Agent 自己补的同义措辞一遍(最多六个),倒数排名融合。每条事实都带来源消息,答案里的日期、金额能回到原始资料核对。跨语言检索靠 Agent 自己补译名,这是把 embedding 的活交回给了模型。
- 主动开口有分寸。Another Me 每十分钟轮询邮箱和日历,每个事件判成四档:现在说、准备材料、稍后再跟、不说。晚十点到早八点只记不发,一天最多五条提醒。
- 每晚 Dreaming。夜里读一遍它白天主动发的每条消息和你的反应,同一类反馈出现两次就升级成规则,「供应商发票 → 立即告知」这种。没有微调,产物就是一张很短的规则表。
这套东西和我上周测过的 cognee 不是一类东西:cognee 是 pip 库,管「把文档沉淀成知识图谱」;Linger 是整机产品,从推理到记忆到主动提醒全包了。定位更接近「本地的 Grok Bot」。
二、先装桌面端:装是装上了,然后它没开
桌面版 v0.1.5 于 11 月 19 日发布,macOS arm64 的 dmg 有 458MB。安装流程本身没有难度:
# 下载并校验(SHA256 与官方 SHA256SUMS.txt 一致)
curl -sL -o SHA256SUMS.txt https://github.com/simplexai-labs/linger/releases/download/desktop-v0.1.5/SHA256SUMS.txt
curl -sL -o Linger.dmg https://github.com/simplexai-labs/linger/releases/download/desktop-v0.1.5/Linger-0.1.5-macos-arm64.dmg
shasum -a 256 Linger.dmg
# eed0d224...c15f7bdd Linger.dmg(与清单一致)
hdiutil attach Linger.dmg -nobrowse -quiet
cp -R "/Volumes/Linger 0.1.5/Linger.app" /Applications/
hdiutil detach "/Volumes/Linger 0.1.5" -quiet
xattr -dr com.apple.quarantine /Applications/Linger.app注意 cp -R 的卷名带版本号(我第一下就敲错了路径),xattr -dr com.apple.quarantine 是官方文档给的解法——包还没签名,macOS 会拦第一次启动。
然后是本次实测最大的意外:双击 Linger,它不启动,也不报错。 我用三种方式验证过:open -a 之后进程根本不出现;直接执行主二进制,51 毫秒内退出、退出码 0、零输出;log show 和崩溃报告目录里干干净净,什么都没有。作为对照,同一环境下 TextEdit 用 open -a 正常拉起,所以不是系统全局拦 GUI 应用。Electron 框架本身没坏——ELECTRON_RUN_AS_NODE=1 模式下能跑 JS,版本号是 Electron 44.7.2;主进程代码里唯一的早退路径是单实例锁失败,但从这个 shell 里无法进一步定位。
另一个客观限制:桌面端的 Quick Install 会在本机搭 Linger 服务端,而服务端的另一条路 Docker Compose 需要 Docker——这台机器没装 Docker。所以GUI、Quick Install、Model Autopilot 选模、Wiki 记忆、Another Me 主动提醒,这些全部未实测。官方文档(docs.heylinger.com)写得很细,但我在自己的机器上验证不了,不假装测过。
三、能测的硬核部分:把 PolyStrata 引擎在 M4 上编译出来
桌面端走不通,但 Linger 的技术核心——PolyStrata 推理引擎——是独立开源的(MIT),而且有 Metal 支持,官方文档标注 beta:「只在三台 Mac 上测过:M5 Max 128GB、M4 mini 32GB、M1 Max 34GB」。M4 16GB 没人测过。它的 setup.sh 是自包含的,连 Python 都自带:
git clone --depth 1 https://github.com/simplexai-labs/PolyStrata.git
cd PolyStrata
# 下载模型到本地目录后,用本地文件装(跳过模型下载步骤)
./setup.sh --family lfm25 --model UD-Q3_K_XL --gguf-dir /tmp/linger-lab \
--no-download-models --yes --no-start模型我选了 LFM2.5-24B-A2B 的 UD-Q3_K_XL(10.9GB)——我十月底测过 LFM2.5-24B-A2B,A2B 架构每 token 只激活 2 个专家,当时就留意到它对内存格外友好;setup.py 的模型目录里这个量化明确标着 ram_gb: 16,是 24B 家族里最省内存的档,正好卡在我这台机器的线上。权重从 unsloth 的 HuggingFace 仓库下载,9 分 42 秒拉完 10.9GB,SHA256 与 setup.py 里钉死的校验值逐字一致(这一步别省,坏权重能静默加载,我之前吃过亏)。
setup.sh 全程 4 分 09 秒跑完,中间值得记的细节:
- 它检测到「Apple M4, 16 GB unified memory」后给了两条诚实警告:Metal 引擎是实验性的;「模型加工作内存可能超出这台 Mac 的统一内存」。
- Python 3.12 独立包、llama.cpp 源码、metal-cpp 头文件,全部带 SHA256 校验下载,然后 Ninja 编译。没有 Homebrew 依赖,系统无污染。
四、推理实测:加载成功,第一个 token 就翻车
先说好消息:引擎加载模型只用了 2.4 秒,而且日志揭示了分层存储在这台机器上的真实形态——
strata-poly: 2.6 GiB of RAM free for 9.5 GiB of experts outside VRAM:
they do not fit, so the ones used most stay in RAM
strata-poly: loaded in 1.7 s; 0 of 2432 routed experts in VRAM (0.0 GiB), 4 CPU threads9.5GiB 的路由专家,显存里驻留 0 个,全靠文件缓存流式供给——SSD 分层是真的在跑。
坏消息紧接着来。发第一条消息,服务端返回 400:
MSL compile of poly_quantized: program_source:1382:9: warning:
#pragma once in main file [-Wpragma-once-outside-header]这个报错本身就有坑:Metal 的 API 只把编译日志的第一行吐给应用,而第一行是个无害的 #pragma once 警告,真正的错误信息被系统吞了。我做了这些排除:去掉 --metal-optimize(文档说关掉会走旧内核路径)——同样报错;换 --metal-memory legacy——同样报错;查 Strata 仓库的 issue——没有任何关于 poly_quantized 编译失败的记录,也就是说这可能是第一次有人在 M4 + macOS 26.5.2 上跑到这一步。
处理方式我如实写:没修好。引擎的内核源码是运行时从钉死的 ggml checkout 拼接出来的,没有离线 metal 编译器可以手动复现,Metal API 又不返回完整编译日志。如果你在别的 Mac 上也撞到这个错,值得去上面那个 PolyStrata 仓库提个 issue,把 GPU 型号和 macOS 版本带上——这是官方文档明说的求助方式。
五、换个引擎跑通:llama.cpp 基线,46 tok/s
按 Linger 自己文档的说法,Mac 上跑本地模型实际用的就是 llama.cpp(官方 16GB 档的测试条件里写明「llama.cpp b12167 Metal」)。同一个模型文件,llama.cpp 0.7.0 直接支持 lfm2moe 架构:
llama-server --model /tmp/linger-lab/LFM2.5-24B-A2B-UD-Q3_K_XL.gguf \
--port 8091 --host 127.0.0.1 -c 4096 -ngl 99 --threads 4全部 99 层卸载到 GPU,一次成功。实测数字(temperature=0,OpenAI 兼容接口,官方 timings 口径):
| 场景 | 提示处理 | 生成速度 |
|---|---|---|
| 短提示首问(冷) | 20 tok @ 13 tok/s | 46.2 tok/s |
| 同问重跑(热) | 86 tok/s | 47.2 tok/s |
| 3,985 tok 长提示(热) | 2.2 ms/tok(445 tok/s) | 42.1 tok/s |
冷启动的 13 tok/s 和热的 445 tok/s 差了三十多倍,这就是 16GB 机器流式加载的代价:专家第一次从文件缓存读进来很慢,热了之后飞快。这个「内存不够、磁盘来凑」的路数我之前在 Colibri 的磁盘流式推理里也见过,只是 Colibri 是整机流式,PolyStrata 精细到了专家粒度。生成速度稳定在 42-47 tok/s——作为参照,官方给 16GB Mac 档推荐的是 Spark-X2.6-4B,宣称 33-37 tok/s;我用更大的 24B 模型跑出了更高的数字(A2B 架构占了便宜)。
回答质量抽了一道「你是谁开发的、参数量多少」:LFM2.5 老实回答「我是 LFM,由 Liquid AI 构建,参数量没有具体信息」,不编造。注意它是推理型模型,输出默认先走思考链,OpenAI 接口里答案在 reasoning_content 字段,拿 content 判空会以为它什么都没说——我第一版测试脚本就栽在这。
三个使用上的坑,都来自这次实测:
- 内存压力极大。模型常驻 10.9GB,运行中
memory_pressure显示全系统可用内存只剩 6%。别指望边跑它边开 Xcode。 - 上下文 4096 就是天花板。我第一发长提示直接 400,13,442 字符的文档塞不进去;16GB 机器跑 24B Q3,KV 缓存没有奢侈的空间。
- 冷读取惩罚。冷启动时 4K 提示要等约 5 分钟才能读完,适合挂后台预热,不适合随开随问。
六、谁现在该试,谁先别急
现在就该看的:24GB 以上内存 Mac 的用户。官方表格里 24GB 档给的是 Qwen3.8-27B、评分 51.9(约等于 Claude Opus 4.5 的档位),这才是 Linger 设计的目标人群;32GB 以上再谈日常生产力。已有 Claude Code 或 Codex 订阅的人也可以试它的「订阅接入」路线——本地 Agent 用你已付费的模型,硬件门槛直接消失。
先别急的:16GB 内存的 Mac 用户(桌面端在这种机器上只推荐 4B 小模型,官方自评「日常帮手」档);想把它当稳定工具用的(0.1.5 版本号,我这台机器上 GUI 都没起来);想在生产环境商用的(许可证是 Apache 2.0 加两条附加条件:不许拿源码向第三方提供托管服务,不许删改前端的 logo 和版权信息,商用前读一遍 LICENSE)。
收尾
Linger 赌的是「模型-框架协同设计能把硬件门槛压下来」,方向我是认同的——12GB 显卡跑 125B 的 NVIDIA 路线如果第三方复现成功,确实改变游戏规则。但在我这台 16GB M4 上,它的现状是:桌面产品没打开、新引擎编译过但推理内核翻车、真正能跑的是 llama.cpp 加一个它文档里顺带提到的开源模型。这三件事放在一起看,结论不是「不行」,而是「它比宣传语年轻」。1489 个 star 是社区对方向的投票,不是对成熟度的背书——等它在真 16GB Mac 上被验证过那天,值得再测一次。
实测环境:MacBook Pro M4 / 16GB 统一内存 / macOS 26.5.2;Linger desktop v0.1.5;PolyStrata main 分支(11-20 克隆);llama.cpp 0.7.0 (build 11669);LFM2.5-24B-A2B-UD-Q3_K_XL(SHA256 校验通过)。
未实测(明确标注):Linger 桌面 GUI 与 Quick Install(应用静默退出,原因未定位)、Model Autopilot 选模流程、Wiki 记忆与 Dreaming 机制、Another Me 主动提醒、Docker Compose 服务端部署(本机无 Docker)、NVIDIA 12GB 跑 125B 的核心宣称、LoCoMo 记忆基准的第三方复现。