标签： 大模型
-
colibri 实测：大模型不装内存、改「摆放」，我在 16GB M4 上摸清了它的真实边界
GitHub 46,000 star 的纯 C 推理引擎 colibri，把 744B 大模型的专家权重留在磁盘、按 token 流式读取。我在 16GB M4 Mac 上实测：规划器裁决显示内存下限…
-
百度开源 Unlimited OCR 2 实测：一次读完 3600 页的 OCR，我在 16GB MacBook 上把它跑通了，多页模式有个数字坑
百度 10 月 27 日开源的 Unlimited OCR 2 把文档解析上限推到「无限页」。本文用官方 Space 和 16GB MacBook 各实测一遍：单页 19 秒输出带坐标的结构化 Mar…
-
LFM3 实测：六款 2B 级模型共用一个骨干，16GB Mac 上我跑通了文本、视觉、音频和决策
Liquid AI 的 LFM3 把文本、视觉、音频、决策塞进 1.7B 骨干，六款权重各 1.1GB。我在 M4/16GB 上编译 llama.cpp master 跑了四款：文本 65 tok/s…
-
Hob 实测：开源离线 AI 桌面端，16GB Mac 上它替我挑了 5GB 模型，预测 35 tok/s 实测只有 27
Hob 是 10 月 26 日开源的本地 AI 桌面端，不选模型、不要账号，装完先扫你的机器。我把它的选型代码抽出来，在 16GB M4 上跑出它给的答案：推荐 Gemma 4 E4B、预测 35 t…
-
讯飞开源 Spark-X2.6-4B 实测：3.3GB 权重跑进 16GB MacBook，三档思考的坑我先替你踩了
讯飞 10 月 22 日开源 Spark-X2.6-4B 端侧模型，Apache 2.0、Q4_K_M 权重仅 3.3GB。我在 16GB MacBook 上用 llama.cpp 实测：3.4 秒加…
-
小米开源 Xiaomi-Lens-0 实测：4B 模型边说边「指」，我用官方 Space 跑通了第一例，也踩了两个额度坑
小米 SeerRay-Lab 开源的 Xiaomi-Lens-0 基于 Qwen3.5-4B，边生成回答边输出像素级分割掩码，Apache 2.0 共 9.2GB 权重。本文用官方 Space API…
-
Superwhisper 开源 S1-mini 实测：462MB 小模型把 ASR 乱稿洗成正式文稿，我在 Mac 上跑了一遍
Superwhisper 开源的 S1-mini 基于 Qwen3-0.6B 微调，专做 ASR 文稿清洗，量化后仅 462MB。本文在 Apple M4 上用 llama.cpp 实测 7 组用例：…
-
LFM2.5-24B-A2B 实测：激活只有 2B 的 24B 端侧模型，我在 16GB MacBook 上踩了一遍内存坑
Liquid AI 开源的 LFM2.5-24B-A2B 是 24B 总参、每 token 只激活 2B 的端侧 Agent 模型。本文在 16GB 内存 Apple M4 上用 llama.cpp …
-
Google 把 5 个嵌入模型压成一个 740M：EmbeddingGemma 2 本地实测，我踩了三个坑才跑通
Google 开源多模态嵌入模型 EmbeddingGemma 2：740M 参数把文本、代码、图像、音频、视频压进同一个 768 维空间，Apache 2.0 可商用。本文在 Apple M4 上完…
-
JetBrains 开源 Mellum2.1 实测：SWE-bench 从 2 分涨到 47 分的 12B 编程 Agent 模型，M4 上 7.5GB 就能跑
JetBrains 10 月 8 日开源的 Mellum2.1 是 12B 总参、每 token 只激活 2.5B 的编程 Agent 模型，SWE-bench Verified 从 2.0 涨到 4…
广告