数码 · 新闻详情
显示 HN：在任何 M 系列 Mac 上运行 Gemma 4 26B、2 GB RAM 的开源引擎
真正值得关注的不是这条新闻本身，而是它可能把「手机」的竞争焦点推向更大范围的连锁反应。
发生了什么：您好，HN，我构建了一个专门的推理引擎，用于在任何使用大约 2 GB RAM 的 M 系列 Mac 上运行 4 位 Gemma 4 26B-A4B-IT。
为什么重要：它提示了一个值得继续跟踪的变化方向。
观察窗口：接下来观察它是否会引发更多同类动作，以及影响范围能否扩大。
正文来源：非原文：源网页正文翻译后疑似样式/导航噪声，以下为已有摘要与自动整理内容
原文链接：https://github.com/drumih/turbo-fieldfare
原文链接：https://github.com/drumih/turbo-fieldfare
您好，HN，我构建了一个专门的推理引擎，用于在任何使用大约 2 GB RAM 的 M 系列 Mac 上运行 4 位 Gemma 4 26B-A4B-IT。
它被称为 TurboFieldfare，是用 Swift 和 Metal 编写的。
我一直很喜欢设备上的人工智能。
您可以在 Mac 或 iPhone 上运行强大的神经网络，这感觉就像魔法一样。
所以我想稍微突破一下极限，运行一个权重无法放入内存的模型。
该模型的 4 位量化权重占用大约 14 GB，这使得使用传统的推理工具运行它
机器翻译/自动整理可能存在误差，请以原文为准。
继续阅读
正在加载推荐…