学习使用本地人工智能是令人兴奋、不知所措和令人沮丧的
真正值得关注的不是这条新闻本身，而是它可能把「电脑」的竞争焦点推向更大范围的连锁反应。
原文链接：https://www.theverge.com/ai-artificial-intelligence/1008484/learning-local-ai-hermes-qwen-model-mac-studio-testing-diary-progress
我正在踏上迄今为止一直犹豫要不要继续的旅程：实际常规地使用人工智能。将我最个人的数据提供给云服务一直是我的一个主要障碍，但越来越有可能在本地运行强大的模型来看看它们的能力。这项技术是否如此有用，以至于值得在一台拥有大量高价内存的电脑或笔记本电脑上投入大量金钱？我会尽力帮助你找到答案。我不是人工智能专家，这对我来说将是一次旅程，但也许我可以帮助你看看这段旅程是否值得——我会发布我的经历。
Apple 宣传其新 Mac 台式机的一个重要部分是它们对本地 AI 的支持程度，并且一整套新的 RTX Spark Windows 机器即将上市，内存高达 128GB，旨在使用代理 AI。本地人工智能和代理现在非常热门。但是，说实话，让一个小跑腿只住在我桌子上的盒子里，只对我负责，而不是来自 OpenAI、谷歌、微软或 Anthropic 的霸主，这一想法与信任云服务或订阅聊天机器人有点不同。别误会我的意思，我仍然不可能让它为我写作、编辑或生成丑陋的传单。但现在，有了一些隐私，也许我终于可以想到有用的忙碌工作来“信任”它了。因此，作为我正在进行的 M5 Ultra Mac Studio 测试以及在其他 Mac 和 Windows 系统上进行实验的一部分，我安装了一些本地 LLM，并开始进行修补。事情是这样的。我首先在 Mac Studio 上安装开源 Hermes Agent。
Hermes 是一款自托管 AI 代理桌面应用程序，可在 macOS、Windows 和 Linux 上运行。如果您坚持就读当地的大语言模型，它是完全免费的。由于这款 M5 Ultra Mac Studio 具有 256GB 统一内存，因此我可以运行几乎任何我想要的模型。这就是事情很快变得难以承受的原因。那里的模型多得我数不过来，有些还有专门的用途。一般来说，具有数十亿个参数的模型能够比只有数十亿个参数的较小模型做得更多。由于我们在本地运行模型时不必担心支付代币费用，所以我想我会大手笔开始。使用 Hermes 简单的入门界面和模型选择器，我选择了 Qwen 3.8 Flash Next 模型 - 一个 1250 亿个参数的模型，大小约为 105GB。