人工智能的隐藏存储费用：推理留下了什么

如果让大多数高管想象一下人工智能的成本，他们很可能会看到 GPU（具有千兆瓦功率的加速器机架）和硅的候补名单。但这张图遗漏了一些东西：数据存储成本。模型响应后数据会发生什么？从数十亿条日常提示、图像和视频中生成的大部分后端数据都需要存储。但数据存储是最难规划的基础设施成本之一，并且在最初的人工智能基础设施规划中经常被忽视。传统上，人工智能基础设施的讨论主要集中在训练模型的计算密集型过程上。训练是有限的：运行开始，消耗计算，然后结束。但每次模型回答提示时，推理都会持续运行。对于基础设施规划来说，这种差异很重要：培训运行是一个您可以预算并退休的项目。推理并没有退休；每个推理请求都会留下一些东西。拍摄人工智能生成的视频。在此工作负载中，后端支出可能会很大。根据内部测量，WD 发现一个 8 秒的剪辑（作为 3.97MB 720p 文件返回给用户）在后端留下了超过 500MB 的相关数据，包括日志、缓存的上下文、即时渲染、备份和安全记录。这比用户看到的输出文件大小增加了 130 倍。将其扩展到生成更长、更高分辨率视频的企业，后端占用空间将增长到每个剪辑数百 GB。而且后端足迹正在快速增长。麦肯锡预计，到 2030 年，人工智能推理需求将以 35% 的复合年增长率增长，而培训的复合年增长率为 22%，到本世纪末，人工智能推理需求将占数据中心总需求的 40% 以上。最近由 WD 赞助的 IDC 全球白皮书对 763 名 IT 和业务决策者进行了调查，结果发现，近 95% 的受访者表示，在过去 12 个月中，由于生成式 AI，数据量有所增加，其中约 61% 的受访者表示数据量增长了 25% 或更多。报告中援引一家超大规模云服务提供商的高级产品经理表示：“你可以将更多存储视为保持 GPU 繁忙的优化方式。” “最大的挑战是确保 GPU 不处于空闲状态，等待数据显示——几个小时的 GPU 空闲时间变得非常昂贵、非常快。”