AI 硬件初创公司 Cerebras 创建了一种新的 AI 推理解决方案，该解决方案可能会与 Nvidia 为企业提供的 GPU 产品相媲美。

Cerebras 推理工具基于该公司的晶圆级引擎，有望提供惊人的性能。据消息人士称，该工具在 Llama 3.1 8B 中实现了每秒 1,800 个令牌的速度，在 Llama 3.1 70B 中实现了每秒 450 个令牌的速度。Cerebras 声称，这些速度不仅比 Nvidia GPU 生成这些系统所需的通常超大规模云产品更快，而且也更具成本效益。

正如 Gartner 分析师 Arun Chandrasekaran 所说，这是进入生成式 AI 市场的重大转变。虽然这个市场的重点以前是训练，但现在它正在转向推理的成本和速度。这种转变是由于企业环境中 AI 用例的增长，并为 Cerebras 等 AI 产品和服务供应商提供了根据性能进行竞争的绝佳机会。

正如 Artificial Analysis 的联合创始人兼首席执行官 Micah Hill-Smith 所说，Cerebras 在其 AI 推理基准测试中确实大放异彩。该公司在 Llama 3.1 8B 上的测量结果达到每秒超过 1,800 个输出令牌，在 Llama 3.1 70B 上的输出超过每秒 446 个输出令牌。通过这种方式，他们在这两个基准中都创造了新的记录。

Cerebras 推出了 AI 推理工具，速度提高了 20 倍，而 GPU 成本仅为 GPU 的一小部分。

然而，尽管具有潜在的性能优势，但 Cerebras 在企业市场中仍面临重大挑战。英伟达的软件和硬件堆栈在行业中占据主导地位，并被企业广泛采用。Futurum Group 的分析师 David Nicholson 指出，虽然 Cerebras 的晶圆级系统可以以比 Nvidia 更低的成本提供高性能，但关键问题是企业是否愿意调整其工程流程以使用 Cerebras 的系统。

Nvidia 和 Cerebras 等替代品之间的选择取决于几个因素，包括运营规模和可用资金。较小的公司可能会选择 Nvidia，因为它提供已经建立的解决方案。同时，拥有更多资本的大型企业可能会选择后者来提高效率并节省成本。

随着 AI 硬件市场的不断发展，Cerebras 还将面临来自专业云提供商、Microsoft、AWS 和 Google 等超大规模提供商以及 Groq 等专业推理提供商的竞争。性能、成本和易于实施之间的平衡可能会影响企业采用新推理技术的决策。

高速 AI 推理的出现，每秒能够超过 1000 个令牌，相当于宽带互联网的发展，这可能为 AI 应用打开新的领域。Cerebras 的 16 位精度和更快的推理能力可能支持创建未来的 AI 应用程序，其中整个 AI 代理必须快速、重复和实时运行。

随着 AI 领域的发展，AI 推理硬件的市场也在不断扩大。该细分市场约占整个 AI 硬件市场的 40%，在更广泛的 AI 硬件行业中，该细分市场正成为一个越来越有利可图的目标。鉴于更知名的公司占据了这一细分市场的大部分，考虑到竞争性质和驾驭企业领域所需的大量资源，许多新来者应该仔细考虑这一竞争格局的重要方面。