米乐m6官网米乐m6官网米乐m6官网英特尔通过Gaudi 3转向更注重经济高效的企业级和边缘AI系统领域，与英伟达在云端AI大模型训练方面竞争没有优势。

　　02Gaudi 3 AI加速器定位为有价值产品，是市场上最佳性价比的产品，虽然在性能方面没有追上英伟达最新的GPU。

　　03然而，英特尔认为其Gaudi 3系列在推理方面与英伟达备受欢迎的H100性能相当，尤其是在推理工作负载大幅上升的情况下。

　　04为此，英特尔计划通过跨硬件基础设施、软件平台和应用程序采用开放式生态系统方法来帮助Gaudi 3赢得客户。

　　05与此同时，英特尔还计划在今年晚些时候推出面向企业RAG的英特尔AI，以帮助客户设置基于RAG的AI应用程序。

　　10月18日消息，根据外媒CRN报道称，英特尔已经意识到，在与英伟达（NVIDIA）在云端AI大模型训练方面竞争没有优势，因此正通过Gaudi 3 转向更注重经济高效的企业级和边缘AI系统领域。

　　CRN称，英特尔将旗下最新的Gaudi 3 AI加速器定位为有价值产品，是市场上最佳性价比的产品。虽然从性能角度来看，Gaudi 3 没有追上英伟达最新的GPU，但该芯片也受到了很多企业的关注，因为这些企业需要具有成本效益的 AI 系统进行训练，并在更大程度上推理更小的、基于任务的模型和开源模型。

　　英特尔在上个月就曾宣布，AI加速器芯片是扭亏为盈的关键产品，Gaudi 3 将于 10 月在戴尔科技和超微电脑的服务器中首次亮相。预计Gaudi 3 将在第四季度晚些时候全面上市，比英特尔在 4 月份给出的第三季度上市时间有所延迟。

　　惠普企业预计将在 12 月推出自己的 Gaudi 3 系统。包括联想在内的其他 OEM 的厂商可能也将会推出基于Gaudi 3 的系统。

　　在云方面，Gaudi 3 将于明年初通过 IBM Cloud 上托管的服务提供，并且很快将在 Intel Tiber AI Cloud 上提供，Intel Tiber AI Cloud 是英特尔最近更名的云服务，旨在支持商业应用程序。

　　在最近的一次新闻发布会上，英特尔强调了其围绕 Gaudi 3 的竞争信息，称与 2022 年首次亮相的英伟达H100 GPU 相比，它提供了“性价比优势”，尤其是在推理方面。

　　特别是随着“以推理为中心”的大语言模型（LMM）的推出，英特尔称Gaudi 3系列性能与英伟达备受欢迎的H100性能相当，尤其是在推理工作负载大幅上升的情况下。根据英特尔计算，在80亿参数的Llama 3模型中，Gaudi 3比H100快约9%，性价比高80%；在Llama 2模型中，Gaudi 3速度要高19%，性价比差异则高达2倍，确实令人印象深刻。

　　虽然英特尔Gaudi 3在这两项LLM测试表现优于英伟达H100和H200，但在FB16和FP8格式的浮点运算的测试中，表现仍不如H100。Gaudi 3 可以针对每种格式执行每秒 1835 万亿次浮点运算 （TFLOPS），而 H100 的 BF16 可以达到 1979 TFLOPS，FP8 可以达到 3958 TFLOPS。

　　这也表明，英特尔AI芯片在计算力方面仍然存在不足，更何况英伟达新一代更强的Blackwell GPU即将上市，还有AMD等人工智能计算领域的强有力的竞争对手的竞争。AMD上涨宣布，其即将推出的 Instinct MI325X GPU 在推理工作负载方面的性能可以超过英伟达的 H200，并誓言其下一代 MI350 芯片将性能提高一个数量级。

　　因此，英特尔决定不参与主流的AI模型训练市场竞争，不打算在该领域与英伟达的GPU正面交锋。

　　在接受 CRN 采访时，英特尔 AI 加速部门负责人 Anil Nanduri 表示，到目前为止，围绕训练 AI 模型的基础设施的购买决策主要基于性能而不是成本，这一趋势在很大程度上使英伟达受益，它使该公司能够在 AI 开发人员中建立起强大的生态。反过来看，开发人员对英伟达的全套技术进行了大量投资，以构建他们的应用程序，从而也提高了他们将开发转移到另一个平台的难度和成本。

　　“如果你在那个背景下思考，就会发现一个现有的好处，即所有的前沿模型研究、所有功能都是在事实上的平台上开发的，你正在构建它，你正在研究它，你本质上也在潜意识中优化它。然后使该端口转移到 不同的平台 是一项工作。”Nanduri 说。

　　至少目前，像 Meta 和 Microsoft 这样的超大规模企业在超强大的 AI 数据中心基础设施上投入大量资金以推动尖端功能，而无需立即产生利润，这可能是有意义的。例如米乐m6官网，据 CNBC 和其他出版物上个月报道，OpenAI今年的收入为 36 亿美元，预计今年将产生 50 亿美元的亏损，其中一部分与服务有关。

　　但许多企业负担不起此类投资并接受此类损失。Nanduri 称，他们可能也不需要大规模的 AI 模型来回答远远超出其关注领域的主题的问题。“我们开始看到的世界是，人们正在质疑 投资回报、成本、电力和其他一切。但我们认为，客户真的想要一个无所不知的巨型模型吗？”Nanduri 说。

　　Nanduri 认为，对于许多企业来说，答案是否定的，他们会将选择更小、基于特定任务的模型，这些模型具有更轻的性能需求。虽然从正面性能的角度来看，Gaudi 3 “没有赶上”英伟达的最新 GPU，但加速器芯片非常适合为代表企业运行基于任务的模型和开源模型提供更具经济效益的系统，而这正是英特尔的“传统优势”所在。

　　“对于我们有很多牢固关系的企业来说，他们并不是 AI 的第一批快速采用者。他们实际上对如何部署都非常深思熟虑。所以我认为这就是促使我们评估产品市场契合度以及我们的客户群的原因，我们传统上在这些领域有着牢固的关系。”他说。

　　今年年初成为英特尔数据中心和人工智能集团负责人的 前HPE 资深人士贾斯汀·霍塔德 （Justin Hotard） 表示，他和其他领导者在听到企业客户想要更经济的人工智能系统后确定了这一战略，这有助于让英特尔相信此类产品可能有很大的市场。

　　“我们觉得我们在产品方面所处的位置、参与的客户、我们正在解决的问题，这就是我们的赛道。可以肯定的是，市场将在那个领域开放，并且会有一群人构建自己的推理解决方案，”他在新闻发布会上回答 CRN 的问题时说。

　　在今年 8 月的一次金融会议上，英特尔CEO帕特·基辛格也承认，该公司不会“很快与高端AI训练竞争”，其竞争对手已经“遥遥领先”，因此英特尔将押注于企业和边缘的 AI 部署。

　　“如今，70% 的计算是在云中完成的。80% 以上的数据仍保留在本地或由企业控制。仔细想想，这是一个非常鲜明的对比。因此，任务关键型业务数据已经到此为止，对 AI 的所有热情都已到此为止。我会争辩说，过去 25 年的云数据还没有转移到云中，我也不认为它会转移到云中，”他在德意志银行分析师会议上这样说道。

　　英特尔还希望通过跨硬件基础设施、软件平台和应用程序采用开放式生态系统方法来帮助 Gaudi 3 赢得客户。英特尔的高管们表示，这与英伟达的“围墙花园”战略形成鲜明对比。

　　英特尔数据中心和人工智能事业部产品管理副总裁 Saurabh Kulkarni表示，客户和合作伙伴可以选择将 Gaudi 3 从一个具有 8 个加速器芯片的系统扩展到一个具有 8000 多个芯片的 1024 节点集群，中间有多个配置选项，所有这些都意味着不同的性能水平。

　　他说，为了实现硬件生态系统，英特尔正在通过为 OEM 提供参考架构和设计来降低使用门槛，“然后可以将其用作我们的客户以模块化方式复制和构建基础设施的蓝图”。

　　这些参考架构将由各种开放标准提供支持，从用于连接的以太网和 PCIe 到用于分布式存储的 DAOS 和用于编程的 SYCL，英特尔表示这有助于防止供应商锁定。

　　在软件方面，英特尔高管 Bill Pearson 表示，该公司的开放方法意味着合作伙伴和客户可以从不同供应商的各种工具中进行选择，以满足 AI 系统的各种软件需求。他将此与英伟达的方法进行了对比，后者创建了许多仅适用于英伟达自己GPU的工具。

　　“我们不是创建客户或开发人员可能需要的所有工具，而是依靠我们的生态系统合作伙伴来做到这一点。我们与他们合作，然后帮助客户选择对他们的特定企业有意义的产品。”英特尔数据中心和 AI 集团软件副总裁 Pearson 说。

　　这种开放式生态系统软件方法的一个关键方面是企业 AI 开放平台 （OPEA），该组织于今年早些时候在 Linux 基金会下成立，旨在作为可用于 AI 系统的微服务的基础。该小组的成员包括 AMD、英特尔 和 Rivos 等芯片公司，以及各种软件提供商，包括 VMware 和 Red Hat 等虚拟化提供商，以及 Domino、Clarifai 和 Intel 支持的 Articul8 等 AI 和机器学习平台。

　　“当我们研究如何利用这些微服务实施解决方案时，堆栈的每个组件都有多个产品/服务，因此您需要非常具体地说明什么最适合您的产品/服务。你有偏好吗？它是采购协议吗？这是技术偏好吗？有关系偏好吗？”

　　“然后客户可以选择对他们的业务有意义的部分、组件和成分米乐m6官网。对我来说，这是我们开放式生态系统最好的一点，就是我们不会把答案交给你。相反，我们为您提供工具，让您选择最佳答案，“他补充道。

　　英特尔面向 AI 系统的软件方法的关键是专注于检索增强生成 （RAG），它允许 LLM 对专有企业数据执行查询，而无需微调或重新训练这些模型。

　　“这最终使组织能够更快、更经济高效地定制和启动 GenAI 应用程序，”Pearson 说。

　　为了帮助客户设置基于 RAG 的 AI 应用程序，英特尔计划在今年晚些时候推出面向企业 RAG 的英特尔 AI，这是由英特尔和第三方开发的解决方案目录，将于今年年底前首次亮相。这些解决方案适用于从代码生成和代码转换到内容摘要和问答等各种使用案例。

　　Pearson 表示，英特尔“具有独特的优势”，可以利用英特尔和合作伙伴开发的技术解决企业在部署基于 RAG 的人工智能基础设施时面临的挑战，这些技术从配备 OEM 的 Gaudi 和 Xeon 芯片的经过验证的服务器开始，包括软件优化、矢量数据库和嵌入模型、管理和编排软件、OPEA 微服务和 RAG 软件。

　　“所有这些都使企业客户能够轻松实施基于英特尔 AI for Enterprise RAG 的解决方案，”他说。

　　在上周接受 CRN 采访时，英特尔公司副总裁兼美洲销售组织和全球客户总经理 Greg Ernst 表示，渠道合作伙伴对于将基于 Gaudi 3 的系统送到客户手中至关重要。

　　Ernst 表示，为了让英特尔达到这一点，这家芯片制造商需要 Gaudi 3 获得服务器供应商的广泛支持，“像 World Wide Technology 这样的合作伙伴可以真正团结起来”。他补充说，英特尔”与合作伙伴一起在如何销售产品和实施产品支持方面做了大量学习”。

　　IBM Cloud 产品和行业平台总经理 Rohit Badlaney 告诉 CRN，该公司的“构建”独立软件供应商 （ISV） 合作伙伴、增值分销商和全球系统集成商是 IBM 计划销售基于 Gaudi 3 的云服务的三种主要方式，这些服务将主要围绕其 Watson AI 平台。

　　“我们有一个完整的销售生态系统团队，他们将专注于构建 ISV，包括嵌入和构建我们的 Watson 平台，现在我们的 Red Hat 开发人员堆栈正在进行同样的努力，”他在上个月的英特尔新闻发布会上说。

　　Badlaney 表示，IBM Cloud 已经测试了英特尔对 Gaudi 3 的“性价比优势”声明，并对他们的发现印象深刻。

　　“当我们查看 Gaudi 3 的功能时，特别是我们的 watsonx 数据和 AI 平台，从成本效益的角度来看，它在我们的测试中确实与众不同。因此，我们将将其应用于的第一组用例是围绕我们自己的品牌模型和我们看到的其他一些模型进行推理，“他说。

　　戴尔企业战略高级副总裁 Vivek Mohindra 表示，通过将 Gaudi 3 纳入其 PowerEdge XE9680 产品组合，他的公司为合作伙伴和客户提供了替代采用英特尔竞争对手加速器芯片的系统的机会。他补充说，戴尔用于管理高性能计算和 AI 工作负载的 Omnia 软件与 OPEA 微服务配合良好，为企业提供了一个部署新基础设施的“简单按钮”。

　　他在英特尔的新闻发布会上说：“它也为客户提供了一个选择，然后在软件上，我们的 Omnia 堆栈可以与 [英特尔的] OPA 互操作，这为客户提供了相对容易地采用和扩展它的巨大能力。”

　　总部位于伊利诺伊州诺斯布鲁克的系统集成商 International Computer Concepts 的首席技术官 Alexey Stolyar 告诉 CRN，他的公司开始围绕 Gaudi 3 进行高级培训课程，他可以看到需要由此类芯片实现经济高效的 AI 系统，这主要是因为训练或微调大型模型需要多少功率。

　　“你会发现，世界上很多地方都将关注比这些巨大的模型更小、更高效、更精确的模型。大型企业擅长一般任务，但不擅长非常具体的任务。企业将开始开发自己的模型或微调特定的开源模型，但它们将变得更小，效率更高，“他说。

　　Stolyar 说，虽然 International Computer Concepts 尚未开始主动与客户讨论 Gaudi 3 系统，但一位客户已经与他的公司接洽，为客户计划针对特定工作负载销售的交钥匙设备开发 Gaudi 3 系统，因为基准测试表明该芯片表现良好。

　　然而，这位解决方案提供商高管也指出，他不确定 Gaudi 3 代表着多大的机会，并补充说，英特尔的成功将在很大程度上取决于 Gaudi 3 系统相对于由英伟达芯片和软件提供支持的系统易用性。

　　“我认为客户想要其他选择。我认为拥有良好的竞争是好的，但在这种易用性出现之前，它不会发生。英伟达已经这样做了一段时间。他们一直在那个生态系统中微调他们的软件包等，“他说。

　　一家解决方案提供商的一位高级领导告诉 CRN，他的公司与英特尔代表的对话给他的印象是，这家芯片制造商并不寻求与英伟达正面交锋，而是希望赢得 AI 市场的一定“百分比”。

　　“他们一直在谈论 Gaudi 3 很长一段时间：嘿，这将是我们的目标。我们要竞争。但我认为他们也带着一些温和的期望进来。比如，让我们在这个市场中竞争。我们本身不会与英伟达正面交锋，但我们可以解决其中的一些问题并为客户提供选择。让我们挑选出五个客户，去和他们谈谈，”这位不愿透露姓名的高管说，他要求坦率地谈论他与英特尔的合作。

　　这位解决方案提供商负责人表示，他确实认为像由 Gaudi 3 提供支持的具有成本效益的 AI 系统可能会有市场，因为他从客户那里听说，他们越来越意识到高昂的 AI 基础设施成本。

　　“从某种程度上讲，当你采取这种方法时，你承认别人已经赢了。但如果它做到了别人没有做到的这些事情（高性价比），你不考虑它就是个傻瓜，因为它会为你节省金钱、电力和其他一切。但这不是一种接管世界的策略，“他说。