NPU，大有可为

公众号记得加星标，第一时间看推送不会错过。

随着人工智能推理市场的扩张，全球大型科技公司正在减少对 GPU的依赖。他们正在寻找价格昂贵、发热高的 GPU 的下一代替代方案。神经处理单元 (NPU) 就是一个新兴的替代方案，它是一款专门用于人工智能推理的芯片。这种专为人工智能计算而设计的架构能够实现低功耗下的高效率。

据业内人士28日透露，全球AI推理市场预计将快速增长。市场调查公司Markets and Markets预测，今年推理市场规模将达到约106亿美元，到2030年将增长至约255亿美元(约合35.598万亿韩元)，年均增长率约为19%。

因此，推理NPU市场预计也将增长。这是因为多样化的AI应用需要更高的推理吞吐量、更低的延迟和更高的能效，而推理NPU最适合满足这些需求。

Samil PwC管理研究所在报告中分析称，“在AI使用的半导体中，CPU和GPU市场已经进入技术成熟阶段，以优化的低功耗、高效率ASIC为中心的推理型AI半导体(NPU)市场正在增长。”

NPU 市场中尤为突出的公司是 Sambanova 和 Grok，两家都是美国初创公司。

首先，Sambanova 将其基于数据流架构的 NPU 与专有软件集成，涵盖超大型语言模型 的训练和推理。通过将硬件与模型和平台捆绑在一起，Sambanova 获得了包括美国政府和金融机构在内的主要客户。无论在行业内外，该公司都以构建自己的生态系统而闻名。

Grok 量产专为推理设计的芯片。它使用专有芯片和软件，实现了数百万个令牌的实时推理速度，其商业模式是基于云的“LLM 服务”。它被认为适用于大型数据中心的高速搜索和 RAG服务。它的收入来自云推理服务，而非硬件销售。

业内外人士认为，AI半导体企业要参与全球竞争，必须聚焦两大战略。

首先，必须确保在能效方面取得明显优势。数据中心的功耗和运营成本正日益成为人工智能应用的最大障碍，因此，效率直接转化为竞争力。

第二，瞄准定制化市场。像英伟达这样的通用GPU想要统治所有领域，现实难度很大。更现实的策略是，通过针对电信、公共机构、金融和国防等特定行业定制“推理型NPU”，拓展到特定行业。

今天是《半导体行业观察》为您分享的第4139期内容，欢迎关注。

加星标第一时间看推送，小号防走丢

求推荐