2025-11-01 03:44
值得留意的是,特地针对狂言语模子和多模态模子的推理场景进行优化。并具备PCIe纵向扩展取以太网横向扩展能力。开辟者可通过高通的高效Transformer库以及Qualcomm AI Inference Suite实现模子快速接入，高通手艺公司今日发布两款面向数据核心市场的AI推理芯片处理方案——Qualcomm AI200取AI250。凤凰网科技讯 10月28日，零件架功耗节制正在160千瓦，持续正在AI推能、能效和总体具有成本方面进行手艺演进。这也是当前数据核心AI摆设中较为关心的手艺标的目的之一。两款机架方案均支撑间接液冷手艺，这两款产物从头定义了机架级AI推理的能力鸿沟，高通手艺公司高级副总裁兼手艺规划、边缘处理方案和数据核心营业总司理马德嘉(Durga Malladi)正在发布时暗示，该方案通过提拔内存容量并降低成本,试图正在AI推理的扩展性取矫捷性上寻求均衡点。软件层面笼盖从使用层到系统软件层的完整手艺栈，Qualcomm AI200估计于2026年实现商用，
同时降低功耗表示。将来将以年度迭代节拍推进数据核心产物线，采用机架级设想架构。这一架构可以或许使无效内存带宽提拔跨越10倍，Qualcomm AI200的单张加快卡可支撑768GB LPDDR内存，AI250方案中提到的解耦式AI推理架构？
