导读 在即将于1月举行的2024年消费电子展(CES)上,备受瞩目的创新奖被一家韩国初创公司凭借其人工智能加速器斩获。Panmnesia基于ComputeExpressL...
在即将于1月举行的2024年消费电子展(CES)上,备受瞩目的创新奖被一家韩国初创公司凭借其人工智能加速器斩获。
Panmnesia基于ComputeExpressLink(CXL)3.0技术构建了AI加速器设备,该技术允许与主机共享外部内存池以及CPU等组件,从而可以转换为近乎无限的内存容量。这要归功于将CXL3.0控制器集成到加速器芯片中。
CXL用于连接系统设备,包括加速器、内存扩展器、处理器和交换机。通过使用CXL交换机连接多个加速器和内存扩展器,该技术可以为人工智能应用的密集型系统提供足够的内存。
在此类设备中使用CXL2.0将允许特定主机访问池化外部内存的专用部分,而最新一代允许主机在需要时访问整个池。
Panmesia创始人兼首席执行官MyoungsooJung在一份声明中表示:“我们相信我们的CXL技术将成为下一代人工智能加速系统的基石。”
“我们仍然致力于不仅为人工智能加速系统带来革命性的变革,而且还致力于为数据中心、云计算和高性能计算等其他通用环境带来变革。”
Panmnesia的技术工作原理类似于服务器集群共享外部SSD来存储数据的方式,对于服务器特别有用,因为它们经常需要访问内置内存中可以保存的更多数据。
该设备专为大规模人工智能应用而构建,其创建者声称,它执行基于人工智能的搜索功能的速度比传统服务快101倍,传统服务使用SSD存储数据并通过网络连接。该架构还最大限度地降低了能源成本和运营支出。
如果与其他供应商的硬件一起用于OpenAI等公司用来托管其大型语言模型(LLM)(例如ChatGPT)的服务器配置中,它可能会大大提高这些模型的性能。