当前位置:数据分析 > 高通徐瀚谈混合AI优势:加速AI向所有人普及,5G是桥梁

高通徐瀚谈混合AI优势:加速AI向所有人普及,5G是桥梁

  • 发布:2023-09-30 06:30

  在2023年中国国际服务贸易交易会成果发布会上,高通发布白皮书——《混合AI是AI的未来》,系统梳理了解AI发展及应用趋势。高通中国区研发负责人徐浩博士在发布会上致辞,详细阐述了混合AI的领先优势,同时也指出了5G在混合AI中的衔接作用。

  博士。徐浩介绍了混合AI的概念,混合AI是包括云、边云、终端的统一架构。需要巨大计算能力和海量数据资源的大规模AI模型训练仍然在云端进行。推理计算可以部分转移到终端侧。如果终端侧的算力无法完成,则会通过5G等网络推送到云端,计算完毕后再推送回终端。混合AI架构可以很好地协调终端和云端的资源分配,最大限度地发挥AI能力。

  他引用了计算机发展的历史,预言AI也会有这样的趋势。计算机最初是专用的大型设备,然后发展为个人使用的个人电脑,然后发展为便携式笔记本电脑,最后发展为便携式智能手机。这个过程就是慢慢进化大型计算机过去能做的事情,让它更贴近每个人。同样,终端侧的AI算力也会越来越强,功能越来越多,各种AI功能也会逐渐从云端转移到个人身上。他在演讲中展示了高通的一个案例。今年年初,高通实现了首款在 Android 手机上运行的 Stable Diffusion。这是一个规模达10亿个参数的生成式AI模型。之前只能在PC设备上运行。这次高通的运行设备是未联网的高通骁龙8Gen2 5G手机。它可以在15秒内完成20步推理。 ,根据用户的自然语言输入生成图像。徐浩还解释了终端侧AI取代云推理的根本原因之一。生成式AI每次对话的成本是之前搜索引擎的10倍。当成千上万的用户使用时,会产生巨大的算力成本。这时,终端侧AI可以节省大量的计算成本,从而加速AI的普及。

  徐浩列举了一组数据,介绍了高通在普及终端侧AI方面的优势。高通自2007年开始投入AI研发,不断为高通AI引擎添加最新的AI算法和能力,目前已发展成为第八代高通AI引擎。全球有数十亿台高通 Snapdragon 设备,并且每年以数亿台的速度持续增长。高通还提供了一个综合平台,简化了终端侧运行AI的软件和算法。海量的硬件和优秀的软件生态将使人工智能普及到更多人。

相关文章