首页 互联网 > 内容

高通就展示了生成式AI模型Stable Diffusion在第二代骁龙8赋能的智能手机上的运行

时间:2023-11-12 10:30:13 来源:快科技
导读 随着高通新一代旗舰芯片第三代骁龙8发布,以及量产机型如小米14、iQOO 12系列的陆续上市,手机上就可以体验到生成式AI已经成为现实。而生...

随着高通新一代旗舰芯片第三代骁龙8发布,以及量产机型如小米14、iQOO 12系列的陆续上市,手机上就可以体验到生成式AI已经成为现实。

而生成式AI,也将成为性能、能效之外,手机厂商新的赛道。正如高通公司总裁兼CEO安蒙所说:“我们正在进入将改变用户体验的生成式AI时代,也将创造一个移动行业和计算行业的全新周期”。

从云端到终端侧,Hexagon NPU性能到位

AI大模型始发于云端,因为需要庞大的算力和巨量的存储空间,而手机或是PC通过互联网接入。但云端AI或混合式AI都有局限性,例如必须要联网、隐私信息暴露在云端、没有个性化服务等等。

在年初的MWC2023上,高通就展示了生成式AI模型——Stable Diffusion在第二代骁龙8赋能的智能手机上的运行。这个10亿参数的生成式AI模型,可在15秒内执行20步推理,把文字提示生成一张图像。

而在第三代骁龙8平台上,高通AI引擎的核心Hexagon NPU进一步升级了全新的微架构,性能再度提升了98%,能效提升了40%。

Hexagon NPU集成了硬件加速单元,微切片推理单元,性能有加强的张量/标量/矢量单元,同时所有单元共享2倍带宽的大容量共享内存。

另外还集成了更强的高通传感器中枢,拥有2个始终感应ISP、1个DPS、2个micro NPU,拥有增加30%的内存、支持INT4,其AI性能提升达到3.5倍。在此基础上,能够运行高达100亿参数的生成式AI模型,并以20 tokens/s的速度运行大语言模型。

问题来了,这样的AI性能又会带来怎样的体验呢?

手机生成式AI,每一个人都是创意大师

当你需要一张“无中生有”的照片,你只需要在手机上输入你想象的文字。它可以是一个人物,又或是动物,又或是秀丽的风景。你需要做的就是把这个“想象”描述的足够仔细,然后生成式AI能在0.6秒内将这个画面绘制出来。

除了大家熟悉的文生图,AI图生图的玩法也很有意思。高通的合作伙伴慧鲤科技,面向第三代骁龙8 Gen 3开发了一个神经网络,能够重构照片缺失的部分,这一特性被称做“照片扩充”。如果一张照片就是朵花,能由AI“扩充”出一片花海。

高度个性化的AI,始终保护隐私

无论是手机还是平板,这样的贴身智能产品注定它拥有用户大量的数据和隐私。如果使用云端AI,这样个人数据就会被上传到云端。所以在保护数据的前提下,云端AI不可能认识到用户的个人习惯,也就无法提供个性化的服务。

而个性化服务则是终端侧AI先天的优势,基于本地应用数据和用户行为学习,AI可以更精准的进行预测。甚至包括推荐更符合口味的美食,旅行目的地,包括出行的交通工具等。

而这些信息只保留在终端侧AI上,用户的隐私不担心泄露。而昔日需要和云端进行数据交互的APP,也可以将获取信息的入口改到终端侧AI上。从更远的未来来说,云端大数据“监测”用户的情况有可能大大改善。

荣耀手机CEO赵明就在骁龙峰会上演示了由第三代骁龙8赋能的手机上的生成式AI,能够支持在手机上完成主题视频的创作。

荣耀手机从用户的本地媒体库中检索具有相同主题的源材料,例如孩子的户外视频、生日会视频等,AI自动完成视频的编辑,而用户可以通过与AI对话更改背景音乐或模板。

这个场景涉及到手机相册的检索,以及用户家庭关系的隐私,显然并不适合在云端进行操作。实际上视频云端剪辑对网速的要求也极高,而在本地的生成式AI则可以快速并且保护隐私的前提下,完成视频的AI创作。

更高效的AI,生产力拉满

在已经上市的小米14系列上,用户已经可以体验到生成式AI给办公带来的便捷。WPS AI支持输入主题一键生成PPT演示文稿,并且可以提供进一步细化调节功能,解决了用户使用PPT制作难度大、耗时长的办公难题。

面对带有文字的图片或文章,WPS AI可识别文档并自动拍摄,实现“一目十行”扫描阅读,并快速提炼出重点,依据内容以问答的方式让用户获取关键信息。

此外,针对论文、合同、课件等文件,WPS AI通过扫描识别进行翻译、概括、查询定位等,可帮助用户进行全文理解分析和总结,同时提供文档溯源功能,确保准确性、真实性。

生成式AI带来更多想象空间

随着第三代骁龙8手机的陆续开卖,拥有生成式AI能力的手机终端将出现在更多用户的手里。对于刚刚起步的生成式AI来说,手机厂商和开发者的持续发力,将能为用户提供更多的体验。

如果想感受终端侧生成式AI的创意玩法,不妨考虑换一个搭载第三代骁龙8平台的新机。

标签: