骁龙平台靠大模型出圈了

　　导语：如今，随着将大模型塞进手机的进程加快，普通用户也能亲自体验生成式AI的魅力了。

　　2023 已经行至尾声，这一年大模型和生成式 AI成为人工智能圈的主流趋势。自ChatGPT 出现以来，各式各样通用、专业的 AI 大模型层出不穷，喷涌之势已经不可阻挡。随着量化、网络剪枝和知识蒸馏等模型压缩技术进步，手机等终端设备AI算力持续增强，大模型在云端部署之外正在向终端落地迈进。

　　对于这场已经拉开了序幕的「终端侧革命」，芯片巨头和手机厂商们成为主力军，他们不断尝试在手机等终端设备上部署运行生成式AI大模型，时不时给人们一点小小的惊喜和震撼。

　　今年2月，我们第一次看到了在手机上运行超过10 亿参数的文生图大模型Stable Diffusion。那是在一部搭载高通第二代骁龙 8移动平台的安卓手机上运行的，不到15秒的时间执行20步推理，生成了一张512×512像素的图像。这也创造了当时智能手机上最快的推理速度。

　　你以为这就是手机运行Stable Diffusion的速度极限了吗?显然不是。在上个月举行的2023骁龙技术峰会上，不到15秒的生成时间又被整整缩短数十倍。高通最新旗舰移动平台第三代骁龙8(以下简称骁龙8 Gen 3)让速度飞升成为可能。

　　在峰会现场，高通用搭载了骁龙 8 Gen 3的手机运行相同的Stable Diffusion大模型，这次不到1秒(0.6秒)的时间便在本地生成了一张图像。从15秒到0.6秒，终端侧生成式AI大模型的进化速度让我们惊叹不已。

　　这只是高通在本届骁龙技术峰会上展示其终端侧AI能力的牛刀小试。除了生成速度(从 15 秒到 0.6秒)有了质的飞跃，骁龙8 Gen 3将支持运行的大模型参数规模(从10亿到百亿)提升一个量级。

　　大模型赋能平台也不再局限于手机，高通下一代 AI PC 芯片骁龙X Elite亮相，将百亿参数大模型「塞进」PC平台，极大拓展了生成式AI应用的广度。

　　至此，高通在终端侧AI领域积累起来的领导力和技术领先性进一步得到加强，更赋予了手机、PC，甚至耳机等厂商更多终端AI落地的想象力和可能性。

　　双平台并进，让生成式AI更加触手可及

　　自今年2月以来，高通先后在搭载第二代骁龙8移动平台的安卓手机上运行Stable Diffusion、ControlNet，让大模型跑在手机端成为现实。此次骁龙峰会上发布的骁龙 8 Gen 3 将大模型终端侧落地的潜力提升到了新的高度，使其自身继续在该领域引领潮流。

　　据了解，骁龙8 Gen 3采用的高通AI引擎拥有面向移动终端的强大Hexagon NPU，集成了升级后的硬件加速单元、微切片推理单元、加强张量、标量和矢量单元，所有单元共享 2 倍带宽的大容量共享内存。同时支持 INT8+INT16的混合精度以及 INT4、INT8、INT16和FP16的所有精度。性能较前代提升98%，能效提升40%。