奇谱科技 奇谱科技

CHIP奇谱
关注产品与技术 分享体验与新知
广告

艺多不压身——AI PC商务应用游刃有余

作者:原创

AI PC能做什么?AI PC元年,应用生态准备好了吗?AI会否成为下一代PC的标配?这一系列问题在AI PC刚发布时还都是问题,而今天,随着一系列商业应用的AI化,答案呼之欲出。


关于AI应用的共识,产业界早已达成。而2022年底开始爆发的AIGC应用,更是调动起每个个体对AI前景的期待。从云端到边端,不同类型的设备提供着不同类型的AI应用,而对个人用户来说,手机与PC,特别是后者,AI应用场景更加丰富。

与相对分散的消费类应用不同,面向商用领域应用与设备,在应用可靠性、功能完整性以及软硬件平台兼容性上的要求更高。随着面向商用领域的AI PC硬件产品与商业应用于3月正式发布,有关性能与功能的较量,进一步蔓延开来。

高效能的硬件架构



无论是英特尔、AMD、高通还是苹果,其AI PC产品均最先以具有轻薄外形、长电池续航能力的笔记本电脑最先示人。与强调“高性能”的云端AI计算能力有着显著差异的是,他们无不采用CPU+GPU+NPU的多硬件加速器架构,分别面向“性能并行和吞吐量(GPU)”、“快速响应(CPU)”和“专用低功耗(NPU)”等3类不同AI计算特质而提供讲求能效比的硬件加速能力。


然而,即便是类似甚至同样的AI商业应用,在类似甚至同样的xPU架构平台上,有着类似或者同样的“算力(TOPS)”,AI PC的实际应用表现却相去甚远。以IA平台上的酷睿Ultra和锐龙8040为例,前者全系列已推出12款产品(最新推出的入门产品Core Ultra 5-115U未出现在上表中),全部集成有NPU,且硬件规格均为4核1.4GHz,同时这些产品全部通过了vPro认证,AI算力不仅能够服务消费级应用,同时满足商业使用环境对安全、管理以及ISV兼容性的要求。

其他性能方面,酷睿Ultra家族产品提供9W、15W、28W和45W等4个基本功耗级别,P Core、E Core与LP E Core 三丛处理器核心架构组合灵活,提供10~22线程的并行计算能力;Arc核显Xe核心数量、运行频率也有多种组合。酷睿Ultra产品的总体格局偏向轻薄产品,从掌机到移动工作站均可覆盖,CPU、GPU与NPU功能是现在芯片的不同tile上,架构与散热都不会相互干扰,全新的NPU能更好的发挥功用。


实际上,支持Ryzen AI的锐龙处理器不止8040系列,还有上代移动平台产品7040以及与8040同源的桌面APU产品8000G。只是,虽然AMD列出了19款相关产品,但是面向商用市场的Ryzen PRO产品只有存在于7040系列;8040系列,也就是内嵌NPU的Ryzen PRO还是将来时。


除了苹果的M外,锐龙8000G是首款桌面用内嵌NPU的处理器。NPU优势在持续性、推理型AI应用,AI卸载和低功耗诉求,与功耗/散热没什么障碍的桌面应用并不完全匹配。它能用来做哪些AI应用,让我们拭目以待。

与高性能定位相对的是锐龙暂缺低功耗版本,其U系列产品TDP已经拉升到28W级别。由于锐龙的XDNA NPU架构依托RDNA GPU架构,也就是Ryzen 780M(12核)/760M(8核)等高性能的集显实现,两者在一定程度上相互绑定,性能与散热相互影响;再加上处理器本身配备8或6个Zen4 CPU核心,硬件条件和应用需求都无进一步降低的可能。

软硬件生态构成



在AI应用开发层面,英特尔与AMD采用了不同的策略。其中,英特尔提供了更多可选的软件架构,从打穿自家各种加速器、一次变成随处使用的OpenVINO,到微软(WindowsML及DirectML)和第三方(ONNX RT)通用框架,到基于Web亦可提供加速的WebGPU,更以PyTorch基金会Premier会员身份提供该生态拓展,开发者选择非常多样。

AMD也提供了自家的xPU异构开发框架Vitis AI开发工具,而框架主要采用ONNX RT和PyTorch两种。TensorFlow也在其支持列表上,只是后期能否继续使用,要看NVIDIA的脸色了。

不同硬件加速器能为AI带来不同的加速效果,无论是开发平台的多样性,还是异构计算的分配/迁移的平滑/透明与兼容性,对操作系统、软件框架及应用开发都提出了更多挑战。特别是全新的NPU架构将颠覆现有的软硬件生态,其自身优化水平,以及多加速器异构优化水平,直接影响到新生的AI PC的终端性能表现。

AI应用的多样性已初露端倪,6B乃至13B参数的LLM、RAG训练,文生图等AIGC应用均可以部署到PC终端上。而硬件平台要发挥更佳功效,平台与ISV、IHV的协作优化作用,远高于硬件规格指标的意义,Wintel生态、x86生态亦或是Intel/AMD生态各有不同。

多位ISV负责人表示,商业应用产品需要更多时间来打磨,商业的信任比个人的信任建立周期会更长,所以也更需要英特尔作为一个原厂和ISV之间要长时间的配合和互动,并承诺持续在中国市场增加投入。


英特尔中国区技术部总经理高宇则表示,酷睿Ultra的vPro平台在生产力、稳定性、安全性和可管理性方面有着不可或缺的优势。在部署商业应用之前,英特尔会与软件合作商(ISV)做深度测试,与PC OEM厂商(IHV)合作所累积的流程经验也可借鉴,消费类的产品和商业类的产品的测试合格流程和方法均不相同。在AI时代,AI应用程序和传统的应用程序的不同,如数据存储位置以及软硬件系统能否完全保证数据的应用性、安全性、隐私性,这也是英特尔和ISV合作伙伴一起解决的问题。


AMD也在积极构建其AI软硬件生态体系,特别是相对独立于传统x86体系的ISV体系,以期能够充分发挥自家AI PC硬件产品以及Ryzen AI架构优势。

两家平台企业所公布的合作伙伴中,虽然不乏百川智能、智谱AI、驱动人生这样均有合作的企业,但是他们与平台厂商的合作维度有所差别。英特尔列出的仅是行业应用(商用)ISV,未显示消费端的ISV,而AMD则全包括。

AI应用,性能有别



无论是消费还是商用,AI PC及AI应用均有广泛前景。而具象到当下,占PC销量50%的商用市场,更接近为客户创造效益。同时,商用市场对产品的可靠性、可用性、安全性及性能提出的要求更高。鉴于Ryzen PRO的8040还在路上,就先把关注点聚焦在“性能“本身吧!

更高质量的文生图



驱动人生同时是英特尔和AMD的软件合作伙伴,其AIGC助手为双平台进行了适配。该软件可选包括Stable Diffusion在内的多种文生图引擎,并根据硬件算力等参数,提供512×512分辨率以上的图像生成能力。

AMD AI PC发布会上,其演示的512×512分辨率图像生成时间为4秒;相比之下,酷睿Ultra笔记本电脑可生成质量更高的1024×1024分辨率图片,生成时间为6秒。原生支持PyTorch拓展模块,可充分发挥酷睿Ultra核显的算力, 带来更好的性能表现。

此外,这款应用还支持超分辨率算法,可在基本的1024×1024分辨率基础上,生成更高质量的图片,可将图片用于更广泛的领域。

精准控制AI绘画



比通用的Stable Diffusion文生图更进一步,就是更精准地控制AI绘制出想要的内容画面。英特尔ISV绘世启动器已经率先支持酷睿Ultra核显进行AI绘画创作,如上图所示,用“老虎的轮廓及景深信息绘制全新的狮子”。

该软件可调用包括开源的Stable Diffusion WebUI项目在内的引擎,可使用其社区中众多开源的辅助AI绘画创作功能,实现以上功能的ControlNet就是其中之一。将老虎画面中所需保留的轮廓及景深参数锁定,重新生成狮子的1024×1024高质量照片,时间仅需1秒,只有全新生成图片时间的1/6。这一工具可以很好地帮助图像内容创作者快速、多次地生成所需不断微调设计的图片,生成效率更高、精确度更高。

多模态大模型更智慧



听得懂语言,看得懂画面甚至视频的“含义”,是多模态大模型应用的重要领域,也是机器拥有人的经验与智慧的直接体现。在“看图说话”应用中,AI不仅能够懂得图片自身的信息——红烧肉,并且可以由此引申到一道菜、材料以及加工方法,堪称经验丰富的美食主播。

对AI PC来说,将巨量模型部署至PC、压缩载入主流容量的内存,实现了从云端到本地化部署,可用性与用户体验都得到极大改善。

文字AIGC比延迟



相比之下,基于大语言模型(LLM)的文字AIGC的“聪明”就是小case了,它主打一个“快”字。衡量其快的核心指标是低延迟,包括首字(token)延迟与平均token延迟等两个。

6B(60亿)参数本地化部署,日渐流行。该规模是LLM从云端向终端迁移部署规模的甜蜜点,更高的13B规模也有不错的性能表现。这得益于英特尔构建的BigDL-LLM库,它对各主流大语言模型均进行优化和支持,甚至可以在16GB内存的酷睿Ultra轻薄笔记本电脑本上运行参数量高达160亿的大语言模型,支持的模型包括LLaMA/LLaMA2、ChatGLM/ChatGLM2等,极大地降低了AIGC本地化部署、私域训练的门槛。

测试中,英特尔大语言模型应用调用ChatGLM-6b参数,在酷睿Ultra轻薄笔记本上的首字延迟,从训练上之初的300ms量级下降到多次训练后的60ms,而后续token平均生成速度也从80ms进一步下降到72ms,较英特尔首次公开展示该大模型应用时,使用Core i9-13900H平台的性能。

没有自家优化的LLM库做基础,锐龙8040平台使用第三方ChatGLM-6b本地部署,训练后的首字延迟约为100ms、平均延迟约为80ms。

法务专业助手



借助自身BigDL-LLM库固然可以提升ChatGLM-6b的运行速度,但是其参数均为开源,难以服务于特定领域,如法务这样专且案例特性明显、文书规范要求高、注重隐私的应用场景,就需要用户或应用构建私域数据,并与云端数据形成适当的协作。

基于酷睿Ultra平台,魔方智能法务助手这款AI聊天机器人,基于基础语言大模型,结合百万条法律大数据训练而成的AI PC端侧大模型,可针对法务这一特定行业和领域提供更加专业的问答、法律案件分析、法律文书撰写、法律建议等法律相关功能,提升法务人员办公效率,降低普通人获取法律相关信息服务的门槛。

类似专业领域的应用场景还包括医疗问诊、程序代码助手等,为相关行业提高效率提供了可能。这样的超级助手,你想不想也拥有呢!

Office助手更“Ku”



虽然微软已经将其智能副驾(Copilot)集成到Windows、浏览器以及Office中,但目前国内无法使用。但是,这并不妨碍欧非思Kutools AI这样的工具使用。该应用以Office争效插件形态无缝融入Office系列办公软件,以大语言模型为基础、以生成式人工智能(AIGC)技术为突破口,辅助用户高效完成日常工作。

Kutools AI有着非常好的实时性反馈体验,既可如向导般指导用户使用公式、宏等不熟悉操作实现功能,也可生成PPT页面、RAG生成文档概要,降低工作难度和强度。

AI PC之野望



在诸多平台及终端产品厂商推动下,AI PC已渐成风潮,它为商业应用提供了一种不同的可能,没有AI加持时甚至无法想象的可能。随着硬件与软件相互推进发展,AI带给商用领域的改变将更加深入与细致,深刻改变着PC生态。


赞(0)
未经允许不得转载:奇谱科技 » 艺多不压身——AI PC商务应用游刃有余
分享到:

相关推荐

广告