电脑技术汇总_电脑技术网_电脑技术官网

电脑知识网 > 近期新闻 > 正文

WAIC 2024|对话爱芯元智仇肖莘:智能芯片和多模态大模型已成AI时代的“黄金组合”

网络整理 2024-10-27 03:47

(原标题:WAIC 2024|对话爱芯元智仇肖莘:智能芯片和多模态大模型已成AI时代的“黄金组合”)

在7月5日举行的世界人工智能大会(WAIC)“芯领未来|智能芯片及多模态大模型论坛”上,AI感知与边缘计算芯片平台公司爱芯元智发布了“爱芯通元AI处理器”,该AI处理器的核心是算子指令集和数据流微架构,有高中低三档算力,不仅在智慧城市和辅助驾驶两个场景实现了量产,还在以文搜图、通用检测、以图生文、AI 智能体(AI Agent)等通用大模型产品中应用。

经济观察网在爱芯元智展区看到,搭载爱芯通元系列端侧芯片AX630C的设备,在阿里云通义千问Qwen2.0大模型的支持下,实现了流畅的人机对话;而AX650N芯片则和面壁智能的MiniCPM V2.0大模型组合,让端侧设备可支持AI模型,实现图生文等生成式AI体验。

“智能芯片和多模态大模型已经成为AI时代的‘黄金组合’。”爱芯元智创始人、董事长仇肖莘在演讲中称,大模型的应用日益广泛,为智能芯片的发展提出了更经济、更高效、更环保的要求。设备是否搭载了具有AI处理器的高效推理芯片,也是关乎大模型落地的关键点。

创立于2019年的爱芯元智,自研并量产了多类AI芯片,包括智能应用芯片、同轴高清发送(TX)芯片和接收(RX)芯片、数模混合芯片及微控制单元(MCU)芯片等。

与一些芯片厂商发力智算中心的策略不同,爱芯元智的业务场景布局重点在边缘侧和端侧。在仇肖莘看来,大模型真正大规模落地需要云—边—端三级紧密结合,而边缘侧和端侧结合的关键在于AI计算与感知,这正是爱芯元智的优势所在。

【对话】

经济观察网:爱芯元智现有芯片能够支持多大规模参数的大模型部署端侧?

仇肖莘:现在能支持7B(即70亿个可训练参数)。我们也很关注苹果在手机上落地的大模型量级,因为它已经证明3B的模型能够在苹果的设备上落地,并且有真实的应用。我们认为,将来搭载在边缘侧和端侧设备的芯片,基本上就是3B—7B这个参数量级,可能7B的性能更高一点。

当然这只是现阶段的性能,其实AI的发展是一个芯片和算法联合调优的过程。除了芯片的能力要越做越好,能够支持大模型落地,算法方面也要做更多优化,比如轻量化。

此前7B的模型可能无法在3.2T(指每秒可以实现3.2万亿次运算的计算能力)的芯片上运行,但是如果芯片搭载了混合精度神经网络处理器(NPU),它会将同等参数量下的处理能力和存储需求都做减法,7B模型在这样一颗芯片上就能运行得起来。

所以,大模型的落地,除了硬件要持续优化,还要有算法优化,尤其是从云侧落到边缘侧的优化迭代。

经济观察网:有一些芯片厂商参与智算中心的建设,虽然有训练大模型的成本,但回报率更高一些。爱芯元智有没有考虑去做智算中心?

仇肖莘:我们的这种芯片架构非常适合AI推理,但智算中心有两大任务:一个是做训练,另外一个是做推理。

智算中心将来会不会是一个易构建的设施?我觉得有可能,但现阶段,我还是希望爱芯元智能够把边缘侧和端侧的海量市场先做好。

经济观察网:在车载芯片之外,爱芯元智会有其他的第二条曲线吗?

仇肖莘:爱芯元智是一家边缘侧和端侧的人工智能芯片公司。尽管边缘侧、端侧跟云数据中心相比,是个相对碎片化的市场,但我们的基础技术能够应用在不同的细分赛道,车只不过是其中一个高速增长的赛道。在这之前,我们其实最先落地的是智慧城市等人工智能物联网(AIoT)领域。

车载是我们的第二增长曲线,现在我们已经开始落地的第三曲线是边缘计算。现在很多中央处理器(CPU)服务器有将自身升级为AI服务器的较强需求,搭载爱芯元智即插即用的AI加速卡就是一个好办法,此外还有AI算力盒子、AI一体机等产品形态可以为行业赋能。

经济观察网:具身智能在去年的WAIC上就火起来了,爱芯元智在这方面有布局吗?

仇肖莘:我们一直看好这一方向,具身智能需要的技术就包括视觉处理。机器人需要各种传感器,以及一个强大的AI处理器。我们也在跟一些客户探讨,具身智能这样的产品形态怎么利用爱芯元智的AI芯片来落地。

不过,必须要明确的是,当下具身智能产品形态还处于一个比较早期的阶段。对芯片公司来说,要提前探索并积累一个行业的技术诀窍。具身智能和车载虽然可以共用芯片,但是应用场景或需要的能力可能不一样,所以我们需要通过合作来积累一些行业认知,比如对具身智能或者机器人这样的产品形态,芯片要特别设计哪些专用功能?当这些问题有了答案,在相关产品真正起量时,我们就可以推出专用芯片。

所有跟“视觉+AI”相关的场景应用,如果市场足够大,都会是我们的目标场景。

经济观察网:现在端侧大模型落地的情况怎么样?

仇肖莘:肯定是在前期探索阶段,我认为,最先会落地的是车、手机,还有AI PC等。车,是一个需要实时响应的应用场景,比如智能驾舱就是AI Agent的典型应用场景,比如人机交互,比如控制驾驶舱功能等。

经济观察网:自动驾驶(L2)市场目前竞争非常激烈,这种“卷”会向上传导至作为供应商之一的爱芯元智这里吗?

仇肖莘:市场传导是客观存在的,一般会从终端客户一级一级向上传。对我们这样的供应商来说,能做的就是降本增效。

怎么降本?如果只做车规芯片是很难摊平研发成本的,所以要尽量利用平台技术,例如我们的人工智能图像信号处理器(AI-ISP)和NPU等,让开发的IP通用,就能增加功能安全等车载专用功能,这样可以最大程度地摊薄研发成本。

其实芯片的生意做到最后都是规模的生意。光靠车规芯片产出,量不够大,所以芯片一定要做成平台性的生意,将研发、供应链成本分摊,实现商业闭环。

经济观察网:爱芯元智会以平台化的逻辑去演练更多的芯片系列?

仇肖莘:爱芯元智要做到一颗芯片尽量覆盖不同的产品形态。对碎片化市场,我们不可能为每一个产品形态都单独定义一款芯片,那样成本就太高了。

从芯片的角度来说,出货量第一大的是手机,芯片厂商会开各种规格、档位的芯片,因为规模足够大,就可以摊薄研发成本。但在AIoT领域,绝大部分单一市场的出货量都不足以支持一颗专用芯片的研发支出,所以需要芯片具有通用性,即把市场的共性抽象出来,让芯片能够覆盖更多应用场景。

对爱芯元智来说,感知视觉和AI成为很多产品形态的刚需,此外,低功耗、高能效比也逐渐被市场重视。当这些共性被提炼,当一颗芯片能够覆盖足够多的场景,芯片企业就拥有了盈利的空间。

fund

Tags:[db:TAG标签](242202)

转载请标注:电脑技术网——WAIC 2024|对话爱芯元智仇肖莘:智能芯片和多模态大模型已成AI时代的“黄金组合”

搜索
网站分类
标签列表