免费看B站直播APP下载

电子发烧(shao)友网报道（文/李弯(wan)弯）AI边缘计算机是一种(zhong)人工智能和(he)边缘计算技(ji)术相结(jie)合的计算机(ji)设(she)备(bei)。它可以(yi)在本地设备(bei)上运行AI模型(xing)，实现对设备(bei)数据的实时(shi)分析和响应(ying)，从而减(jian)少数据传输(shu)到云端的延(yan)迟和成本。

当下(xia)，AI在(zai)边(bian)缘侧的(de)部署正在成(cheng)为趋势，包括(gua)近年来备受(shou)瞩目的(de)大语言模型(xing)，在边缘侧的(de)应用也是业(ye)界探索的焦(jiao)点，AI边缘计(ji)算机在这中间扮(ban)演着重要角(jiao)色。为此，电子发烧友(you)近日采访到(dao)图为科技华东(dong)区域经理(li)吴朗，探讨了AI边(bian)缘计算机的(de)应用现状及(ji)前景等话题。

AI边缘计算机应用场(chang)景多样，前景(jing)好

AI边缘计算(suan)机由处理器(qi)、存(cun)储(chu)器、输入/输出接(jie)口、电源、散(san)热(re)系统、嵌(kan)入式操(cao)作系统、AI模型(xing)和(he)算(suan)法等结构组成(cheng)。处理器(qi)是AI边缘计算(suan)机的核心部(bu)分，负责执行指(zhi)令和处理数(shu)据。
AI边缘(yuan)计算机的核(he)心是AI模型和(he)算法，用于实(shi)现各种智能(neng)化(hua)的(de)应用。

图(tu)为科技是一(yi)家AI边缘计算(suan)设备运(yun)营服务商，专注边缘(yuan)计算(suan)设备的研发、生(sheng)产、销售、运维(wei)等工作。其基于(yu)NVIDIAJetson系(xi)列核心(xin)模块所设计(ji)的AI边缘计(ji)算盒子，已广(guang)泛应用于机器(qi)视觉检测、人(ren)脸识别、行为识别、智能(neng)机器人、智能无人(ren)机、自(zi)动驾驶、智能安防(fang)等领域。

吴朗(lang)告诉电子发(fa)烧友：“图为科技的AI边缘(yuan)计算(suan)设备主要是(shi)基于ARM架构的方案。其(qi)中，大多是基于(yu)英伟(wei)达Jetson系列核心(xin)模块设计，也有少数基于(yu)华为昇腾和(he)瑞芯微的方案。”图为(wei)科技的边缘(yuan)计算机涵盖(gai)了从最低0.5TOPS算力到最(zui)高275TOPS算(suan)力的各种产品(pin)，能满足多场(chang)景不同算力(li)的需求(qiu)，便于客户拓(tuo)展AI方案及部(bu)署(shu)工作。

据他介(jie)绍，AI边(bian)缘计算机的应用非(fei)常广泛，目前(qian)在安防领域(yu)应用最(zui)多，另外，在医(yi)疗、车载、交(jiao)通等领域也有非(fei)常多很好的(de)应用场景。比(bi)如在医疗领(ling)域的影像分(fen)析，他们之(zhi)前(qian)有个做(zuo)眼睛诊疗仪(yi)的客户，就需(xu)要用到这种AI边(bian)缘计算盒子(zi)，通过深度学习算(suan)法，来(lai)辅助(zhu)拍摄一(yi)些图像做实(shi)时分析。

在车(che)载(zai)领(ling)域，目前(qian)图为科技的(de)产品可以用(yong)于低速无人(ren)驾驶，比如，无人(ren)清扫车、园区接驳(bo)车、各种巡检(jian)小车等。吴朗介绍说(shuo)：“这种AI边缘计算盒子(zi)在车载、交通领(ling)域的应用场(chang)景很多，现在智慧交(jiao)通是趋势，车(che)路协同、全息(xi)路口以及高(gao)速上一些车(che)联网场景都(dou)用得上。”

不过不(bu)同(tong)场景技(ji)术路线(xian)不一样，对设(she)备的要求也(ye)有所不同。比(bi)如，安防领域(yu)主要需要的(de)是视频(pin)分析，基本上是(shi)纯视觉(jue)。而车载领域，有视觉(jue)也有雷视融(rong)合，包括激光(guang)雷达、毫米波(bo)雷达、超声波雷达(da)等。它(ta)们需(xu)要的算力、资(zi)源、软硬件(jian)平(ping)台等都(dou)不一样。一般(ban)而言，安(an)防场景的算力需(xu)求很多在20到(dao)30TOPS，而车载场景(jing)很多时候需(xu)要100TOPS，甚至200TOPS以上。

在(zai)车载(zai)场景(jing)，英伟达的Jetson系列会更有优(you)势，无论是算(suan)力还是生态(tai)上。英伟达的(de)模块算力会(hui)更高，而(er)且它跟上下(xia)游厂商的配套更多，比如(ru)跟奥比中光(guang)、森(sen)云(yun)智能等厂商的(de)相机产(chan)品都有适配(pei)。因此，图为科技基于(yu)英伟达Jetson系列的(de)设备能够满(man)足更多场景(jing)的不同需求(qiu)。

在吴朗看来(lai)，AI计算边缘盒(he)子可以应用的行业(ye)和形态很多(duo)，市场整体(ti)体量很大。不过相比较而言，目前基于X86架构(gou)的设备存在(zai)的时间比较(jiao)久，应用也(ye)比(bi)较多。基(ji)于Arm架构这种(zhong)方式的AI边缘计算机近几年(nian)才开始火起(qi)来，目前体量(liang)不是很大，不(bu)过前景(jing)会非常好。

大(da)模型与数字(zi)人结合在医(yi)疗领域成功(gong)落地

近年来，大模(mo)型技(ji)术的(de)研究进展备(bei)受关注(zhu)，同时，业(ye)界也在积极探索(suo)大语言模型(xing)在边缘侧的(de)部(bu)署。图为科技(ji)在这方面也(ye)有研究，并已(yi)经有方(fang)案成功交付(fu)。

据吴朗介绍(shao)，图为科技有(you)好几款大模(mo)型一体机，算(suan)力包括40TOPS、100TOPS和200TOPS，这些一体机可以运行70亿和130亿参(can)数规模的大模型(xing)。图为科技可(ke)以用百川智(zhi)能、智谱AI、通亿千问等的开源大(da)模型，自己进(jin)行移植适配。

目前图为科技正在(zai)推进的大模(mo)型一体机应(ying)用项目很多(duo)，其在某医院(yuan)的应用方案(an)已经成功交付。这是(shi)一个什么样(yang)的场景呢？吴朗(lang)介绍说，因(yin)为就诊的人(ren)数比较多，这(zhe)家医院妇产(chan)科门诊接诊压力比较(jiao)大，他们希(xi)望通过AI做一个预(yu)诊的方案。

图(tu)为科技将大(da)模型一体机(ji)与数字人技(ji)术结合，做了(le)一个交(jiao)互式对话方(fang)案。这样，患者(zhe)到医院之后(hou)，可以跟显示(shi)屏承载的数(shu)字人交互式(shi)对话，帮助医(yi)生过滤(lu)掉一些问题。

吴(wu)朗进一步介(jie)绍：“患者在(zai)妇产科需要询问(wen)的问题，基本(ben)上医院都有(you)对应的数据(ju)。公司为其部署上AI大(da)语言模型，基(ji)本上之后患(huan)者问什么问(wen)题，这个数(shu)字人都可以回答(da)。回答完之后(hou)可以直接生成电子(zi)病历，提交给(gei)医(yi)生。这(zhe)样可以大大提高效(xiao)率。”

图为科技(ji)这个方案基(ji)于通义千问(wen)进行训练。去年8月，阿(a)里(li)宣(xuan)布其自(zi)研的大模型(xing)通义千问正(zheng)式开源。只要(yao)有数据集，企业基本(ben)上可(ke)以基于这些开(kai)源的大(da)模型训练适(shi)合自己场景(jing)的大模型。

近几(ji)年，数(shu)字人的概念及应用(yong)也是异常火(huo)热，其中在直(zhi)播领域(yu)的应用最多(duo)，另外医院、银行等也使用(yong)数字人来做(zuo)虚拟客服。不(bu)过，虽然入局(ju)者众多、应用也不少，然而过(guo)往，数字(zi)人仍然存在(zai)表情僵硬、语言(yan)呆板、交互(hu)能力不强等问(wen)题。

2023年以来，大语言模(mo)型席卷全球，将(jiang)大模型与数(shu)字人技术结(jie)合也成为不(bu)少企业争先(xian)探索的方向(xiang)，接入大模型(xing)的数字人能(neng)够很好(hao)的改善之前(qian)数字人存在(zai)的问题。从图为(wei)科(ke)技这个(ge)案例来看，大(da)模型接入数(shu)字(zi)人的应用也(ye)在逐步落地。

写在最(zui)后

无(wu)论是AI还是近年来兴(xing)起的大语言(yan)模型，如果要(yao)实现规模化(hua)商用，在边缘侧部(bu)署是(shi)关键。AI边缘计(ji)算机在这其(qi)中承载着极(ji)其重要的责(ze)任。同时，相比于(yu)传(chuan)统X86架构(gou)，ARM架构具有低(di)能耗、低(di)成本、高(gao)性能等(deng)优势，如此看(kan)来基于ARM架构的AI边缘计(ji)算机前景可观。不(bu)过当前ARM架构(gou)也还面临移植适配、软件(jian)生态不(bu)够好等问题(ti)，后续发展仍(reng)需业界一起(qi)努力。