幸运28大白预测开奖
您的位置:首页>>业界动态

飞桨端侧推理引擎重磅升级为Paddle Lite,更高扩展性更极致性能!

发布时间:2019-08-21 17:39:46  来源:互联网    背景:

  百度深度学习平台飞桨(PaddlePaddle)再放大招!端侧推理引擎全新升级,重磅发布Paddle Lite,旨在推动人工智能应用在端侧更好落地。该推理引擎在多?#24067;?#22810;平台以及?#24067;?#28151;合调度的支持上更加完备,是飞桨在Paddle Mobile的基础上进行的一次大规模升级迭代。通过对底层架构设计的改进,拓展性和兼容性等方面实现显著提升。目前,Paddle Lite已经支持了ARM CPU,Mali GPU,Adreno GPU,华为NPU以及FPGA等诸多?#24067;?#24179;台,是目前首个支持华为NPU在线编译的深度学习推理框架。

  随着技术进步,手机等移动设备已成为非常重要的本地深度学习载体,然而日趋异构化的?#24067;?#24179;台和复杂的终端侧的使用状况,让端侧推理引擎的架构能力颇受挑战。端侧模型的推理往往面临着算力和内存的限制,为了能够完整的支持众多的?#24067;?#26550;构,并且实现在这些?#24067;?#20043;上人工智能应用性能的性能优化,百度飞桨基于Paddle Mobile预测库,融合Anakin等多个相关项目的技术优势,全新发布端侧推理引擎Paddle Lite,通过建模底层计算模式,加强了多种?#24067;?#37327;化方法、Data Layout 混合调度执行的能力,从而保障了宏观?#24067;?#30340;支持能力,满足人工智能应用落地移动端的严苛要求。

  Paddle Lite在架构上全新升级,并重点增加了多?#26088;?#31639;模式(?#24067;?#37327;化方法、Data Layout)混合调度的完备性设计,可以完整承担深度学习模型在不同?#24067;?#24179;台上的的推理部署需求,具备高性能、多?#24067;?#22810;平台、扩展性强等优势。不同于其他一些独立的推理引擎,Paddle Lite依托飞桨训练框架及其对应的丰富完整的算子库,底层算子计算逻辑与训练严格一致,模型完全兼容无风险,并可快速支持更多模型。

  Paddle Lite架构由四层次组成:第一层model 层直接接受Paddle训练的模型,通过模型优化工具转化为NaiveBuffer特殊格式,以便更好地适应移动端的部署场景;第二层Program层是operator序列构成的执行程序;第三层是一个完整的分析模块,主要包括TypeSystem、SSA Graph和Passes等模块;第四层是执行层,由Kernel序列构成的Runtime Program。

  Paddle Lite具有以下重要特性:

  与其他端侧引擎相比,Paddle Lite扩展性更高,框架层?#24067;?#25277;象层次的描述能力强,容易对新的?#24067;?#36827;行集成,可?#38405;?#22359;化地对?#24067;?#21644;模型进行更细致的分析和优化。

  在模型支持方面,Paddle Lite现已支持Paddle图像分类、检测、分割及图像文字识别等领域的模型预测,官方发布了18个模型的benchmark。此外,可以通过X2Paddle工具将由Caffe和TensorFlow训练的模型转换后进?#24615;?#27979;。

  在?#24067;?#25903;持方面,目前Paddle Lite已支持ARM CPU, ARM GPU、华为NPU和FPGA等?#24067;?#24179;台,正在优化支持的有寒武纪、比特大陆等国产AI芯片,并会兼容支持的Intel、NVIDIA等主流云端芯片,与?#24067;?#21378;商的广泛深入合作使得lite具有高性能表现,并可紧跟新?#24067;?#21457;展步伐提供先于其他框架的性能表现领先优势。

  模型支持和?#24067;?#24179;台支持的广泛性,整体保证了框架的高通用性

  在性能方面,Paddle Lite针对不同微架构,进行了kernel的深度优化,支持INT8量化计算,在主流移动端模型上展现出领先的速度优势。值得一提的是,在“国货”华为 NPU上也具有很好的性能表现。

  与此同时,Paddle Lite可针对端侧设备特点进行深度定制及优化,无第三方库依?#25285;?#35753;部署过程更轻量化。整个推理过程分为模型加载解析、计算图的优化分析及设备上的高效运行。移动端可以直?#30828;?#32626;经过优化分析的图,执?#24615;?#27979;。Android平台上,ARMV7 动态库只需要800k,ARMV8动态库仅有1.3M,也可以根据需要,进行更深度的剪裁。

  此外,还进一步完善提供了Web前端开发接口,支持javascript调用 GPU,可在网页端快捷运行深度学习模型。

  端侧推理引擎在人工智能应用落地?#26041;?#26377;着重要影响,直接关系到用户的体验,在自动驾驶等人工智能应用领域,端侧推理引擎甚至关乎用户的生命财产安全。百度飞桨推出Paddle Lite对端侧推理引擎性能进行大幅优化提升,对于人能智能应用的落地起到关键的推动作用。未来,Paddle Lite将支持更多?#24067;?#35206;盖更广泛的应用领域。

  更多详情:

  欢迎加入官方QQ群:696965088

  官网地址:

  https://www.paddlepaddle.org.cn

  项目地址:

  https://github.com/PaddlePaddle/Paddle-Lite

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或?#20449;担?#24182;请自行核实相关内容。本站不承担此类作?#38750;?#26435;行为的直接责任及连带责任。如若本网有任?#25991;?#23481;?#22336;改?#30340;权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
自动驾驶:百度五年狂奔,谷歌十年倔强
历史最有趣之处,在于其往往颠覆人们的?#29616;?
  把时间往回拨15年,在20世纪之初的2004年,...
日期:08-21
5G全速进化 iQOO Pro新品手机明日?#26412;?#21457;布
明天,也就是8月22日,生而强悍再进化的iQOO Pro将在751D·PARK?#26412;?#26102;尚设计广场751新罐正式...
日期:08-21
今年7月,厦门5家小龙?#19981;?#38149;店正式接入付呗
如果是人生中有?#35009;?#22350;过不去,那一定就是小龙坎。就是ta,把地道的成都风味带向全国各地。
日期:08-21
联想携手极客公园启动「酷公司30」计划  合力助推中小企业成长进化
2019年8月21日,联想集团全球总部未来中心——今日,联想中小企业事业部携?#26088;?#31471;科技媒体...
日期:08-21
Adobe发布Creative Cloud中国摄影计划,助力创意实现
中国,杭州—2019年8月21日— Adobe(Nasdaq: ADBE)今?#25307;?#24067;将于近期在中国大陆地区推出面...
日期:08-21
飞桨端侧推理引擎重磅升级为Paddle Lite,更高扩展性更极致性能!
百度深度学习平台飞桨(PaddlePaddle)再放大招!端侧推理引擎全新升级,重磅发布Paddle Lite,旨在推...
日期:08-21
消息:小米或不能再使用MIX商标
8月21日消息 近日,有网友放出了中国裁决文书网的小米科技有限责任公司和国家知识产权局二审的行政...
日期:08-21
2019?#26412;?#32593;络安全大会召开首日 国家会议中心被“挤爆”
8月21日上午,为期三天的2019?#26412;?#32593;络安全大会正式拉开帷幕。当天早上,会议举办地点国家会议中心人...
日期:08-21
强强联合!百度智能云与Rancher达成合作,容器生态再进一步
2019年8月21日,技术领先?#33041;?#35745;算服务平台百度智能云与全球领先的容器管理软件提供商Rancher Labs正...
日期:08-21
千库4周年?#25918;?#35270;频《招牌“蓝友”在线守护?#39134;?#24230;解读
2019年8月19日,千库网正式对外发布了4周年?#25918;?#35270;频《招牌“蓝友”在线守护》,通过三段...
日期:08-21
Mance Harmon:超越区块链,构建快速、公平和安全的去中心化应用程序
2019年8月21日,在?#26412;?#20030;办的PoW’er大会上,企业级分布式账本平台Hedera Hashgraph 联合创始人...
日期:08-21
Byte CTF字节跳动网络安全攻防大赛强?#35780;?#34989;
当今,随着网络信息规模的不断发展与壮大,网络系统面临着更多的安全威胁。网络安全是一个关系到国...
日期:08-21
索尼影视官方确认,漫威将不再参与《蜘蛛侠》电影制作
据IGN早些时候报道,由于索尼影业和迪士尼之间无法达成新的协议,所以未来漫威电影宇宙未来不会制作...
日期:08-21
OPPO Reno 2配置曝光:骁龙730G+4000mAh电池
今日,外媒91Mobiles曝光了将于8月28日在印度发布的新机OPPO Reno 2更完整的配置参数。OPPO Reno 2...
日期:08-21
京东云总裁申元庆谈物联网布局:为5G时代领跑超级电商赋能
经济日报-中国经济网讯(记者 王茂林)从2009年,以国家传感网创新示范区成立为标志,无锡正式与物联网结...
日期:08-21
百度智能小程序的“哪吒”效应
又是集中的财报季节,BAT三巨头先后秀出肌肉。
  8月20日,百度发布Q2财报,本季度实现营收2...
日期:08-21
配置相当华丽!小米MIX4系?#20449;?#32622;曝光,售价真香
此前有消息称,小米将会在下半年推出一款全新的手机,也就是新一代的MIX系列旗舰产品MIX4。近日,疑...
日期:08-21
西瓜视频创作人:大白话本人,?#35835;?#23621;然没掉粉?
长期隐藏在电影画面和配音之后的影视解说博主,在两三天之内,纷?#29366;?#24149;后走到前台?#35835;常?#29992;真实长相...
日期:08-21
世界机器人大会正式开幕,普渡送餐机器人引全场观众热情围观
在一段不足十米的通道上,数个路障简单勾画出了一条“S型”的道路,一台机器人行驶到路障...
日期:08-21
乡村民宿助力旅游脱贫,小猪参与海南省乡村民宿示范建设项目
8月20日,海南省首个乡村民宿示范建设项目在海口市美兰区美帖村正式启动,该项目由海南省旅游民宿提...
日期:08-21
  专栏介绍
徐彬 的专栏
徐彬发表的文章
积分:
自我介绍 :
 
幸运28大白预测开奖
时时彩100块钱稳赚 时时彩组3组6技巧 2019重庆时时开奖时间 精选二十四码期期中无错版 3D杀一码绝着 飞艇幸运计划软件 两弹一星 江苏快3和值技巧100准 什么生意稳赚不赔 赛车345678规律