聚焦强大易用的飞桨端侧推理引擎 百度AI快车道再访上海

在技术革新的浪潮下，智能硬件已带着人工智能技术越来越多地出现在我们的日常生活，智能手机、智能手表、智能音箱等这些常见的“智能设备”也都已成为非常重要的本地深度学习载体。然而，日趋异构化的硬件平台和复杂的终端侧的使用状况，让端侧推理引擎的架构能力颇受挑战。为更好满足人工智能应用落地移动端的严苛要求，百度飞桨推出用于端侧高性能轻量化AI应用部署的推理引擎Paddle Lite，不仅可支持多种硬件、多种平台，还具备轻量化部署、高性能实现等重要特性。

此次，在百度AI快车道——企业深度学习实战营于12月8日于上海举办的“百度AI快车道Paddle Lite”专场活动中，百度多位技术大咖在活动当天为当地开发者们带来了端侧推理引擎Paddle Lite的技术解析与实践，详细解读了飞桨 Paddle Lite、端计算模型生成平台EasyEdge、以及AI解决方案EdgeBoard的技术特点、使用方法和相关应用。

据介绍，Paddle Lite核心用途是将训练出的模型在不同硬件平台场景下快速部署，根据输入数据，执行预测推理得到计算结果，支持实际的业务应用。目前，Paddle Lite可支持多种硬件，并可实现用X2Paddle 工具转化 Caffe, TensorFlow, ONNX 三个平台的模型到 Paddle格式进行多种训练，以及支持诸如Android, IOS, armlinux 等端侧多个平台。

(Paddle Lite支持多硬件与多平台)

此外，Paddle Lite同时支持为模型定制化的裁剪方案，也就是说对于特定的模型，用户可以只将需要的op和kernel实现编译进部署的lib中，极大的减小了需加载预测库的体积，更有助于实现轻量级部署，并展示出其明显的高性能特点。

(性能与量级对比)

活动现场，还借工业、零售、教育等多场景案例介绍了百度大脑FPGA嵌入式AI解决方案——EdgeBoard。百度大脑EdgeBoard不仅可凭借高性能的加速引擎提供最高3.6Tops的强大算力，还发布多种硬件产品，开放完整的嵌入式参考设计方式，使硬件集成更轻松便捷。例如在工业场景下，智能质检机械臂可以利用运控抓拍和EdgeBoard智能解析，实现毫秒级、高准率金属手机壳多表面复杂检测工作。EdgeBoard具备高性能、低成本、使用简单等优点，支持多模型、高精模型部署，同时支持模型可擦写升级，提供丰富的开发资源，并支持硬件定制，十分适用于智能硬件打造和AI项目部署。

(EdgeBoard优势)

此外，在当天的课程还安排了多种实践“挑战”，不仅有在EdgeBoard上使用Paddle Lite以实现“蔬菜识别”功能，还有Paddle Lite移动端目标检测实战。在目标检测的实战中，现场的开发者可以选用如MAC电脑、iPhone手机或者安卓手机等作为实验设备进行“实战”。现场导师以环境准备，预测库编译、模型转换以及APP开发集成四个步骤带领当天所有参会学员，一步步产出最终结果，在手机端顺利识别出小动物。活动现场，学员们始终保持着极高的热情，其中一位成功检测出目标的学员感叹道：“刚系统了解Paddle Lite，没想到这么快就可以上手。”对于Paddle Lite之后的应用，学员表示充满期待。

(移动端目标检测实战结果展示)

据了解，百度 AI 快车道企业深度学习实战营是百度依托自身深厚的深度学习技术实践经验，面向有 AI 技术需求企业的算法工程师、架构师群体提供的快速应用扶持计划。计划的学习内容囊括了10套工程实施与深度学习技术落地结合的详细方案，覆盖百度领先的AI技术和业务应用场景的深入剖析，如OCR、精密仪器质检、推荐排序经典场景、遥感图像处理等;源于百度业务实践的深度学习平台飞桨的性能优势、模型优势、生态优势的解读;百度自研和顶级学术会议魁首算法、预训练模型的详细介绍，还有与案例和算法紧密相扣的在线实验，并以“学来即用”的课程，进行业务问题定位、框架及算法的快速应用培训，为更多企业带去深度学习技术和经验分享。

百度AI快车道将在12月14日继续来到深圳，为大家带来Paddle Detection专场活动，深圳的开发者赶快来组团报名啦，无法到达现场的开发者们也有机会“一起玩”，进入“IT大咖说”网站搜索“AI快车道”收看活动视频，往期活动也可以观看回放。

想参与下期课程的学员们，关注百度飞桨官网、微信公众号"飞桨PaddlePaddle"，在公众号回复“AI快车道”即可获得报名链接。