基于FPGA的嵌入式AI解决方案——EdgeBoard硬件设计与解析
2020-03-09 16:50:17爱云资讯
EdgeBoard系列计算卡符合工业设计标准、满足-40℃~85℃的温度范围,接口齐全,可广泛适配如安防监控、工业质检、医疗诊断、科研教学、智能零售等各种场景。
EdgeBoard产品分为三个系列,称之为“三兄弟”,能够满足客户不同的需求,既有满足高性能计算的方案,也有高性价比的处理方案。本文将从“三兄弟”的特点及整体硬件框架两个方面来介绍EdgeBoard。
1.为什么EdgeBoard使用FPGA
理想的异构计算平台应该具备三种基本能力:首先专有的硬件加速能力,提高算法的性能;其次高效灵活适配算法的能力,适配不断演进的算法;最后丰富的外围接口,适合不同的应用场景。
CPU作为通用处理器,以逻辑计算作为出发点,更偏重控制流数据,适用于控制和调度类任务,不易于进行外围电路的扩展。GPU具有并行计算的特点,广泛应用在训练阶段,但由于功耗大、成本高等原因,少有部署在端上的产品,另外高延迟及缺少对外围电路的支持也不利于部署到端上的产品中。ASIC作为一种专用集成电路芯片,具有体积小、功耗低、计算性能高等特点,但AISC芯片研发时间长,资金投入大,由于芯片内部结构相对固定,无法适配快速演进的AI算法,在应用场景没有明确之前ASIC显然不是最优的选择。
FPGA作为一种现场可编程门阵列,具有低功耗、低延迟、高性能等优势,其可编程的特性又可以灵活适配不同的算法,同时FPGA丰富的外围接口可以满足不同的应用需求,FPGA差异化的内部逻辑资源可以提供不同的算力支持,这些优势使得FPGA被广泛应用在AI推理加速上。
2.EdgeBoard计算卡介绍
2-1 概述
EdgeBoard是基于Xilinx Zynq UltraScale+ MPSoC系列芯片打造的计算卡,芯片内部集成ARM处理器+GPU+FPGA的架构,既具有多核处理能力、也有视频流硬解码处理能力,还具有FPGA的可编程的特点。内置Linux 4.14.0系统和深度学习预装环境,与百度大脑模型定制平台(AIStudio、EasyDL、EasyEdge)深度打通,实现模型的训练、部署、推理等一站式服务。
EdgeBoard计算卡产品可以分为FZ9、FZ5、FZ3三个系列,是分别基于XCZU9EG、XAZU5EV、XAZU3EG研发而来,分别具有高性能,硬解码,低成本等特点,针对不同需求和应用场景,有不同的市场定位和产品定位,满足各类开发者多样性的需求。
2-2 FZ9系列计算卡
EdgeBoard FZ9系列计算卡是基于XCZU9EG芯片的高性能计算卡,具有较高的性能和集成功能。ZU9芯片PS端具有四核Cortex-A53和双核Cortex-R5以及Mali-400MP2 GPU;PL端资源DSP Slices 2520,计算性能达3.6Tops,片上存储BRAM高达32.1Mb。
FZ9计算卡产品采用核心板+扩展板的双层设计方案,增加了对外接口的数量,其80*120mm的尺寸方便计算卡集成于到产品中,具备软硬一体的解决方案(软件+FPGA),支持多种视频源(usb、mipi、bt1200、网络摄像头)的输入,并具有强大的视频预处理能力,视频输出DisplayPort接口兼容标准Linux视频框架V4L2。高性能的视频处理能力和标准化的视频输出接口可满足机器学习、医疗诊断等行业需求。
EdgeBoard FZ9计算卡
2-3 FZ5系列计算卡
EdgeBoard FZ5系列计算卡是基于XAZU5EV芯片的计算卡,提供较高性能和功能集成,具有多路视频流H264&H265标准的编解码功能。ZU5芯片PS端同样包含四核Cortex-A53、双核Cortex-R5、以及GPU Mali-400MP2;PL端资源DSP Slices 1248,计算性能达2.4Tops,片上存储BRAM达5.1Mb,UltraRAM 18Mb。
FZ5计算卡产品延续了FZ9计算卡的产品形态,采用核心板+扩展板双层设计方案,具有多视频输入接口,VCU(Video Codec Unit)硬核解码,对视频的输入处理采用流水线设计,实现高吞吐量和低时延,具有极佳的功耗性能比。产品可以广泛应用于具有硬解码需求的视频图像推理,满足安防监控、工业质检、自动驾驶等行业需求。
EdgeBoard FZ5计算卡
2-4 FZ3系列计算卡
EdgeBoard FZ3系列计算卡是基于XAZU3EG芯片的计算卡,处理器ZU3芯片内置四核Cortex-A53和核心FPGA可编程逻辑模块;PL端资源DSP Slices 360,实测计算性能达1.2Tops,片上存储BRAM达7.6Mb。
FZ3计算卡产品具有高集成性的设计方案,板卡尺寸为80*70mm,具有usb3.0、bt1120、mipi、网络等多视频输入接口,板载2GB 64bit位宽的DDR4,整体功耗仅5W左右,极佳的功耗性能比。对于FZ3产品具有的高性能、低功耗、低成本、小体积的特点,产品可以广泛应用于科研教学、智能零售、安防监控等行业。
EdgeBoard FZ3计算卡3.EdgeBoard框架及性能介绍
3-1 MPSoC系统框架
Zynq UltraScale+ MPSoC架构提供频率高达1.5GHz的四核Cortex®-A53高效64位ARMv8应用处理器、具有双核ARM® Cortex®-R5 600MHz的实时低功耗协处理器,以及ARM® Mali™-400MP2 GPU达到667MHz,同时EV系列还包含H.265/H.264视频编解码器单元,可提供原生UltraHD压缩及专用引擎,满足动态电源管理与安全配置需求。Zynq UltraScale+ MPSoC平台系统顶层框图如下:
MPSoC平台系统框架
3-2 EdgeBoard计算卡配置比较
基于MPSoC平台系统顶层框图,EdgeBoard计算卡的系统框架设计如下:
EdgeBoard计算卡系统框架EdgeBoard计算卡在配置方面,拥有4GB和2GB的不同DDR4内存配置版本,存储支持8GB eMMC,256MB NOR Flash,8Kb EEPROM,具有多路视频(usb、mipi、bt1200、网络视频)输入接口,同时为满足开发者调试便捷性,支持TF Card系统盘启动。
EdgeBoard计算卡的整体配置比较:
ITEM |
FZ9 |
FZ5 |
FZ3 |
|
处理器 |
四核ARMCortex-A53@1.5GHz,双核Cortex-R5@600MHz,GPU Mali-400@667MHz |
|||
内存 |
DDR4,4GB或2GB,64bit位宽 |
DDR4,4GB或2GB,64bit位宽 |
DDR4,2GB,64bit位宽 |
|
存储单元 |
eMMC |
8GB |
8GB |
8GB |
QSPI Flash |
256MB |
128MB |
32MB |
|
EEPROM |
8Kb |
8Kb |
8Kb |
|
TFCard |
默认16GB,最大支持128GB |
默认16GB,最大支持128GB |
默认16GB,最大支持128GB |
|
视频输入接口 |
BT1120 |
BT1120视频输入,支持1080p |
||
MIPI |
MIPI CSI视频输入,支持1080p |
|||
USB |
USB3.0 & USB2.0,支持USB Camera输入 |
|||
Ethernet |
1000M网络,支持IPC和GigE视频输入 |
|||
视频显示接口 |
支持DisplayPort端口输出 |
支持mini DisplayPort端口输出 |
支持mini DisplayPort端口输出 |
|
PCIE |
- |
Mini PCIE |
- |
|
VCU |
- |
支持H.264/H.265编解码 |
- |
|
安全措施 |
主板自带加密方案,方便开发者进行模型加密 |
|||
扩展口 |
支持30pin和44pin低速扩展接口,包括RS485,UART,GPIO,3.3V等 |
3-3 常用模型在EdgeBoard上的性能数据
网络 |
输入尺寸 |
单帧耗时 |
||
FZ9 |
FZ5 |
FZ3 |
||
Mobilenet-v1 |
224 x 224 |
7ms |
7ms |
10ms |
Resnet50 |
224 x 224 |
16ms |
18ms |
44ms |
Inception-v2 |
299 x 299 |
19ms |
21ms |
42ms |
Inception-v3 |
299 x 299 |
27ms |
31ms |
73ms |
Mobilenet-ssd |
224 x 224 |
15ms |
16ms |
25ms |
Mobilenet-ssd-640 |
640 x 640 |
55ms |
58ms |
89ms |
Vgg-ssd |
300 x 300 |
50ms |
75ms |
256ms |
Yolo-v3 |
608 x 608 |
147ms |
200ms |
701ms |
EdgeBoard软核仍在持续升级,性能也将同步提升。不同版本的网络模型对算力要求不同,针对具体项目应用需求,可进行定制优化。
- AI+CG技术,小米汽车使用权,这家房企的发布会为什么堪称现象级!
- 大模型破局企业AI营销,衔远科技推出MODI摹小仙AI营销大脑
- 创原会·AI创新论坛|探讨百模千态实践,华为云打造算力沃土
- 国雄资本董事长姚尚坤:AI投资热潮或逐渐消退,新能源领域的投资机会巨大
- AI上科技生活,荣耀互联网服务耀享生活节首站落地昆明
- Galaxy AI语言扩展包开通下载 助力更多用户打破语言障碍
- 墨宇宙AI数字人名片如何赋能商协会
- 五一促销季火热来袭,购联想AI PC一键快乐!
- 大模型扬帆启航新征程,微美全息加速AIGC技术攻“尖”拓展应用边界
- 科大讯飞AI学习机新品S30,满足家长们的“既要又要还要”
- 学期过半进入关键期,科大讯飞AI学习机升级助提升!
- 2024星火生态大会召开,云测数据分享AI数据趋势展望与技术实践
- 新华三曾富贵:应用与AI双轮驱动,演绎智能时代的“算力×联接”
- 选电视看芯片!海信电视E8系列:全链路信芯AI精控错不了
- 赋能开发者,腾讯云与你共探AI提升10倍生产力之路
- AI将诗意装进口袋!合合信息扫描全能王“扫描书籍”功能优化上线