平台以国产FPGA厂家复旦微公司的AI系列FMQL45AIT900芯片为主处理器,架构为CPU+NPU+FPGA,其中CPU为4核ARM7,NPU神经网络的计算能力为2TOPs。通过DDR、FLASH、电源芯片、编解码接口芯片、通讯链路芯片等选型设计实现国产化、低功耗、可扩展的AI平台。同时提供基于数据采集、处理、传输多线程的逻辑架构和基于操作系统的多任务调度框架,其中包含各接口驱动和功能IP(源码),搭建出一套具有自主知识产权的高性能国产AI/FPGA应用原型机。
系统主要的组成包括一套硬件系统和FPGA的IP库,以及一套上位机的软件系统。FPGA的IP库目前包括图像处理、通信、口等类型的IP,用户应用这些IP可以快速搭建出一套基于AI的高实时性AI处理系统。
平台架构
全国产化FPGA开发平台,包括FPGA(复旦微电子FMQ7045AI)
采用本系统实现的应用有以下几种优势:
系统体积小,重量轻,功耗低。非常适合便携式设备的应用
传统的AI解决方案有两种:一种是通过内部带AI内核的SOC芯片实现。这类解决方案的特点是结构简单,应用方便。缺点是不能够进行定制化开发。用户如果想要实现一些比较特殊的应用,例如做图像的增强或者压缩,就需要再外挂一颗FPGA芯片来完成。这样系统的实时性就会变得很差,而且系统的体积和功耗就会成倍增加。 另一种是用通用的GPU来实现。这种方案的特点是开发容易。缺点是功耗大,体积大,硬件逻辑也不能定制开发。而本系统的单颗芯片中集成了AI的内核,而且可以高度定制化,应用更加灵活。单芯片的方案体积小,功耗低,实时性也比其他方案高。目前最小系统的面积只有6.5*6.5cm,处于市场上的领先地位。
系统中的AI内核结合FPGA内部的图像处理算法IP完成图像处理相关的应用,系统延时小
本系统的处理都在FPGA内部实现,包括AI内核的计算,数据的存储和搬运,图像的预处理和优化等。内部总线处理的速度远远大于多颗芯片间数据总线的交互速度。同时,一些比较耗时的逻辑可以优先选择在FPGA中用逻辑实现。综合性能来说,系统的延时非常小,技术指标领先于目前其他各种方案。
系统可配置程度高
可以根据各种应用搭配不同的IP。例如:搭配本系统IP库中的JPEG2000编码IP可以完成图像的无损压缩,再在系统中插入无线通信的算法IP,可实现图像的无线传输。如果无线通信的信道好,可以配置成高码率的压缩内核,如果信道不好,为了传输的实时性,可以配置为低码率的压缩内核。在本系统中,由于采用了更加灵活的FPGA单颗芯片的解决方案,配置起来更加容易。