教學優(yōu)勢
曙海教育的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關系。曙海教育的課程在業(yè)內有著響亮的知名度。
本課程，秉承20年積累的教學品質，以項目實現(xiàn)為導向,老師將會與您分享設計的全流程以及工具的綜合使用經(jīng)驗、技巧。
課程簡介：
課程目標：
課程大綱：
Xilinx-FPGA人工智能設計與實現(xiàn)技術培訓
1.?演示FPGA?AI項目視頻文件，讓學員對FPGA AI項目的應用范圍和實現(xiàn)方法有一個直觀的認識。
2.?FPGA AI環(huán)境搭建。介紹虛擬機VMware、Ubuntu、Vitis、docker、Vitis AI、CMake、Opencv、XRT和Model Zoo的安裝和環(huán)境變量設置。
3.?FPGA?AI開發(fā)原理和流程。介紹深度學習處理單元DPU、AI優(yōu)化器、AI量化器、AI編譯器、運行時XRT、DPU指令集等Vitis AI主要概念、開發(fā)流程、專有命令和API接口。
4.?FPGA AI開發(fā)板介紹和使用。Alveo系列、Versal系列、ZynqMP系列，重點介紹本課程所用開發(fā)板Kria KV260、Ultra96、ZCU104，內容包括開發(fā)板硬件接口和連接、鏡像燒錄、網(wǎng)絡配置、通訊軟件和例程演示。
5.?Kria KV260 AI開發(fā)板加速原理和自帶例程詳解。介紹開發(fā)板自帶的兩種加速核Smartcam、Aibox-reid實現(xiàn)原理、C++、Python和GStreamer VVAS三種語言例程演示和程序解析，其中包含VART調用DPU流程和命令，比特流和kernel載入、輸入預處理、模型運行和輸出參數(shù)后處理全過程。
1.?KV260 Smartcam硬件平臺制作。全制作過程采用非項目開發(fā)形式Vitis、Vivado設計與編譯，介紹makefile、Vitis、Vivado、Tcl批處理文件，其中對于涉及到Vitis開發(fā)軟件亦做了簡單介紹,也可以用Vitis或Vivado Gui界面打開分析編譯。
2.?口罩識別yolov3和yolov3-tiny模型訓練、PC驗證和移植KV260全流程。這是一個包括模型修改、數(shù)據(jù)集訓練、模型轉化與固化、量化與編譯、鏡像生成，其訓練模型首先在PC機上使用Keras框架上進行驗證，再將鏡像放到KV260上進行實操驗證。并對其中用到的命令、PC機程序和FPGA上程序進行講解。
3.?KV260 Vitis AI 1.4 yolov4-tiny模型編譯生成xmodel，開發(fā)板后處理程序解讀，開發(fā)板實操x11和hdmi顯示和影響時延因素分析，本節(jié)生成的模型也在下面的Gstreamer編程中使用。
4.?Ultra96 yolov2-tiny Vitis AI 1.3模型轉換與固化、量化與編譯、開發(fā)板圖像預處理程序、DPU AI調用命令集和DPU輸出后處理程序（包括目標閾值篩選、非最大值抑制 NMS和目標框繪制）和目標跟蹤算法程序，掌握yolo模型目標識別后處理程序和用戶算法程序的編寫。
1.?介紹多媒體GStreamer框架和插件，包括Element、Queue、Tee、Pad、Bin等基本元素，filesrc、v4l2src、kmssink、h264parse、x264enc等主要模塊，和qp、leaky、control-rate、target-bitrate、periodicity-idr、gop-length等主要參數(shù)，并在PC虛擬機上進行pipeline編程練習。
2.?介紹Xilinx基于Gstreamer框架的視頻開發(fā)套件Vitis Video Analytics SDK?(VVAS)，包括硬件與軟件對應的層次結構，主要組件omxh264enc、omxh264dec、ivas_xfilter、ivas_xmetaaffixer等的作用與命令格式，并以框圖上逐次增加功能模塊的方式講解VVAS pipeline語言如何編寫，掌握用這種高度集成和方便的工具實現(xiàn)FPGA?AI視覺應用編程。
3.?利用在前面的課程中編譯得到的yolov2-tiny xmodel模型，使用VVAS編程語言講解編寫目標識別pipeline, 實現(xiàn)在KV260上的視頻文件讀取、圖像預處理、DPU運行、后處理、視頻輸出和存盤的所有功能。
4.?基于KV260的自帶人臉識別模型和人物跟蹤模型，分別講解編寫VVAS pipeline人臉識別和人物跟蹤,輸出顯示在HDMI上，同時改變Gstreamer VVAS參數(shù)直觀感受不同的參數(shù)對視頻帶來的影響，講解如何正確設置Gstreamer VVAS參數(shù)。
練習
答疑
