基於 AI 硬體加速器的自動化類神經網路設計與部署之研究
No Thumbnail Available
Date
2023
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
由於大多邊緣裝置由於對於類神經模型推理的運算效率不佳，因此邊緣裝置通常會搭配上AI硬體加速器，來進行更有效率的運算。然而如何將類神經模型推理應用至AI硬體加速器進行加速，必須從軟體端加速器的使用，到硬體端加速器的架構，都要有深刻理解，這對於開發者來說是一個不小的挑戰。本論文研究基於RISC-V架構下的 Gemmini 硬體加速器平台，開發一套圖形介面工具。開發者根據自身的需求，在工具中選擇需求的模型架構，將其轉換成中間表達式，藉此生成模型架構程式碼，以及硬體推理程式碼。模型架構程式碼供軟體端模型訓練以及模型量化用；硬體推理程式碼供邊緣裝置利用硬體加速器進行模型推理。本論文將透過圖形介面生成之程式碼，生成基於CNN，以及GRU的兩種不同模型架構，執行於含Gemmini加速器平台的FPGA板上，以Clock Cycles為運算速度的根據，比較模型運算時使用加速器與否的差別。藉由兩種不同種類模型的比較，驗證Gemmini的加速效果及使用本研究開發之圖形介面的可行性。
none
none
Description
Keywords
硬體加速器, RISC-V, Gemmini, 圖形介面, 中間表達式, 量化, none