視覺特征提取技術廣泛應用于自主移動智能機器人、無人駕駛和無人機等場景。

基于其初步研究成果，團隊已與黑芝麻科技等自動駕駛頭部企業合作，聯合承擔了武漢市科技重大專項“卡脖子”技術攻關項目，研究高魯棒性、高能效視覺目標識別引擎電路技術，進行車規級高性能自動駕駛芯片設計關鍵技術的科技攻關。

國內外已有多個SIFT硬件加速器設計發表，總體的研究方向朝著更高性能、更高幀率、更高匹配精度以及更低功耗、更低運算量、更低硬件開銷的方向發展。但是對于高性能SIFT硬件加速器的設計仍存在如下三個共性問題和設計挑戰：

1.SIFT運算量大，需全并行、全流水架構進行加速，但并行高斯金字塔構建帶來了大量的硬件開銷；

2.高斯金字塔構建中部分特征點的丟失，使得加速器提取的特征魯棒性變差；

3.關鍵點檢測部分和描述符生成部分的內部串行執行，兩個部分交互執行的方式使得加速器處理速度存在瓶頸，造成系統幀率受限。

圖1 高性能SIFT硬件加速器的設計存在的三個共性問題和設計挑戰

【解決方案】

針對上述問題，本成果提出了一系列新方法和新策略，實現了全并行的高能效SIFT硬件加速器芯片硬件架構。針對高斯金字塔構建硬件開銷大的問題，提出了快慢雙時鐘域和部分復用策略；針對高斯金字塔構建過程中的特點丟失問題，提出了動態padding設計策略；針對交互執行及串行計算限制加速性能的問題，提出了一系列并行化的設計方案，即基于乒乓緩存實現了關鍵點檢測和描述符生成部分的并行處理，基于像素梯度預計算實現了關鍵點檢測和梯度幅值輔角的并行計算、以及創新性地提出了一種基于圓形關鍵點鄰域的描述符生成算法，實現了主方向和描述符產生的高效并行計算。

圖2 高性能SIFT硬件加速器的設計存在的三個共性問題和對應的設計策略及設計實現

圖3 提出的基于圓形關鍵點鄰域的描述符生成算法，可以實現主方向計算和描述符產生過程的并行化計算

【性能指標】

本成果研發的全并行高能效SIFT硬件加速器芯片已在Xilinx Virtex UltraScale+評估板中實現。基于Mikolajczyk and Schmid標準數據集對提出的SIFT設計進行驗證，基于RANSAC(RANdom SAmple Consensus)算法檢查匹配點的正確性。所提SIFT設計的匹配結果優于相關工作，這主要得益于子區域重疊及padding增加魯棒性，及優化的參數選擇（如高斯卷積核尺寸、關鍵點鄰域大小等）。與文獻中相關FPGA及ASIC工作的硬件開銷對比顯示：該設計的硬件開銷總體和現有水平相當，但通過實現了動態padding提高了魯棒性，同時實現了100 MHz時鐘下162 fps VGA的最高幀率和49.766 M pixels/s的最高計算效率。該SIFT硬件加速器在基于180 nm CMOS工藝下實現了2.25 mJ/frame的能量效率。

圖4 基于所提SIFT算法的關鍵點提取與匹配結果圖，基于標準數據集的匹配結果與相關工作的比較圖

圖5 SIFT硬件加速器處理性能比較表：該設計取得了國際SIFT硬件加速器芯片設計中最高幀率的學術記錄、最高計算效率和能量效率，并采用了動態padding技術提高了魯棒性

圖6 基于所提出的全并行高能效SIFT硬件加速器芯片的SoC驗證平臺及65nm芯片版圖