人工智能技術基礎注意力機制第五章

注意力機制（AttentionMechanism）是人類特有的大腦信號處理機制。例如，人類視覺通過快速掃描全局圖像獲得需要重點關注的目標區域，也就是一般所說的注意力焦點，而后對這一區域投入更多注意力資源，獲取更多需要關注目標的細節信息，抑制其他無用信息，人類的聽覺也具有同樣的功能。5注意力機制簡介5注意力機制簡介

注意力機制是利用有限的注意力資源從大量信息中快速篩選出高價值信息的手段，所以說注意力機制中最跟本的問題，其實就是“選擇”。

在深度神經網絡學習中，一般而言模型的參數越多則模型的表達能力越強，模型所存儲的信息量也越大，但這會帶來信息過載的問題。那么通過引入注意力機制，在眾多的輸入信息中聚焦于對當前任務更為關鍵的信息，降低對其他信息的關注度，甚至過濾掉無關信息，就可以解決信息過載問題，并提高任務處理的效率和準確性。下圖為計算機視覺中的注意力機制：紅色表示需要重點關注的部分，藍色表示可以酌情忽略的部分。1.

了解注意力機制的定義和分類；2.掌握軟注意力機制原理及計算過程；3.掌握卷積網絡中常用的通道注意力和空間注意力的特性和應用，以及常見的方案和改進措施；4.了解自注意力機制的輸入方式及特性，了解自注意力機制在視覺領域的應用；5.了解互注意力機制的特性。5注意力機制學習目標目錄Contents5.1軟注意力機制的原理及計算過程通道注意力和空間注意力自注意力機制互注意力機制本章小結5.25.35.45.501軟注意力機制的原理及計算過程5.1軟注意力機制的原理及計算過程軟注意力機制的計算過程包括3個步驟：5.1軟注意力機制的原理及計算過程軟注意力機制的計算過程包括三個步驟：5.1軟注意力機制的原理及計算過程軟注意力機制的計算過程包括三個步驟：5.1軟注意力機制的原理及計算過程軟注意力機制的計算過程包括三個步驟：5.1軟注意力機制的原理及計算過程軟注意力值計算過程圖5-1軟注意力值的計算過程5.1軟注意力機制的原理及計算過程常見的廣義軟注意力（鍵值對方式）值的計算過程鍵1鍵1鍵1鍵1F(Q,K)F(Q,K)F(Q,K)F(Q,K)s1s2s3s4類Softmax()歸一化a1a2a3a4××××值1值1值1值1注意力值查詢階段1階段2階段302通道注意力和空間注意力5.2通道注意力和空間注意力5.2.1通道注意力

在卷積神經網絡中，特征圖代表了原始圖像數據的特征，在同一層中，不同的特征圖代表了不同的屬性。顯然，不同屬性對于卷積神經網絡要完成的工作貢獻程度不同，應該給予不同的重視程度。由于在卷積神經網絡中，特征圖所在的位置稱為通道，因此，反映對通道重視程度的給通道加權的方法被稱為通道注意力。5.2通道注意力和空間注意力5.2.1通道注意力（1）ECA-Net圖5-3ECA-Net的結構5.2通道注意力和空間注意力5.2.1通道注意力（2）SK-Net圖5-4多分支通道注意力SK-Net5.2通道注意力和空間注意力5.2.1通道注意力（2）SK-Net圖5-5SK-Net中Fuse操作5.2通道注意力和空間注意力5.2.1通道注意力（2）SK-Net（a）Split-Attention（b）ResNeSt模塊圖5-6SK-Net在ResNeSt模塊中的應用5.2通道注意力和空間注意力5.2.2空間注意力

空間注意力類似通道注意力，不同在于它的全局平均池化（GAP）和全局最大值池化（GMP）不是針對通道（特征圖），而是針對同一層內的所有特征圖中相同位置的像素進行GAP和GMP，并將得到的均值特征圖和最大值特征圖并在一起進行卷積操作，卷積生成特征圖的每一個像素對應的神經元激活函數選取Sigmoid函數，得到針對每個像素加權值構成的特征圖，最后將這一特征圖的像素與原所有特征圖的對應像素相乘，為所有特征圖的每個像素加權。圖5-7空間注意力模塊及使用5.2通道注意力和空間注意力5.2.3混合注意力

CBAM（ConvolutionalBlockAttentionModule）是著名的混合注意力模塊，它實質上是通道注意力和空間注意力的串行使用，圖5-8給出CBAM模塊及其組成。CBAM的使用方法與SE-Net一樣，圖5-9給出了它的使用方式。圖5-9CBAM的使用5.2通道注意力和空間注意力5.2.3混合注意力5.2通道注意力和空間注意力5.2.3混合注意力

通道注意力和空間注意力既然可以串行構成混合注意力，當然也可以并行構成混合注意力，如圖5-10所示。其使用方式與圖5-9的CBAM相同。圖5-10通道注意力和空間注意力并行構成的混合注意力5.2通道注意力和空間注意力5.2.3混合注意力

2021年的論文《CoordinateAttentionforEfficientMobileNetworkDesign》針對輕量化網絡設計提出的CA注意力就是融合了通道和位置信息的混合注意力，它與通道注意力SE-Net、CBAM的區別如圖5-11所示。圖5-11CA模塊與SE模塊、CBAM模塊的區別03自注意力機制5.3自注意力機制

自注意力機制概念5.3自注意力機制5.3.1自注意力機制的輸入方式及特性應用中自注意力機制存在兩種輸入方式：全輸入和掩膜輸入。1.全輸入5.3自注意力機制5.3.1自注意力機制的輸入方式及特性1.全輸入圖5-12全輸入自注意力機制的計算過程5.3自注意力機制5.3.1自注意力機制的輸入方式及特性2.逐項輸入（掩膜輸入）5.3自注意力機制5.3.1自注意力機制的輸入方式及特性2.逐項輸入（掩膜輸入）圖5-13掩膜輸入自注意力機制的計算過程5.3自注意力機制5.3.1自注意力機制的輸入方式及特性

圖5-14給出了全輸入自注意力機制和掩膜輸入自注意力機制所建立的輸出輸入關系圖，圖中虛線代表的是虛擬連接。

（a）全輸入

（b）掩膜輸入圖5-14自注意力機制的虛擬連接圖5.3自注意力機制5.3.1自注意力機制的輸入方式及特性

全連接網絡建立的輸入輸出關系不是輸入序列與輸出序列之間的關系，而是單一輸入和輸出之間的關系，其連接邊數是固定不變的（與矢量的個數，即特征長度相關），它是實體模型（圖5-15（a）），因而不能處理長度可變的序列。（a）全連接模型

（b）自注意力模型圖5-15全連接模型與自注意力模型的區別5.3自注意力機制5.3.2自注意力機制與RNN區別

圖5-16給出了普通RNN按輸入信息順序展開的結構圖（a）和其對應的簡圖（b）。圖5-17給出了雙向RNN按輸入信息順序展開的結構圖（a）和其對應的簡圖（b）。（a）

（b）

圖5-16普通RNN按輸入時序展開結構圖及簡圖5.3自注意力機制5.3.2自注意力機制與RNN區別

對比自注意力機制的虛擬連接圖5-14和RNN按輸入時序展開的結構簡圖，可以看到全輸入的自注意力機制和雙向RNN，掩膜輸入的自注意力機制和普通RNN在形式上基本一致。但是它們本質上是不同的，從神經網絡角度看，自注意力機制模型是依據輸入數據的自相關性的線性前向神經網絡，而RNN是有隱層反饋連接的循環神經網絡。圖5-17雙向RNN按輸入時序展開結構圖及簡圖5.3自注意力機制5.3.3自注意力機制在視覺領域的應用

圖5-18是視覺中自注意力的基本結構，FeatureMaps是由基本的深度卷積網絡得到的特征圖，如ResNet、Xception等，這些基本的深度卷積網絡被稱為backbone，通常將最后ResNet的兩個下采樣層去除，使獲得的特征圖是原輸入圖像的1/8大小。圖5-18自注意力機制在卷積神經網絡中的應用5.3自注意力機制5.3.3自注意力機制在視覺領域的應用

2017年,何凱明等人提出的Non-localNeuralNetworks（圖5-19）是著名的視覺自注意力方法，本質上就是在卷積網絡中的某一位置加入自注意力，再加一個殘差連接的模塊。這種方法在卷積網絡中的應用可以建立某層所有特征之間的聯系，提高卷積網絡的性能。由于計算需求大，建議盡量在卷積網絡的高層應用。圖5-19Non-localNeuralNetworks5.3自注意力機制5.3.3自注意力機制在視覺領域的應用DANet（DualAttentionNetworks）（圖5-20）則是將視覺通道自注意力和空間自注意力并行相加，它在語義分割中取得了良好效果。DANet中的空間自注意力模塊和通道自注意力模塊都是Non-localblock。圖5-20DANet（DualAttentionNetworks）5.3自注意力機制5.3.3自注意力機制在視覺領域的應用

圖5-21給出了兩種視覺注意力的細節，空間注意力模塊中B、C、D均由輸入A經過CNN獲得，維度均為C×H×W，然后將它們都Reshape（塑形）成C×N(N=H×W)，然后將B的轉置與C相乘得到N×N的矩陣，矩陣的每個元素表示所有特征圖上的不同像素點之間的關系，提取的是空間信息。（a）空間自注意力模塊（b）通道自注意力模塊圖5-21DANet中的兩種視覺自注意力模塊5.3自注意力機制5.3.3自注意力機制在視覺領域的應用

自注意力不僅能在處理圖像的卷積神經網絡中應用，還可以在處理視頻的CNN-RNN中應用。圖5-22給出了處理視頻序列的CNN-RNN中的自注意力機制，由于這種自注意力是加在時間維度上，針對時序任務的，也被稱為時間注意力機制。圖5-22CNN-RNN中的自注意力機制5.3自注意力機制5.3.3自注意力機制在視覺領域的應用

圖5-22是以行人視頻序列為例展示的時間自注意力。行人序列中的個別幀通常會出現遮擋問題，為此要對視頻序列中的每一幀進行加權，更準確的獲取針對整個序列的行人特征。（a）K和V的生成（b）q的生成（c）注意力權重的生成與時間注意力機制的實現圖5-23時間注意力的實現過程5.3自注意力機制5.3.3自注意力機制在視覺領域的應用04互注意力機制5.4互注意力機制

如果軟注意力機制中的K和V來自輸入信息，Q來自輸出信息，由于既用到輸入信息，又用到輸出信息，因此稱為互注意力機制。互注意力機制是一種通用的思想，本身不依賴于特定框架，但是常結合Encoder-Decoder（編碼器#譯碼器）框架使