KeystrokeRecognitionUsingWiFiSignals利用Wifi信號的按鍵識別方法熊正強2015.11.171

目錄研究背景核心思想和系統基本架構技術挑戰相關工作系統評測總結和體會2研究背景隨著互聯網的快速發展和信息化程度的不斷提高，互聯網深刻影響著政治、經濟、文化等各個方面，保障信息安全的重要性日益凸顯，加強對互聯網上各類信息的管理應引起高度重視。按鍵（Keystroke）隱私在確保計算機系統安全和用戶人隱私方面的作用尤為關鍵。因為用戶用鍵盤正在輸入的可能是一串密碼或者其他極為隱私的敏感信息內容。在此基礎上，文章首次提出了借助Wifi信號來識別按鍵的方法。并提出了一種基于Wifi信號的按鍵識別系統，文章中稱之為Wikey系統。這種Wikey系統可以借助兩個目前市場上可買到的Wifi裝置來實現：一個信號發射器（比如Wifi路由器），一個信號接收器（比如一臺筆記本電腦）就可以組成一個簡單的Wikey系統。3核心思想和系統基本架構

核心思想：每個鍵的按鍵都會給Wifi信號引入對應的多徑失真，這種獨特性可以被用來識別按鍵。當某個人按下某一個特定的按鍵時，該用戶的雙手以及手指會按照某種特定的形式和方向移動，并因此會形成一種特殊的模式。這種模式可以用一組記載信道狀態信息值（ChannelStateInformation（CSI））的時間序列表示，文章中將此定義為該特定按鍵下的CSI-波形。4核心思想和系統基本架構

系統基本架構：文章首次提出了一種基于Wifi信號的按鍵識別系統--Wikey系統。Wikey系統有兩個市場上可買到的Wifi設備組成：一個發射器（比如無線路由器），一個接收器（比如一臺筆記本電腦）。發射器連續的發射Wifi信號，接收器連續的接收。當一個人在鍵盤上按鍵時，在Wikey系統接收端會根據信道狀態信息值（CSI）的改變來識別按鍵。ThesenderThereceiver5技術挑戰第一個技術難題是：分離出信道狀態信息值（CSI）的時間序列，并分辨出每次按鍵動作的開始時間點和終止時間點。第二個技術難題是：如何提取37個按鍵（10個數字，26個字母和一個空格鍵）的不同特征，并建立對應的分類模型。第三個技術難題是：如何在相鄰按鍵所產生的CSI值接近的情況下，比較出任意兩個不用按鍵的區別，也是能否正確識別按鍵的關鍵。6相關工作

新理念：Device-FreeActivityRecognition（不借助特定設備的人類活動識別）。

TheWiKeysystemusingCOTSdevices：i.e.aTP-LinkTL-WR1043NDWiFirouterandaLenovoX200laptopwithIntel5300WiFiNIC.

利用從這些設備的網卡上（suchas：Intel5300andAtheros9390）獲取的CSI值，可以識別人的活動甚至進行定位。不需要借助任何特定的硬件或者軟件無線電（SDR）。

7相關工作：

CHANNELSTATEINFORMATION（CSI）

現代的Wifi設備都支持IEEE802.11n/ac標準，通常都有多對發射和接收天線，因此都支持MIMO通信，而每一個MIMO信道都包含了很多不同的載波。這些無線設備會不斷地監視無線信道的狀態來高效的對每個單獨的MIMO數據流進行功率分配和速率調整。這樣一來Wifi信道的容量就能被最大化的利用。這些設備會將信道的狀態以CSI值的形式量化-----而這些CSI值基本代表了每組載波在發射端和接收端之間的信道頻率響應（CFR）的特點。

8相關工作：

CHANNELSTATEINFORMATION（CSI）

MT代表發射天線的數量MR代表接收天線的數量SC代表OFDM載波數量Xi代表發射信號矢量Yi代表接收信號矢量Ni代表噪聲矢量在上面的等式中，階信道矩陣Hi代表的就是載波i對應的信道狀態信息（CSI）。任何兩個通信中的Wifi設備都會通過定期的彼此發送一段已知的OFDM符號前綴來估計每組載波的信道狀態矩陣Hi。本文選取的Intel5300WiFiNIC使用30組OFDM載波，并且工作在20MHz無線信道中。9相關工作：

噪聲去除

因為頻繁的切換內部CSI參考等級，發射功率等級和傳輸速率，商用的Wifi網卡所提供的CSI數據不可避免的會有噪聲。要用CSI值來識別按鍵，就必須先要從CSI時間序列中移除噪聲。為此，Wikey系統會首先將CSI時間序列送入低通濾波器中來移除高頻噪聲。但是簡單的低通濾波器無法有效地濾除噪聲，而嚴格的低通濾波器會在移除噪聲的同時造成信號中有用信息的損失。因此，Wikey系統對濾波后的序列又運用了主成分分析（PrincipalComponentAnalysis(PCA))，從信號中提取了只包含由手部的運動所引起的變化信息。

10相關工作：

低通濾波

Wikey系統對所有載波的CSI時間序列都進行了巴特沃茲濾波：

（a）是一次按鍵所產生的原始CSI時間序列幅度波形圖，（b）是濾波后的CSI時間序列波形圖。可以看出通過巴特沃茲濾波成功的濾除了大部分突變噪聲。11相關工作：

主成分分析（PCA）

作者通過多次實驗發現當用戶的手部和手指運動時，會導致每對發射-接收天線對之間的所有載波上的CSI時間序列相關性的變化：

Wikey系統會權衡這些變化的相關性，計算出整個整個CSI時間序列的主要成分，并且從這些主要成分中篩選出那些最能代表整個CSI時間序列普遍變化的主要成分。12相關工作：

解決問題1：分辨出每次按鍵動作的開始時間點和終止時間點

現有的方法都是使用簡單的閾值算法來判斷一項動作的開始時間點和結束時間點，這些方法對于一些宏觀運動很有效果，但是對于例如手指按鍵盤這種時間間隔很小的連續操作往往不奏效。與傳統方法使用簡單閾值不同，本文提出了一種嚴格基于實驗觀測出的按鍵波形形狀的新算法，具有更高的識別率。通過實驗觀測發現，每一個按鍵產生的CSI序列都表現出某種類似于下圖的特定變化率的上升或下降的趨勢。本文的算法在此基礎上，使用滑動窗來檢測CSI時間序列的上升/下降趨勢，從而判斷出按鍵動作的開始/結束時間點。13相關工作：

14相關工作：

解決問題2：特征提取為了區分不同的按鍵，我們必須提取出能夠獨立的代表某個按鍵的特征：15表一中可以看出，相鄰的按鍵的很多特征值其實是幾乎一樣的，完全達不到區分不同按鍵的目的。雖然一些像Energy，Zero

Crossings的特征量看起來是有一定差異性的，但是從表二可以看出這些量因為使用者的不同具有很大隨機性。鑒于此。以上統計特征不能拿來作為建立分類器的標準。而單純的頻域分析也不可行，因為不同按鍵在頻域的組成成分十分接近。并且，單純的頻域分析會丟失波形的時域信息。16相關工作：

解決問題2：特征提取通過實驗觀測發現，不同按鍵的波形形狀有很大的不同，如上圖（a），圖（b）所示。按鍵產生的波形的形狀，既保留了信號的時域信息，又包含了信號的頻率信息，因此更加適合被用作建立分類器的特征。17相關工作：

解決問題2：特征提取直接用提取的按鍵波形形狀作為按鍵的特征來建立分類器的過程中會付出很大的計算代價，因為每一次按鍵對應的波形都有幾百個數據點。因此，文章選用離散小波變換（DiscreteWaveletTransform-DWT）在保留了時域特征和頻域特征的同時，壓縮了提取出的按鍵波形數據量。任一離散信號y[n]的離散小波變換可以寫成小波基函數的形式：18相關工作：

解決問題2：特征提取直接用提取的按鍵波形形狀作為按鍵的特征來建立分類器的過程中會付出很大的計算代價，因為每一次按鍵對應的波形都有幾百個數據點。因此，文章選用離散小波變換（DiscreteWaveletTransform-DWT）在保留了時域特征和頻域特征的同時，壓縮了提取出的按鍵波形數據量。任一離散信號y[n]的離散小波變換可以寫成小波基函數的形式：19相關工作：

解決問題2：特征提取為了有效地完成數據壓縮，必須合理的選擇小波基地。文章比較了兩種不同的小波濾波器DaubechiesandSymlets。最終選擇了Daubechies小波濾波器，因為使用這種濾波器時分類器具有更高的識別率.20相關工作：

解決問題3：分類在獲取了基于DTW的按鍵波形形狀特征之后，Wikey系統會針對不同的按鍵特征進行訓練，并生成分類模型。這里，文章中選取了著