![Page 1: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/1.jpg)
Whole-Home Gesture
Recognition Using Wireless
Signals: WiSee家全体のジェスチャー認識Qifan Pu, Sidhant Gupta, Shyamnath Gollakota, and Shwetak Patel
University of Washington
Namsraijav Byambajav
Asami & Kawahara Lab., B4
1
![Page 2: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/2.jpg)
発表の流れ
2
• イントロ• 既存のジェスチャー認識技術&改善点
• WiSee
• 基本原理• 課題&解決
• 実験&結果
• まとめ
![Page 3: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/3.jpg)
既存のジェスチャー認識技術&改善点
3
• 見通し外の状況でも動作
• 機器の追加が必要ない
• 余分なセンサー等の着用が不要
[3]
![Page 4: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/4.jpg)
発表の流れ
4
• イントロ• 既存のジェスチャー認識技術&改善点
• WiSee
• 基本原理• 課題&解決
• 実験&結果
• まとめ
![Page 5: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/5.jpg)
WiSee: 基本原理
5
• Wi-Fi等の無線信号を使用• 人間の動きによる微小なドップラーシフトを観察してジェスチャーを認識
[2]
![Page 6: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/6.jpg)
WiSee:課題
6
1. 広帯域幅(20MHz以上)の無線信号から微小なドップラーシフト(10Hz~)抽出例:0.5m/sec-> 17Hzのドップラーシフト
2. ドップラーシフト情報からジェスチャーを認識
![Page 7: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/7.jpg)
課題1: 環境の無線信号からドップラーシフトを抽出
7
• 常に同じOFDM記号が送信されていると仮定する
• M個の連続したOFDM記号にFFTを適応
全サブチャネルのバンド幅はM倍に小さくなる
• しかし、実際は常に同じ記号を送信することがない
Data-equalizing re-encoderを用いると同じ手法を適用できる
[1]
![Page 8: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/8.jpg)
課題2: ドップラーシフト情報からジェスチャーを認識
8
3種類のセグメント:• 正のみ(+1)
• 負のみ(-1)
• 正と負の両方を含んでいる(2)
9つのジェスチャー[1] 周波数・時間プロファイル[1]
ドップラーシフトから得られる数列と、それぞれのジェスチャーに対する既定の数列を比較することでジェスチャー認識ができる
2 2+1
-1
-1 +1
![Page 9: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/9.jpg)
発表の流れ
9
• イントロ• 既存のジェスチャー認識技術&改善点
• WiSee
• 基本原理• 課題&解決
• 実験&結果
• まとめ
![Page 10: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/10.jpg)
実験方法:
• Software: GNURadio
• Hardware: USRP-N210
• チャネル:周波数5GHz、バンド幅10MHz
• 環境:
•オフィス
• 2LDKマンション
10
実験&結果
![Page 11: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/11.jpg)
実験1:ドップラーSN比の測定
• 人間の受信機&送信機との距離が増えるとドップラーSN比が減少
• 受信機のアンテナ数を増やすとドップラーSN比が増加、特にドップラーSN比が低い付近に有効
11
Scenario Layout [1] Doppler SN比と受信機までの距離の関係[1]
![Page 12: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/12.jpg)
9つのジェスチャーを以下の10か所で10回ずつ
• 平均認識率:94% (標準偏差4.6%)
12
実験2: 2LDKマンション
Floor plan [1]
![Page 13: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/13.jpg)
発表の流れ
13
• イントロ• 既存のジェスチャー認識技術&改善点
• WiSee
• 基本原理• 課題&解決
• 実験&結果
• まとめ
![Page 14: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/14.jpg)
まとめ
14
本研究の強み• ホームオートメーション、ヘルスケア、ゲーミング等のあらゆる場面で応用できる
• 機器の追加が必要ない• 実験では9種類のジェスチャーを94%精度で認識することに成功
実用化と商品化が十分に可能
[2]
![Page 15: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/15.jpg)
Thank You!
References:
[1] Qifan Pu, Sidhant Gupta, Shyam Gollakota, Shwetak Patel. Whole-Home Gesture Recognition Using Wireless Signals. In Mobicom 2013.
[2] WiSee. http://wisee.cs.washington.edu/
[3] https://www.microsoft-careers.com/content/hardware/hardware-story-kinect/
[4] Fan Liang. The challenges of testing MIMO. rfdesign.com/mag/511RFDF1.pdf15
![Page 16: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/16.jpg)
Appendix 1:
A Basic OFDM system
16
[1]
![Page 17: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/17.jpg)
Appendix 2:
IFFT & FFT
17
[1]
![Page 18: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/18.jpg)
Appendix 3:
A Large FFT over 2 OFDM symbols
18
[1]
![Page 19: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/19.jpg)
Appendix 4:
MIMO
19
[1]
![Page 20: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/20.jpg)
Appendix 5:
Dealing with Residual Frequency offset
20
[1]
![Page 21: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/21.jpg)
Appendix 6:
Classification accuracy versus transmitter
occupancy
21
[1]
![Page 22: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/22.jpg)
Appendix 7: Transferring to narrowband signal
Case 1: Transmitter always sends the same OFDM symbol
WiSee’s receiver performs a large FFT over M consecutive OFDM
symbols. As a consequence, the bandwidth of each OFDM sub-channel
is reduced by a factor of M. (Appx. 1,2,3)
Case 2: Transmitter sends arbitrary OFDM symbols (typical)
By using data-equalization operations we can bring it to Case 1.
22
![Page 23: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/23.jpg)
Appendix 8:
Doppler SNR is the ratio between the average energy in the non-DC
frequencies in the Doppler profile, with and without the gesture.
23
![Page 24: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/24.jpg)
Appendix 9: Confusion Matrix for Gestures in the
Home Scenario
24
[1]
たった2%(900回の内18回)が受信機で検出されなかった
![Page 25: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/25.jpg)
Appendix 10: Multiple Users
25
• 802.11n等に既存のMIMO技術を利用
• プリアンブル:反復ジェスチャー
プリアンブルを検出したらドップラーエネルギーが最大になるMIMOチャネルにセットする
[4]
![Page 26: WiSee: Whole-Home Gesture Recognition Using Wireless Signals](https://reader033.vdocuments.pub/reader033/viewer/2022052910/559a2fbb1a28ab96478b45e8/html5/thumbnails/26.jpg)
26
誤検出率(12人-オフィス部屋)[1]
干渉する人の数と認識率の関係[1]
プリアンブルの反復回数を増やすと誤検出率が低
くなる
アンテナを増やすことによってジェスチャー認識率を高くすることができる
Appendix 11:複数の人間がいる環境での評価