mec用マルチノード統合 システムの開発am.ics.keio.ac.jp › wordpress › wp-content...
TRANSCRIPT
MEC用マルチノード統合システムの開発
研究提案者 天野英晴(慶應義塾大学)
共同研究者(1) 飯田全広(熊本大学)
共同研究者(2) 菅谷みどり(芝浦工業大学)
共同研究者(3)西宏章 (慶應義塾大学)
共同研究者(4)若林一敏(日本電気(株))
1
戦略的創造研究推進事業(CREST) 研究領域「コンピューティング基盤」
背景:エッジの高機能化がSociety5.0実現の鍵
2
Society5.0の実現には、エッジ領域の高機能化による、個人情報のカプセル化、IoTのローカルな管理、クラウドへの情報輻輳を防ぐ事前処理などによる、クラウドとのシームレスな連携や、情報管理が不可欠
Cloud
Edge
IoT
クラウドによるSociety5.0インフラ
本研究提案で目指すSociety5.0インフラ(IEEE-SA Vision Project提案済)
×通信遅延の問題×個人情報移動の
問題
〇サービス対象と実態が近く低遅延
〇通信遅延に応じたサービス提供場所
〇個人情報が適所に適した形で存在
〇総合処理性能
5Gの発達によりこの状況がより現実的になってきた →MEC(Multi-Access edge Computing)
MEC
Edge
5G通信の普及Edge
3
本提案が目指すこと
• MEC(Multi-access Edge Computing)によるSociety5.0の実現• MECとは?
→エッジデバイスがつながる無線網の基地局近傍に計算資源を配置して行う処理• 基地局近傍に配置→性能・電力的に制限のあるエッジデバイスの処理をオフロード
• 低遅延・無制御の輻輳が発生しない→通信性能の点では準リアルタイム処理が可能
• 当該基地局につながる様々なデバイスを同時サポート→クラウド的共有資源
• 基地局の消費電力削減が必要→低消費電力への要求が大きい
• 工場制御、交通制御、電力制御などの準リアルタイム処理への適用
• 将来は自動運転など本格的なリアルタイム処理も期待されている。
ナッジスマートホームサービス
HEMS
HEMS
家庭領域
BLE位置情報システム
街区領域
分散電源管理
電子マネーカード情報(WAON)
活動量情報
スマートメータ情報
スマートメータ
自転車位置情報
ペット位置情報 衝突回避
通学児童位置情報
商業領域
セキュリティ
スマートコミュニティでの応用(西G)
4
省電力・情報のカプセル化・匿名化・低遅延化などのユビキタスソリューション・位置情報サービス:位置情報をローカルにカプセル化、タイムクリティカルな衝突回避をローカルで解決・健康・購買サービス:購買情報即時匿名化とカプセル化、健康情報匿名化と地域健康サービス(健康ポイント)・家庭領域:家庭にける個人情報をローカルにカプセル化、ローカル電力需給の即時制御各種プロトコル対応・IEEE 1451, IEEE 1888, IEEEP2805, OpenADR, ECHONET Lite, MQTT, SNMP, XMPP, SOAP, REST, etc.実際にスマートタウン情報(さいたま市浦和美園地区UDCMi 代表など)を利用した評価を行う
MEC
MEC
体組成計情報
MEC
マルチドメインマルチプロトコル
FPGA
DSA
FPGA
MemoryCPU
Switch
Core
DSA
FPGA
MemoryCPU
Switch
CoreFPGA
FPGA
MemoryCPU
Switch
Core
クラウド
5
本提案でやること
• MECのためのコンピューティングシステムを開発する。• 低消費電力で準リアルタイム処理(処理時間・スループット保証)
• リアルタイム処理が行えるFPGA, DSAを使用• 複数のFPGA, DSAの資源プールから、要求に応じてエッジデバイスに一部を割り当て
• 個々の用途に性能を保証するハードウェア環境を提供
• 個々の処理ノードよりも重要なのは• どのように接続し
• どのように制御し
• どのようにプログラミングするか?
• 複数の異種のノード(FPGA, DSA)を、スイッチ内データ処理機能を持つ「Crust-Core型スイッチHUB」により接続したヘテロジーニアスシステム
システム構成
6
ミドルウェア/ランタイムAPI
高位合成システム
Reconfigurable Core
制御プロセッサ
SERDESHw.
Switch
Hard Crust(Shell) シリアルリンク
組み込みまたは積層
SERDESHw.
Crust-Core HUB
Hwアクセラレータ
SLM細粒度ロジック
目的特化CGRA
FPGA
FPGA
DSA
DSA
Crust Core HUB
Crust Core HUB
Crust Core HUB
Crust Core HUB
Crust Core HUB
Crust Core HUB
FPGA
FPGA
DSA
DSAF
PG
A
FP
GA
DS
A
DS
A
Edge Device Edge Device Edge Device Edge Device
5G Radio
5G Control Plane
5G User Plane
Multi-AccessEdge
クラウド
分散制御OS
Crust-Core型HUB:ノード間を接続するスマートHUBH
yp
erR
AM
SE
RD
ES
128bit程度に展開
HyperBus/xSPISTDM/
パケット可変switch
100-200MHz程度で動作
Crust部:固定、スイッチの構造は変更可能
Core部:SLM再構成ロジック(飯田G)
制御プロセッサ
SE
RD
ES
HyperBus/xSPI
ハードウェアによる固定領域高速入出力インタフェース:
ノード、エッジデバイスの接続スイッチ機能:
サーキットスイッチによる固定遅延、帯域確保
制御プロセッサ:スイッチ内機能の制御
HUB内アクセラレータ領域目的特化CGRA、ハードウェアア
クアクセラレータ、SLM細粒度再構成ロジックなどを実装して、用途ごとの処理を実装
スイッチ内で固定遅延、スループット保証のストリーム型データ処理を行う
Crust部
Core部
マルチFPGA、マルチCrust-Core高位合成環境 (若林G)
センサ値センサ入力
画像入力
フィルタ処理
PID制御
停止判断
画像
フィルタ後データ
推論処理
モータ駆動モータ出力値
特徴量特徴量抽出
学習用画像選択
学習用画像学習処理
推論結果
学習結果
学習結果重み更新
マイクロ秒オーダの最大遅延要求
ミリ秒オーダの最大遅延要求
Crust VMM・OSを用いたヘテロジニアスなシステムの支援
・DSA/FPGAの仮想化→ヘテロジニアスなシステムの統一的な扱いが可能
・MECコンポーネント・スケジューラ→ソフトウェアから複数DSA/複数FPGA間接続を効率よく使用可能
・5Gネットワークによる仮想専用線通信を活用した三段構成の全体システム→暗号化によるセキュアなデータ通信
Crust-Core型再構成デバイス(複数 中規模デバイス)
AI-DB バッチ学習連携
Cloud Edge IoTDevice
認識処理
機械学習
最適化
匿名化処理
アクセラレータ
暗号化処理
様々な要求を持つデータ
パーソナルデータ
CrustVMM
ITOS
MEC コントローラースケジューラ
仮想専用線通信(5G) , 遅延・帯域保証
大量のストリームデータ
学習データモデルレポジトリ
FPGA
DSA
FPGA
CPU
Switch
Core
DSA
FPGA
DSA
FPGA
MemoryCPU
Switch
Core
基盤ソフトウェア環境(菅谷G)
Sensor / Actuator
Crust-Core型再構成デバイス(小規模デバイス)
FPGA
DSA組込みRTOS
CrustVMM
準タイムクリティカル処理
ローカル通信、遅延・帯域保証
処理(MECコンポーネント)データ
操作
データフロー
IT OS
リアルタイムフィードバック
(マイクロ秒)
MECコンポーネントによるシステムモデルからのプログラム生成
・ソフト/DSA/FPGAの区別無く表現→電力制約・リアルタイム性要求モデルによる最適化・処理をCloud/MEC/Edgeに自由に配置 →コンポーネント再利用による開発生産性向上
システムモデル例
・DNN推論処理のDSA/FPGAによる高エネルギー効率な実現→低消費電力エッジノードによるAI実行環境
・大量のセンサデータを収集し効率よくバッチ学習用データを収集→高機能AI学習環境と低消費電力エッジAI実行環境の連携
タイムクリティカル処理
RTOS
ファームリアルタイムフィードバック
(サブミリ秒)
省電力
mruby/C
ソフトリアルタイムフィードバック
(数百ミリ秒, ジッタ)
非リアルタイム
オンライン学習
Multi accessEdge (MEC)
飯田G再構成ロジック
天野GCrust-Core型 HUB
2019 2020 2021 2022 2023
細粒度再構成用CAD開発
TEGリメイク
フィードバックによるチップ改善あるいはリメイク
若林G高位合成
菅谷Gシステムソフトウェア
西Gアプリケーション
FPGA版用統合高位合成ツール開発
マルチFPGA用ミドルウェア開発
マルチFPGA・DSA版による統合システムソフトウェア開発
コミュニティデータ収集 マルチFPGA・DSA混合環境による社会実験
Crust- Core実用チップ
FPGA HUBロジック開発
2024
Crust-Core HUBによる社会実験
Crust-Core型TEG
シリアルリンク、CPUスイッチIP設計
マルチFPGA・DSA用高位合成ツール開発
関数型言語によるマルチFPGA・Acc用高速設計環境
Crust-Core HUB用高位合成ツール開発
Crust-Core型CAD開発
Crust-Core HUB版統合システムソフトウェア開発
10
第一期の計画:プロトタイプとしてのFiC
Hyp
erR
AM
SE
RD
ES
128bit程度に展開
HyperBus/xSPI
STDM/パケット
可変switch
100-200MHz程度で動作
Crust部:固定、スイッチの構造は変更可能
Core部:SLM再構成ロジック(飯田G)
制御プロセッサ
SE
RD
ES
DDR4SDRAM(16GB×2)高速シリアル
リンク9.9Gbps
Rasbpi-3
Crust-Core型HUBチップ
FiC-SWボード
Kintex UltrascaleXCKU115/095
The current FiC with 24 boards
STDM (Static Time Division Multiplexing)
12
Port1
Port2
Port3
Port 4
Port1
Port2
Port3
Port 4
S1
S2
S3
S4
S1
S2
S3
S4
S1
S2
S3
S4
S1
S2
S3
S4
P2S1 P2S2 P1S3 P3S4 P2S1 P2S2P1S3 P3S4…. ….port1
• 出発地、目的地間にサーキットスイッチを形成
• 固定バンド幅とレイテンシィを実現
0
0.5
1
1.5
2
2.5
3
3.5
4
4 32 256 2048 16384 131072 1048576
バン
ド幅
(GB
/sec
)
データサイズ(Byte)
GPUtoGPU(PEACH3)
GPUtoGPU(PEACH2)
GPUtoGPU(MPI/IB)
Transferred Data (Byte)
Ban
dw
idth
(G
B /
sec)
FiC 2slot
PEACH2/3、 MPI/Infinibandとの比較(バンド幅)
Kaneda, et.al “Performance Evaluation of PEACH3: FPGA switch for Tightly Coupled Accelerators,”
HEART 2017
0
1
2
3
4
5
6
8 32 128 512
レイ
テン
シ(μsec)
データサイズ(Byte)
GPUtoGPU(PEACH3)
GPUtoGPU(PEACH2)
GPUtoGPU(MPI/IB)
Late
ncy
(μsec)
Transferred Data (Byte)
FiC 2slot (450ns)
K’s Tofu (100ns)
Ajima, et.al “The Tofu Interconnect,” Hot Interconnect 2012
PEACH2/3、 MPI/Infinibandとの比較(レイテンシィ)
15
本研究のアピールポイント
• アプリケーションからチップまでの垂直統合チーム
• 異文化技術の相互利用
• オープンな技術、国産技術主導
• 各技術項目• Crust-Core型再構成デバイス、設計環境
• 現在のハイエンドFPGAと同程度の転送容量を約半分のエネルギーで実現• STDMスイッチによる帯域、レイテンシ保証、パケット交換方式に切り替え可能• 分散スイッチにより40nmプロセスでありながら最新のStratix 10並の動作周波数を実現• 現在のFPGAよりも面積効率に優れたCore部、目的に応じて様々なアクセラレータも搭載可能
• 基盤ソフトウェア構成• Crust VMMによるDSA/FPGAの抽象化 → ヘテロジニアスなシステムの統一的な扱いが可能• Edge, Multi-Edge, Cloudの三段構成により、実時間処理と消費電力制約を満たす最適なシステムを実現• 仮想専用線通信(5G) ・DSA暗号化を用いることで、遅延・帯域・セキュリティを考慮したAI-DBバッチ学習の
標準環境を実現• 高位合成
• Crust-Core型再構成デバイス内のSLM回路の自動生成、複数FPGA,DSAに跨った統合設計環境• アプリケーション
• 実際のスマートコミュニティ(さいたま市浦和美園地区)を利用した実証実験
16
将来展望
• 5G技術との連携
• 規格化、標準化• ヘテロジーニアス、実時間処理用ソフトウェア環境の標準化
• マルチFPGA用CADシステムの公開
• SLM細粒度デバイス、STDMスイッチIPの公開
• アプリケーションに関する標準化• IEEE-SA Vision Project : 階層・匿名インフラ等、提案済技術標準化シードを実現
• IEEE P2805, 1451シリーズ : 提案済IoT向け情報管理・エッジシステムで標準獲得
• 学術分野の立ち上げ• MECを念頭に置いた組み込みソフトウェア、高位合成、リコンフィギャラブルシ
ステム、スマートシティなど、本プロジェクトでの異文化交流を発展させる
• MECによるSociety5.0の実現に向けた学術分野を立ち上げる