高並列汎用分子動力学 シミュレーションソフ …...acceleration 100 1000 10000...
TRANSCRIPT
高並列汎用分子動力学シミュレーションソフトMODYLASの
開発および研究事例紹介
2017年10月10日秋葉原UDX4階 NEXT-1
名古屋大学大学院工学研究科
吉井範行
第4回材料系ワークショップ~ 分子動力学を中心として~
産業技術として確立したコンピュータシミュレーション
物質の設計技術が非常に遅れている
分子エレクトロニクス 生体物質
ナノサイエンスの計算科学研究
巨大計算による新しい分子科学分野の創出ナノ物質計算科学、材料設計
計算科学の五つの分野
バイオインフォーマティクス
情報工学ゲノム、タンパク質、ホモロジー検索
流体力学
ナビエ・ストークスの方程式巨視量、連続体、流れ、変形
分子シミュレーション
力学、統計力学分子集団系の静的・動的性質
分子軌道法
量子化学孤立分子の電子状態
分子・物質
固体電子論
バンド理論、DFT、ハバードモデル結晶の電子状態、スピン
電子の機能
固体
分子集合体半秩序/弱秩序
大きな熱ゆらぎ柔らかい
結晶
完全な秩序固い
多様性に富む
不均一系
均一系
系
静的理解普遍性の理解
統計的理解動的理解多様性の理解
孤立分子 クラスター
結合は固いコンフォメーションは柔らかい
静的理解多様性の理解
多様性に富む
小さな熱ゆらぎ
量子化学
分子シミュレーション
物性科学
分子の機能
金属結合、非局在電子
化学結合、共有結合
水素結合、ファンデアワールス力
ミセル、脂質膜、タンパク質、高分子
溶液、液晶、界面、不均一系
熱運動によって時々刻々構造を変化させながらも一定の秩序を保ち、 その中で多様な化学的機能を持つ
27 nm
46 nm1000万原⼦系の基本セル
弱い相互作用 半秩序/弱秩序 大きな熱ゆらぎ
・統計的理解・動的理解 ・多様性の理解
水中の両親媒性分子
生体物質
ソフトマテリアル
集団 分子機能
熱ゆらぎ程度の弱い相互作用
分子集団によるナノスケールの半秩序/弱秩序構造の形成
集積 発現
分子集団系の新しい分子科学
本日の発表内容
• MODYLASの概要 開発の経緯 ソフトウェアの構成• MODYLAS研究事例紹介 ソフトウェアの使用例• MODYLAS開発の現状 機能の拡張
開発の経緯
2000年ごろ 原型となる汎用プログラム開発(@東工大) “NAREGI”プロジェクトの支援を得て、機能拡張、領域分割並列化
Mode
Modylas
MODYLAS
“ナノグランドチャレンジ” プロジェクトにて 京コンピュータ向けのチューニング開始
バイナリ-コード公開(www.modylas.org Sep. 2013) ソースコード公開 (www.modylas.org Apr. 2014)
Y.Andoh et al., J. Chem. Theory Comp., 9, 3201 (2013).
著作権者名古屋大学 岡崎 進、吉井範行、 安藤嘉倫、山田篤志、 藤本和士、小嶋秀和+坂下達哉分子科学研究所 水谷文保、岩橋建輔
開発協力者富士通 市川真一、小松秀美、 石附 茂、武田康宏、 福島正雄金沢大学 長尾秀美、川口一朋
理研 鈴木惣一郎、南一生、 黒田明義名古屋大学 片桐孝洋、荻野正雄東京大学 大島聡史 (敬称略)
MODYLASの概要
高並列汎用分子動力学シミュレーションソフトウェア MODYLAS・任意の分子集合体に対する汎用の古典分子動力学計算プログラム・静電相互作用を含む大規模系を、超並列スパコンにおいて高効率で並列計算可能・ナノ分野・バイオ分野における分子動力学計算に必要な各種手法を備える。【対象物質】任意の分子集合体。特にナノおよびバイオ分野の分子系。例えば溶液、ミセル、脂質膜、タンパク質、高分子、ウイルス等【求められる物理量】系の軌跡、構造、自由エネルギー等の諸熱力学量
MOlecularDYnamicsso4wareforLArgeSystem
使用言語 Fortran77&90
コンパイラ frtpx(Fujitsu),ifort(intel),pgf90(PGI)
並列化 MPI/OpenMP/SIMDhybrid
対応する力場 CHARMMwithCMAPAMBER/OPLS
アンサンブル NVE,NVT(Nose-Hoover),isotropicNPT(Nose-Anderson),anisotropicNPT(Nose-Parinello-Rahman)
数値積分 RESPA
拘束 SHAKE/ROLL,RATTLE/ROLL
長距離相互作用 FastMul[poleMethod(FMM),Par[clemeshEwaldmethod
MODYLASの概要
開発者 ソフト名 Type
CHARMM M.Karplus,
A.D.MackerellJr.,J.Klauda
CHARMM All-atom
GROMOS H.J.C.Berendsen,W.F.vanGunsteren GROMACS United-atom
AMBER/OPLS
P.A.Kollman,W.L.Jorgensen AMBER All/United-
atom
MODYLAS_1.0.3
MODYLASの構成 汎用ポテンシャル
All-atom United-atom ex) methyl group
-CH3
MODYLASの概要
ライセンスMODYLASlicenseアプリを利用できる環境京,FX10,一般のPCクラスタ(Linux/Unix)並列化MPI並列・OpenMP並列に対応。リンクオフィシャルサイト:h`p://www.modylas.org/MateriApps:h`p://ma.cms-ini[a[ve.jp/ja/listapps/allapps/modylasPAL: h`p://pal.ims.ac.jp/pal/8000.php?t_applica[on_id=1UADフォーラム:h`p://www.modylas.org/forum
公開版のダウンロード方法
ユーザー登録が終わったら、メールにてDLサイトの連絡が来る。
www.modylas.org
ユーザー登録
名前 e-mail 所属 等
MODYLAS実行のイメージ
問題設定
求める物性の設定
システムサイズの決定
力場の設定
アンサンブルの設定
初期配置の準備
MD計算開始
MD計算終了
結果の解析
結論
Nago-Ignition, or VMD
MODYLAS
研究者が決める
自作の解析プログラム, or VMD
.dcd .mdtrj.bin
Nano-Ignition: I/O 構造 分子座標ファイル .pdb
CHARMM トポロジーファイル
CHARMM パラメータファイル
Nano-Ignition
座標データファイル .mdxyz
力場ファイル .mdff
計算条件ファイル .mddef Available operations:
・3D representation of inputted molecules ・Assignment of force field parameters ・Specification of distance constraints ・Specification of unit cell size ・Change of force field parameters ・Addition of hydrogen atoms ・Addition of solvent ・Deletion, insertion, and substitution of molecules ・Copy of molecule, ・Movement of molecules ・Addition of chemical bonds and so on (see document)
Ex) top_all22_prot.rtf
Ex) par_all22_prot.prm
A set of input files for MODYLAS
Ex) water.pdb
MODYLAS: I/O 構造
MODYLAS
ステップごとのデータ aaa.mdmntr
リスタートファイル aaa.restart.bin, or aaa.restart.asc
解析用ファイル aaa.mdtrj.bin, or aaa.dcd
MDの実行情報 aaa.mdrun
標準出力 stdout
aaa: セッションネーム
全てのI/Oファイルに 共通なファイル名
.bin : binary files
座標ファイル aaa.mdxyz
力場ファイル aaa.mdff
計算条件ファイル aaa.mddef
入力
ベンチマークテスト
100 1000 10000 1000000.1
1
10
100
1000
100001000 10000 100000 1000000
0.1
1
10
100
1000
10000
T / m
s
Ncore
Nnode
acce
lera
tion
100 1000 10000 1000000.1
1
10
100
1000
100001000 10000 100000 1000000
T / m
s
Ncore
Nnode1MDステップあたりに要する2体相互作用(●)、FMM計算(▲)、分子内相互作用(◆)、通信(■)それぞれの時間の使用ノード数依存性.PYP水溶液(1000万原子系).
1000万原子系のMD計算1ステップに必要な計算時間(●)と64ノード使用時に対する加速率( ▲ )の使用ノード数依存性.
pairwiseaddi[veforcesFMMcalcula[on
intramolecularforces
communica[on[me
PYP水溶液、1000万原子系
他の汎用ソフトとの比較
• NAMD(2011)20原子/coreLJcutoff1.2nm長距離相互作用はステップごとに計算(Mul[ple[mestepなし)
長距離力FMMorPME
その他 全体 備考
MODYLAS2012.3
12.1(演算9.6+通信2.5)
2.1 14.2 8192ノード×8コア
NAMD2011.11
68(8960ノードで飽和)
0.45 68.45 SC11で公表の論文
実行時間(ミリ秒/step)
ウイルスカプシドの分子動力学計算 大規模系
小中規模系の計算
・2~3万原子系 ・Ewald法 領域分割 FFT 専用計算機
・ANTON 512並列 数µs/step ・MDGRAPE
全原子計算
~1000万原子系
・周期境界条件下 ・長距離相互作用
超並列コンピュータ
100ms/step ・大規模並列が不可欠 ・通信もms
隣接通信化が不可欠
(FFTでは難) 1マイクロ秒:10年(解析不可能)
(実効性能 0.1ペタフロップス)
旧来のスパコン
マイクロ秒程度の軌跡
27 nm
46 nm1000万原⼦系の基本セル
MODYLAS研究事例紹介1
Y.Andoh,etal.,J.Chem.Phys.141,165101(2014).
カプシドを横切る水のストロボショット。3回回転対称軸
水の移動、交換
水と電解質の制御
25µsで、カプシド内のすべての水(約20万個)が自発交換
水分子の速い移動、交換
1nsで8±2個
内外の水の交換に平衡が成立
水の移動から見たカプシドの内側と外側の境界 電解質は不透過
MODYLAS研究事例紹介1
Y.Andoh,etal.,J.Chem.Phys.141,165101(2014).
負圧発生のメカニズム
1( )3
( ) ( )
N
i ij ijj i
i i i
QV
P qQα ≠
=
=
∑r r E
r r
240個の過剰な負電荷
カプシドの過剰電荷
圧力プロフィール カプシドが作る圧力に関わるクーロン場
( )
13
i
N N
ij iji j iV
N kTPV V
α
α
αα
α α ≠∈
= + ∑ ∑r
r F
局所圧力
MODYLAS研究事例紹介1
Y.Andoh,etal.,J.Chem.Phys.141,165101(2014).
レセプター
感染機構を解き明かすウイルスとレセプターの特異な相互作用
10,000,000原子カプシドとレセプターの結合・レセプターの構造変化?
「京」スパコンが不可欠
ウィルス全体1000万原子系の分子動力学計算が必要
小児マヒウイルス P=1 atm, T=310.15 K
小児麻痺ウイルス
“MedicalVirology”,editedbyD.O.WhiteandF.Fenner,AcademicPress
MODYLAS研究事例紹介2
会合反応 (溶液中のN量体)+(真空中の単量体) → (溶液中のN+1量体)に伴う自由エネルギー変化ΔGN
0,(N量体 +単量体)と (N+1量体)との自由エネルギー変化ΔμN+1
0
𝛥𝐺↓𝑁+1↑0 𝛥𝐺↓1↑0
𝛥𝜇↓𝑁+1↑0
N-mer
vacuum
solu[on solu[on0 0 01 1 1 .N NG GΔµ Δ Δ+ += −
自由エネルギー計算水溶液中の分子集合体の安定性 MODYLAS研究事例紹介3
N.Yoshii,etal.,J.Chem.Phys.124,184901(2006).
水溶液中の安定性
0 0.1 0.240
60
80
100
120
140
:light scattering:time-resolved fluorescence I:time-resolved fluorescence II:time-resolved fluorescence III:neutron scattering I:neutron scattering II:this study
c-CMC / mol dm -3
N agg
rega
tion
neutron diffraction
fluorescence
light scattering this work
SDSミセルのサイズ分布
0 20 40 60 80 100 12000.10.20.30.40.50.60.70.80.91[×10-5]
N
X N
0.9CMC
CMC
2CMC
5CMC10CMC
20CMC50CMC
MODYLAS研究事例紹介3
現象の解明、モデル化、実験結果の検証
N.Yoshii,etal.,J.Chem.Phys.124,184901(2006).
結合・吸着の安定性 自由エネルギー計算
ミセル薬物
脂質膜
水
水
薬物のミセル・膜中への分配
MODYLAS研究事例紹介4
結合強度、結合部位の予測、特定物質分離抽出のfinetuning
K.Fujimoto,etal.,J.Chem.Phys.136,014511(2012);Mol.Simul.38342(2012);J.Chem.Phys.137094902(2012).
MDソフトの現状 計算の例
対象 系・現象 対象 系・現象低分子液体、溶液 水、水溶液、
溶媒和、化学反応タンパク質 折りたたみ、酵素、イオンチャ
ンネル、阻害剤、タンパク質複合体
固体 相転移、フォノン DNA、RNA 不均一系、界面 結晶成長、吸着、トライ
ボ ロ ジ ー 、 蒸 発 、 凝 縮、透過、分配、界面増強スペクトル、界面張力
生体膜 脂質膜、ラフト、抗生物質、薬物透過、吸収
両親媒性分子水溶液ミセル、単分子膜、二分子膜、バイセル
球状ミセル、棒状ミセル、L膜、LB膜、ベシクル
ウイルス カプシドタンパク質
化学反応 溶液内化学反応、電解反応、自由エネルギー曲面
ガラス ガラス化、スローダイナミクス
超臨界流体 分子系、混合系、クラスターの生成
金属、半導体 電極、液体金属
高分子 分離膜、電解質膜、複雑系、スローダイナミクス
非平衡マクロ動力学 対流、ずり、核生成、流体力学
i ss i
i ss i
ss i
Q q
q
q
∈
∈
∈
=
=
=
∑
∑
∑
µ
Θ
s
i s s
r
r r 局所展開
×
××
+
多極子展開
局所展開
・・・
MODYLAS実質的に FFTfreeかつO(N)並列化
・完全領域分割 ・多階層隣接通信化
+ 周期境界条件下における多極子に対するエワルド法
大きな通信はすべて隣接通信化
= 厳密計算(精度は展開次数で制御)
長距離力の厳密計算
多極⼦展開
××
ii
××
ii
×
多重極展開
大規模系のノウハウ
データ構造 メタデータ法原子のデータ構造• 原子座標、速度、力、セグメントデータ → メタデータ化• プロセスに属するサブセルを割り当てて固定 (図では4×4のサブセルを1つのプロセスに割り当て)• サブセル内の原子のデータをプロセスに局在化させる。グローバルに持たない→省メモリ。• データ領域に空きを用意 → サブセル内の原子数の増減に対応。各サブセル内の原子数に合わせて
要素数が変化。要素数情報もあわせて保持。• メタデータ配列のまま演算も通信も行う。サブセルを表す3次元配列を持っているので、取り扱いが容易• バッファリングやindirectaccessがない。• サブセル単位のメタデータがキャッシュに載るようにサブセル内の原子数を調整。• 原子の運動に伴って原子の帰属するサブセルを更新 。
Cell index Z
Cell i
ndex
Y
・セグメントデータ 一塊の原子団のデータCH3、H2Oなど。原子間距離拘束の情報
大規模系のノウハウ
Y.Andoh et al., J. Chem. Theory Comp., 9, 3201 (2013).
通信量の最小化 原子情報
自セルと相互作用する原子情報を集める。• 通信回数と通信量の最小化• 隣接セルと通信して1次元(z
軸)方向にデータを結合し棒状のデータを作る。
• 棒状データをy軸方向に通信し結合させて、平面状データにする。
• x軸方向に平面状データを通信し結合させて、立方体状のデータにする。
• 多重同時通信の利用 (各軸ごとに+、-方向)
Step-1Step-1
Step-1Step-1
Step-2Step-2 Step-2Step-2Cell index Z
Cel
l ind
ex Y
Rank 2
Rank 0 Rank 1
Rank 3
大規模系のノウハウ
Y.Andoh et al., J. Chem. Theory Comp., 9, 3201 (2013).
大規模実行にあたって
• MDソフトのチューニングの方針。• 理論ピーク性能比は重要?• 1MDステップの速さ至上主義。• ノードあたりの粒子数と1MDステップの速さ。• FFT対FMM (通信コストは高い。)• ノードあたりの粒子数の不均一によるロード
インバランス。• 超並列計算におけるOSのジッター。
MODYLAS開発の現状【プログラムの可読化】 ・リファクタリングにより可読性が向上。 【高速化】 ・FMM部の高速化 展開で用いる関数の変更(球面調和関数→solid harmonics) 直交座標⇔極座標の座標変換の廃止 多極子の回転の利用 ・通信量の削減(FMM部およびLJ+静電直接計算部) ・演算のホットスポットについて, メニーコアアーキテクチャ対応のスレッド並列化, およびベクトル長のより長い SIMDに対応したコードの開発
【機能拡張】 ・FMMによる圧力テンソル計算コードを実装。 ・多様な自由エネルギー計算への対応(熱力学的積分、自由エネルギー摂動等)
・多様な相互作用関数への対応。(粗視化モデル、化学反応系) ・さまざまな境界条件の導入。(slabや1方向のみ周期境界条件) ・FMM由来の基本セル形状についての制限の削除