高並列汎用分子動力学シミュレーションソフトMODYLASの

開発および研究事例紹介

2017年10月10日秋葉原UDX4階 NEXT-1

名古屋大学大学院工学研究科

吉井範行

第4回材料系ワークショップ～ 分子動力学を中心として～

産業技術として確立したコンピュータシミュレーション

物質の設計技術が非常に遅れている

分子エレクトロニクス 生体物質

ナノサイエンスの計算科学研究

巨大計算による新しい分子科学分野の創出ナノ物質計算科学、材料設計

計算科学の五つの分野

バイオインフォーマティクス

情報工学ゲノム、タンパク質、ホモロジー検索

流体力学

ナビエ・ストークスの方程式巨視量、連続体、流れ、変形

分子シミュレーション

力学、統計力学分子集団系の静的・動的性質

分子軌道法

量子化学孤立分子の電子状態

分子・物質

固体電子論

バンド理論、ＤＦＴ、ハバードモデル結晶の電子状態、スピン

電子の機能

固体

分子集合体半秩序／弱秩序

大きな熱ゆらぎ柔らかい

結晶

完全な秩序固い

多様性に富む

不均一系

均一系

系

静的理解普遍性の理解

統計的理解動的理解多様性の理解

孤立分子 クラスター

結合は固いコンフォメーションは柔らかい

静的理解多様性の理解

多様性に富む

小さな熱ゆらぎ

量子化学

分子シミュレーション

物性科学

分子の機能

金属結合、非局在電子

化学結合、共有結合

水素結合、ファンデアワールス力

ミセル、脂質膜、タンパク質、高分子

溶液、液晶、界面、不均一系

熱運動によって時々刻々構造を変化させながらも一定の秩序を保ち、 その中で多様な化学的機能を持つ

27 nm

46 nm１０００万原⼦系の基本セル

弱い相互作用 半秩序／弱秩序 大きな熱ゆらぎ

・統計的理解・動的理解 ・多様性の理解

水中の両親媒性分子

生体物質

ソフトマテリアル

集団 分子機能

熱ゆらぎ程度の弱い相互作用

分子集団によるナノスケールの半秩序／弱秩序構造の形成

集積 発現

分子集団系の新しい分子科学

本日の発表内容

•  MODYLASの概要　　　開発の経緯　　　ソフトウェアの構成•  MODYLAS研究事例紹介　　　ソフトウェアの使用例•  MODYLAS開発の現状　　　機能の拡張

開発の経緯

2000年ごろ　原型となる汎用プログラム開発（＠東工大） “NAREGI”プロジェクトの支援を得て、機能拡張、領域分割並列化

Mode

Modylas

MODYLAS

“ナノグランドチャレンジ” プロジェクトにて 京コンピュータ向けのチューニング開始

バイナリ-コード公開（www.modylas.org　Sep. 2013） ソースコード公開 (www.modylas.org Apr. 2014)

Y.Andoh et al., J. Chem. Theory Comp., 9, 3201 (2013).

著作権者名古屋大学　岡崎　進、吉井範行、　　安藤嘉倫、山田篤志、　藤本和士、小嶋秀和＋坂下達哉分子科学研究所　水谷文保、岩橋建輔

開発協力者富士通　市川真一、小松秀美、　石附　茂、武田康宏、　福島正雄金沢大学　長尾秀美、川口一朋

理研　鈴木惣一郎、南一生、　黒田明義名古屋大学　片桐孝洋、荻野正雄東京大学　大島聡史 （敬称略）

MODYLASの概要

高並列汎用分子動力学シミュレーションソフトウェア　MODYLAS・任意の分子集合体に対する汎用の古典分子動力学計算プログラム・静電相互作用を含む大規模系を、超並列スパコンにおいて高効率で並列計算可能・ナノ分野・バイオ分野における分子動力学計算に必要な各種手法を備える。【対象物質】任意の分子集合体。特にナノおよびバイオ分野の分子系。例えば溶液、ミセル、脂質膜、タンパク質、高分子、ウイルス等【求められる物理量】系の軌跡、構造、自由エネルギー等の諸熱力学量

MOlecularDYnamicsso4wareforLArgeSystem

使用言語 Fortran77&90

コンパイラ frtpx(Fujitsu),ifort(intel),pgf90(PGI)

並列化 MPI/OpenMP/SIMDhybrid

対応する力場 CHARMMwithCMAPAMBER/OPLS

アンサンブル NVE,NVT(Nose-Hoover),isotropicNPT(Nose-Anderson),anisotropicNPT(Nose-Parinello-Rahman)

数値積分 RESPA

拘束 SHAKE/ROLL,RATTLE/ROLL

長距離相互作用 FastMul[poleMethod(FMM),Par[clemeshEwaldmethod

MODYLASの概要

開発者 ソフト名 Type

CHARMM M.Karplus,　

A.D.MackerellJr.,J.Klauda

CHARMM All-atom

GROMOS H.J.C.Berendsen,W.F.vanGunsteren GROMACS United-atom

AMBER/OPLS

P.A.Kollman,W.L.Jorgensen AMBER All/United-

atom

MODYLAS_1.0.3

MODYLASの構成 汎用ポテンシャル

All-atom United-atom ex) methyl group

-CH3

MODYLASの概要

ライセンスMODYLASlicenseアプリを利用できる環境京,FX10,一般のPCクラスタ(Linux/Unix)並列化MPI並列・OpenMP並列に対応。リンクオフィシャルサイト：h`p://www.modylas.org/MateriApps：h`p://ma.cms-ini[a[ve.jp/ja/listapps/allapps/modylasPAL： h`p://pal.ims.ac.jp/pal/8000.php?t_applica[on_id=1UADフォーラム：h`p://www.modylas.org/forum

公開版のダウンロード方法

ユーザー登録が終わったら、メールにてDLサイトの連絡が来る。

www.modylas.org

ユーザー登録

名前 e-mail 所属　等

MODYLAS実行のイメージ

問題設定

求める物性の設定

システムサイズの決定

力場の設定

アンサンブルの設定

初期配置の準備

MD計算開始

MD計算終了

結果の解析

結論

Nago-Ignition, or VMD

MODYLAS

研究者が決める

自作の解析プログラム, or VMD

.dcd .mdtrj.bin

Nano-Ignition: I/O 構造 分子座標ファイル .pdb

CHARMM トポロジーファイル

CHARMM パラメータファイル

Nano-Ignition

座標データファイル .mdxyz

力場ファイル .mdff

計算条件ファイル .mddef Available operations:

・3D representation of inputted molecules ・Assignment of force field parameters ・Specification of distance constraints ・Specification of unit cell size ・Change of force field parameters ・Addition of hydrogen atoms ・Addition of solvent ・Deletion, insertion, and substitution of molecules ・Copy of molecule, ・Movement of molecules ・Addition of chemical bonds and so on (see document)

Ex) top_all22_prot.rtf

Ex) par_all22_prot.prm

A set of input files for MODYLAS

Ex) water.pdb

MODYLAS: I/O 構造

MODYLAS

ステップごとのデータ aaa.mdmntr

リスタートファイル aaa.restart.bin, or aaa.restart.asc

解析用ファイル aaa.mdtrj.bin, or aaa.dcd

MDの実行情報 aaa.mdrun

標準出力 stdout

aaa: セッションネーム

全てのI/Oファイルに 共通なファイル名

.bin : binary files

座標ファイル aaa.mdxyz

力場ファイル aaa.mdff

計算条件ファイル aaa.mddef

入力

ベンチマークテスト

100 1000 10000 1000000.1

1

10

100

1000

100001000 10000 100000 1000000

0.1

1

10

100

1000

10000

T / m

s

Ncore

Nnode

acce

lera

tion

100 1000 10000 1000000.1

1

10

100

1000

100001000 10000 100000 1000000

T / m

s

Ncore

Nnode１MDステップあたりに要する2体相互作用（●）、FMM計算（▲）、分子内相互作用（◆）、通信（■）それぞれの時間の使用ノード数依存性．PYP水溶液（1000万原子系）．

1000万原子系のMD計算1ステップに必要な計算時間（●）と64ノード使用時に対する加速率（ ▲ ）の使用ノード数依存性．

pairwiseaddi[veforcesFMMcalcula[on

intramolecularforces

communica[on[me

PYP水溶液、1000万原子系

他の汎用ソフトとの比較

•  NAMD（２０１１）20原子/coreLJcutoff1.2nm長距離相互作用はステップごとに計算（Mul[ple[mestepなし）

長距離力FMMorPME

その他 全体 備考

MODYLAS2012.3

12.1（演算9.6+通信2.5）

2.1 14.2 8192ノード×8コア

NAMD2011.11

68（8960ノードで飽和）

0.45 68.45 SC11で公表の論文

実行時間（ミリ秒/step）

ウイルスカプシドの分子動力学計算　　　大規模系

小中規模系の計算

　 ・２～３万原子系 　 ・Ｅｗａｌｄ法 　　　領域分割 　　　ＦＦＴ 　専用計算機

　 　・ＡＮＴＯＮ 　　　 　 ５１２並列 　　　 　数µｓ／ｓｔｅｐ 　　 ・ＭＤＧＲＡＰＥ

全原子計算

　~１０００万原子系

　　・周期境界条件下 　　・長距離相互作用　　

超並列コンピュータ

１００ｍｓ／ｓｔｅｐ 　・大規模並列が不可欠 　・通信もｍｓ

隣接通信化が不可欠

（ＦＦＴでは難）　　　1マイクロ秒：１０年（解析不可能）

（実効性能　0.1ペタフロップス）

旧来のスパコン

マイクロ秒程度の軌跡

27 nm

46 nm１０００万原⼦系の基本セル

MODYLAS研究事例紹介１

Y.Andoh,etal.,J.Chem.Phys.141,165101(2014).

カプシドを横切る水のストロボショット。３回回転対称軸

水の移動、交換 　　　　　　　

水と電解質の制御

25µsで、カプシド内のすべての水（約20万個）が自発交換

水分子の速い移動、交換

1nsで8±2個

内外の水の交換に平衡が成立

水の移動から見たカプシドの内側と外側の境界 電解質は不透過

MODYLAS研究事例紹介１

Y.Andoh,etal.,J.Chem.Phys.141,165101(2014).

負圧発生のメカニズム　　　　　　　

1( )3

( ) ( )

N

i ij ijj i

i i i

QV

P qQα ≠

=

=

∑r r E

r r

　２４０個の過剰な負電荷　

カプシドの過剰電荷

圧力プロフィール カプシドが作る圧力に関わるクーロン場

( )

13

i

N N

ij iji j iV

N kTPV V

α

α

αα

α α ≠∈

= + ∑ ∑r

r F

局所圧力　

MODYLAS研究事例紹介１

Y.Andoh,etal.,J.Chem.Phys.141,165101(2014).

レセプター

感染機構を解き明かすウイルスとレセプターの特異な相互作用

10,000,000原子カプシドとレセプターの結合・レセプターの構造変化？

「京」スパコンが不可欠

ウィルス全体１０００万原子系の分子動力学計算が必要

小児マヒウイルス P=1 atm, T=310.15 K

小児麻痺ウイルス

“MedicalVirology”,editedbyD.O.WhiteandF.Fenner,AcademicPress

MODYLAS研究事例紹介２

会合反応　(溶液中のN量体)+(真空中の単量体)　　　　　　　　　　　　　　　　　→ (溶液中のN+1量体)に伴う自由エネルギー変化ΔGN

0,(N量体 +単量体)と (N+1量体)との自由エネルギー変化ΔμN+1

0

𝛥𝐺↓𝑁+1↑0 𝛥𝐺↓1↑0 

𝛥𝜇↓𝑁+1↑0 

N-mer

vacuum

solu[on solu[on0 0 01 1 1 .N NG GΔµ Δ Δ+ += −

自由エネルギー計算水溶液中の分子集合体の安定性 MODYLAS研究事例紹介３

N.Yoshii,etal.,J.Chem.Phys.124,184901(2006).

水溶液中の安定性

0 0.1 0.240

60

80

100

120

140

:light scattering:time-resolved fluorescence I:time-resolved fluorescence II:time-resolved fluorescence III:neutron scattering I:neutron scattering II:this study

c-CMC / mol dm -3

N agg

rega

tion

neutron diffraction

fluorescence

light scattering this work

SDSミセルのサイズ分布

0 20 40 60 80 100 12000.10.20.30.40.50.60.70.80.91[×10-5]

N

X N

0.9CMC

CMC

2CMC

5CMC10CMC

20CMC50CMC

MODYLAS研究事例紹介３

現象の解明、モデル化、実験結果の検証

N.Yoshii,etal.,J.Chem.Phys.124,184901(2006).

結合・吸着の安定性　　　自由エネルギー計算

ミセル薬物

脂質膜

水

水

薬物のミセル・膜中への分配

MODYLAS研究事例紹介４

結合強度、結合部位の予測、特定物質分離抽出のfinetuning

K.Fujimoto,etal.,J.Chem.Phys.136,014511(2012);Mol.Simul.38342(2012);J.Chem.Phys.137094902(2012).

ＭＤソフトの現状 計算の例

対象 系・現象 対象 系・現象低分子液体、溶液 水、水溶液、

溶媒和、化学反応タンパク質 折りたたみ、酵素、イオンチャ

ンネル、阻害剤、タンパク質複合体

固体 相転移、フォノン ＤＮＡ、ＲＮＡ 不均一系、界面 結晶成長、吸着、トライ

ボ ロ ジ ー 、 蒸 発 、 凝 縮、透過、分配、界面増強スペクトル、界面張力

生体膜 脂質膜、ラフト、抗生物質、薬物透過、吸収

両親媒性分子水溶液ミセル、単分子膜、二分子膜、バイセル

球状ミセル、棒状ミセル、Ｌ膜、ＬＢ膜、ベシクル

ウイルス カプシドタンパク質

化学反応 溶液内化学反応、電解反応、自由エネルギー曲面

ガラス ガラス化、スローダイナミクス

超臨界流体 分子系、混合系、クラスターの生成

金属、半導体 電極、液体金属

高分子 分離膜、電解質膜、複雑系、スローダイナミクス

非平衡マクロ動力学 対流、ずり、核生成、流体力学

i ss i

i ss i

ss i

Q q

q

q

∈

∈

∈

=

=

=

∑

∑

∑

µ

Θ

s

i s s

r

r r 局所展開

×

××

+

多極子展開

局所展開

・・・

MODYLAS実質的に FFTfreeかつO(N)並列化

　・完全領域分割　・多階層隣接通信化

+ 周期境界条件下における多極子に対するエワルド法

大きな通信はすべて隣接通信化

= 厳密計算（精度は展開次数で制御）

長距離力の厳密計算

多極⼦展開

××

ii

××

ii

×

多重極展開

大規模系のノウハウ

データ構造　　　　　　　　　メタデータ法原子のデータ構造•  原子座標、速度、力、セグメントデータ　→　メタデータ化•  プロセスに属するサブセルを割り当てて固定　　（図では４×４のサブセルを1つのプロセスに割り当て）•  サブセル内の原子のデータをプロセスに局在化させる。グローバルに持たない→省メモリ。•  データ領域に空きを用意　→　サブセル内の原子数の増減に対応。各サブセル内の原子数に合わせて

要素数が変化。要素数情報もあわせて保持。•  メタデータ配列のまま演算も通信も行う。サブセルを表す3次元配列を持っているので、取り扱いが容易•  バッファリングやindirectaccessがない。•  サブセル単位のメタデータがキャッシュに載るようにサブセル内の原子数を調整。•  原子の運動に伴って原子の帰属するサブセルを更新 。

Cell index Z

Cell i

ndex

Y

・セグメントデータ　一塊の原子団のデータCH3、H2Oなど。原子間距離拘束の情報

大規模系のノウハウ

Y.Andoh et al., J. Chem. Theory Comp., 9, 3201 (2013).

通信量の最小化　　　　原子情報

自セルと相互作用する原子情報を集める。•  通信回数と通信量の最小化•  隣接セルと通信して1次元（z

軸）方向にデータを結合し棒状のデータを作る。

•  棒状データをy軸方向に通信し結合させて、平面状データにする。

•  x軸方向に平面状データを通信し結合させて、立方体状のデータにする。

•  多重同時通信の利用　　（各軸ごとに＋、－方向）

Step-1Step-1

Step-1Step-1

Step-2Step-2 Step-2Step-2Cell index Z

Cel

l ind

ex Y

Rank 2

Rank 0 Rank 1

Rank 3

大規模系のノウハウ

Y.Andoh et al., J. Chem. Theory Comp., 9, 3201 (2013).

大規模実行にあたって

•  MDソフトのチューニングの方針。•  理論ピーク性能比は重要？•  1MDステップの速さ至上主義。•  ノードあたりの粒子数と1MDステップの速さ。•  FFT対FMM　（通信コストは高い。）•  ノードあたりの粒子数の不均一によるロード

インバランス。•  超並列計算におけるOSのジッター。

MODYLAS開発の現状【プログラムの可読化】 ・リファクタリングにより可読性が向上。 【高速化】 ・FMM部の高速化 展開で用いる関数の変更（球面調和関数→solid harmonics） 直交座標⇔極座標の座標変換の廃止 　 多極子の回転の利用 ・通信量の削減（FMM部およびLJ＋静電直接計算部） ・演算のホットスポットについて, メニーコアアーキテクチャ対応のスレッド並列化, およびベクトル長のより長い SIMDに対応したコードの開発

【機能拡張】 ・FMMによる圧力テンソル計算コードを実装。 ・多様な自由エネルギー計算への対応（熱力学的積分、自由エネルギー摂動等）

・多様な相互作用関数への対応。（粗視化モデル、化学反応系） ・さまざまな境界条件の導入。（slabや1方向のみ周期境界条件） ・FMM由来の基本セル形状についての制限の削除