The world leader in serving science

2017-03サーモフィッシャーサイエンティフィック ライフテクノロジーズジャパン テクニカルサポート

データ管理（アーカイブ、インポート）データ管理（アーカイブ、インポート）データ管理（アーカイブ、インポート）データ管理（アーカイブ、インポート）

このこのこのこの資料資料資料資料はははは Torrent Suite 5.0/5.2 の仕様に基づいていますの仕様に基づいていますの仕様に基づいていますの仕様に基づいています。。。。

2

目次

�データ管理の概要

•データ管理 概要図

•用語の説明

•使用頻度の高いLinuxコマンド

�データ管理の前準備

•PuTTyを用いたTorrent Serverへの接続

•ハードディスクの接続と確認

•自動マウントの確認とアンマウント

•パーティションの確認と作成

•ハードディスクのフォーマットとマウント

�データ管理機能の操作方法

•自動データ管理機能の設定

•手動データ管理機能

•データのインポート機能

�ハードディスクの取り外し

•ハードディスクのアンマウント

�補足

ページ

-4-

-5-

-6-

-10-

-13-

-14-

-15-

-17-

-20-

-21-

-22-

-26-

3

データ管理の概要データ管理の概要データ管理の概要データ管理の概要

4

データ管理 概要図

外付けハードディスクデバイス（数TB）Torrent Server

データのアーカイブ（退避）、エクスポート（コピー）データのアーカイブ（退避）、エクスポート（コピー）データのアーカイブ（退避）、エクスポート（コピー）データのアーカイブ（退避）、エクスポート（コピー）

データのインポート（戻し）データのインポート（戻し）データのインポート（戻し）データのインポート（戻し）

（複数接続も可）

別のTorrent Server

PCトレントブラウザのData Management画面で操作・管理が可能

LAN経由で接続

5

・ext4Linux向けファイルシステムの一種 (パーティションを”フォーマット”する方式)

・マウント

フォーマットされたパーティションを、特定のディレクトリに結びつけて参照

や書き込みができるようにします。Linuxでは手動での実行が必要な場合があります。

NTFSFAT32

C:ドライブD:ドライブ…

Windowsでは

用語の説明

マウントは基

本的に自動で

行われる

トレントサーバ（Linux OS）では

・ディレクトリ

複数のファイルを格納し、ファイルを分類・整理することができる保管場所

のこと

フォルダ

・パーティション

ハードディスクの内のデータの仕切りのこと

/dev/sdb2/dev/sdb1

外付けHDDのパーティションが2つの場合

6

使用頻度の高いLinuxコマンド

【一般的】

cd 作業ディレクトリ（フォルダ）の移動

ls ファイル・ディレクトリのリストを表示

vi ファイルの編集

less ファイル内容の閲覧

cat ファイルの連結

cp サーバ内のファイル・ディレクトリのコピー

rm ファイル・ディレクトリの削除

【主にデータ管理】

df -HT ディスク・ドライブ使用量の表示

mkfs パーティションのフォーマット

mkdir ディレクトリの作成

mount ファイル・システム（ハードディスク）のマウント

umount ファイル・システム（ハードディスク）のアンマウント

rsync -a サーバー間のファイルのコピー

du -sm ディスク使用量の表示（メガバイト単位）

chmod 権限変更（閲覧、上書き、削除などの許可）

7

データ管理のための前準備データ管理のための前準備データ管理のための前準備データ管理のための前準備

8

ハードディスクがマウントされた状態の概念図

外付けハードディスクデバイスなど

Torrent Server

media

disk

…

/dev/sdx1

nfs

マウント

（マウントポイント）

/media/disk

マウントするとデータマネジメント画面に表示される

（ext形式でフォーマット）

/ (ルート)

9

データ管理のための前準備ワークフロー

【前準備完了】

※この資料は、数ギガ～数テラバイトの外付けハードディスクを使用することを想定したものです。

外付けハードディスクをトレントサーバに接続

/dev/diskにマウント

アンマウント

自分のPCからPuTTyなどでトレントサーバにログイン

/dev/disk 以外のマウントポイントに自動マウントされていないか？

ext4でフォーマットされているか？

ext4でフォーマット

パーティションは1つか？

パーティションを1つ作成

Yes

Yes

Yes

No

No (無い、2つ以上)

No (されている)

内は、Linuxのコマンド操作

目的：「“「“「“「“ext”でフォーマットされたパーティションが”でフォーマットされたパーティションが”でフォーマットされたパーティションが”でフォーマットされたパーティションが““““ 1つ”のハードディスクを“つ”のハードディスクを“つ”のハードディスクを“つ”のハードディスクを“/dev/disk ”にマウントする」”にマウントする」”にマウントする」”にマウントする」

10

PuTTyを用いたTorrent Serverへの接続（１）

① PuTTy実行ファイルまたはショートカットをダブルクリックして起動② Category(カテゴリ)の欄からSession(セッション)を選択③ Host Name(ホスト名)の欄に下図のようにTorrentServerのIPアドレスを設定し、Connection type

(接続タイプ)からSSHを選択④ Saved Sessions(セッション一覧)の欄にこの設定の名称を入力して、Save(保存)をクリック※名称は任意です。下の例では、「TorrentServer」としています。

⑤ Open(接続)をクリック* 二回目以降は、③～⑤の代わりに、Saved Sessionsの中からTorrentServerをダブルクリックします。

①

②

③

④

⑤

PuTTyは、Windows からサーバーに接続しコマンドを実行するツールです。下記URLからダウンロードできます。このURLに接続できない場合は検索エンジンで”PuTTy”を検索して下さい。http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html実行ファイル(putty.exe)をダウンロードするだけで使用できます。

11

⑥初めて接続する場合に、Warningが表示されたらOK(はい)をクリック⑦ユーザー名：ionadminとパスワードを入力してログインパスワードはサーバーを管理者に確認して下さい。（デフォルト設定は“ionadmin”）

PuTTyを用いたTorrent Serverへの接続（２）

12

【留意事項】 操作の前に必ずお読みください

*以下で赤太字赤太字赤太字赤太字は実行するコマンド、黒太字黒太字黒太字黒太字はコマンドラインに表示される内容です。*sudoコマンドを実行した際、パスワードの入力を求められることがあります。*コマンドの中の空白を、□で示します。*各コマンドについて調べたい場合は、manコマンドをご使用下さい。

man partedコマンドの書式や処理内容、オプションなどの情報が表示されます。矢印キーで上下に移動でき、qキーで終了します。

(1) PGM、Proton、S5XLのそれぞれの解析サーバには内蔵ディスクがあります。必ず次ページの“既存ディスクの確認”を行い、これらの上にあるパーティション（sda1、sdb1、sdc1など）を操作しないで下さい。誤ってフォーマット操作を行うと、全てのデータが消去されます。

(2) Protonでは、生データが/rawdata、解析結果が/results以下に保存されます。PGM及びS5XLでは、全てのデータが/results以下に保存されます。（コマンドによるデータ復旧時に必要な情報となります。）

※資料中のコマンド操作は、以下のように記載されています。

・シーケンサの種類により、解析サーバの内蔵ディスクの構成が異なります。

資料中の“パーティションの作成”、または“フォーマット”を行うと、ハードディスク内のデータ

が全て消去されます。解析サーバの内蔵ディスクや、データ保存用ハードディスクに対して

は行わないようにしてください。

・ハードディスクの前準備にデータを全消去する操作が含まれます。

13

(1) トレントサーバーにハードディスクを接続する前に、既存のディスクを確認ls□/dev/sd*＜PGM（TS5.0）の場合＞

/dev/sda /dev/sda1 /dev/sda2＜PGM（TS5.2）の場合＞

/dev/sda /dev/sda1 /dev/sdb /dev/sdb1＜Protonの場合＞

/dev/sda /dev/sda1 /dev/sda2 /dev/sda3 /dev/sda4 /dev/sdb /dev/sdb1 /dev/sdb2＜S5XLの場合＞

/dev/sda /dev/sda1 /dev/sdb /dev/sdb1 /dev/sdc /dev/ sdc1

⇒上記は、USBを何も接続していないときの状態です。上記のパーティション対して、マウントやフォーマットなどの操作をしないで下さい。

(2)外付けハードディスクをサーバのUSBポートに接続

(3) 外付けハードディスクが認識されたことを確認 （下記の例は、 PGM（TS5.2） またはProtonを想定）ls□/dev/sd*/dev/sda /dev/sda1 /dev/sda2 … /dev/sdb2 /dev/sdc /dev/sdc1⇒(1) と比べて、追加されている“/dev/sdc”が接続したディスクのデバイス名、“/dev/sdc1”がディスク上のパーティション名です。

複数のディスクを接続する場合複数のディスクを接続する場合複数のディスクを接続する場合複数のディスクを接続する場合は、新しく「/dev/sd○（○はアルファベットが順番に付けられる）」が追加されます。例えば、2つ目のディスクを追加すると、以下のように表示されます。ls□/dev/sd*/dev/sda /dev/sda1 /dev/sda2 … /dev/sdb2 /dev/sdc /dev/sdc1 /dev/sdd /dev/sdd1

ハードディスクの接続と確認

追加された2つ目のディスク

14

(1) 自動マウントされていないことの確認df□-HT□/media/*出力内容の中に、下記のように接続したディスク上のパーティション名（/dev/sdc1）が表示されていなければ、次ページの操作に進んで下さい。

自動マウントされた場合などは、下記のようにマウントポイントが/media/diskではないことがあります。もし、このような表示がある場合は、アンマウントの操作に進んで下さい。

（“/dev/sdc1”が“/media/HD-LBU2”に自動マウントされている場合）/dev/sdc1 vfat 2.0T 20.0M 1.9T 0% /media/HD-LBU2

(2) アンマウントマウントポイントが、 /media/HD-LBU2 の場合のコマンドは下記となります。sudo□umount □/media/HD-LBU2※パスワードを聞かれたら、ログイン時のパスワードを入力して下さい。（デフォルトは、ionadmin）

アンマウントには数分かかることもあります。コマンドプロンプト(“ionadmin@xxxxxxx:/media$”)が戻ったら、アンマウントは完了しています。

(3)アンマウントの確認df□-HT□/media/*出力結果に(1)で表示されていた「/dev/sdc1～」の記述がなければ、アンマウントが正常に完了しています。次ページの操作に進んで下さい。

自動マウントの確認とアンマウント

マウントポイント

15

パーティションの確認と作成（１）

(1) 外付ハードディスクのパーティションの状態を確認ls□/dev/sd*接続したハードディスク“/dev/sdc”が以下のように表示される場合に、パーティションの作成を行います。パーティション無し： /dev/sda /dev/sda1 /dev/sda2 … /dev/sdb2 /dev/sdcパーティション２つ： /dev/sda /dev/sda1 /dev/sda2 … /dev/sdb2 /dev/sdc /dev/sdc1 /dev/sdc2

※ “/dev/sdc /dev/sdc1 ”（パーティション１つ）となっていた場合は、フォーマット作業へ進んで下さい。

(2) 外付ハードディスクsdc上のパーティションを操作するプログラムを開始sudo□parted□/dev/sdcGNU Parted 2.2Using /dev/sdcWelcome to GNU Parted! Type 'help' to view a list of commands.※パスワードを聞かれたら、ログイン時のパスワードを入力して下さい。（デフォルトは、ionadmin）

(3) sdc上に既に有るパーティションを確認(parted) printsdc上にパーティションが無い場合は、下記のようなメッセージが表示されます。Error: /dev/sdc: unrecognised disk labelこの場合は、次ページの(4)に進んで下さい。

“パーティション”とは、ハードディスクの内のデータの仕切りのことです。2TBを超えるディスクなどは、パーティションが2つ以上になっていることがあり、これを1つにするための作業を行います。（始めから1つの場合は、操作不要）この操作を行うと、外付ディスクのデータが全て消去されます。

16

(3) つづきsdc上に複数（例では2つ）パーティションが有る場合は、下記のように表示されます。Model: HitachiG ST (scsi)Disk /dev/sdc: 4001GBSector size (logical/physical): 512B/4096BPartition Table: gptNumber Start End Size File system Name Flags1 17.4kB 134MB 134MB Microsoft reserved partition msftres2 135MB 4001GB 4001GB ntfs Basic data partitionこの場合は、下記のコマンドで既存のパーティションを削除します。

(parted) rm□1(parted) rm□2パーティションが3つ以上の場合も、上の例のように全てのパーティションを削除して下さい。

(4) 外付ハードディスクsdc上にパーティションを作成（ディスク内のデータは全て消去されます。）(parted) mktable□gptWarning: The existing disk label on /dev/sdc will be destroyed and all data on this disk will be lost. Do you want to continue?Yes/No? Y(parted) mkpart□primary□2048s□-1Warning: You requested a partition from 2048s to 7814035451s.The closest location we can manage is 2048s to 7814035418s.Is this still acceptable to you?Yes/No? Y(parted) quitInformation: You may need to update /etc/fstab.

完了したら、再度前ページの(1)の操作でパーティションの状態を確認して下さい。

パーティションの確認と作成（２）

17

(1)パーティションのフォーマット/dev/sdc1というパーティションをext3又はext4ファイルシステムでフォーマットします。このパーティションに含まれるデータは全て失われます。

sudo□mkfs□-t□ext4□/dev/sdc1

※パスワードを聞かれたら、ログイン時のパスワードを入力して下さい。（デフォルトは、ionadmin）※完了するとプロンプト(ionadmin@XXXXXXX:~$)に戻ります。1時間以上かかることがあります。

(2) マウント用のディレクトリ（マウントポイント）を作製マウントポイント /media/diskを作成します。既に存在する場合は(3)に進みます。ただし、複数のハードディスクを同時に使用する場合は、別の名前の複数のマウントポイントが必要です。（disk2、disk3など）sudo□mkdir□/media/disk

(3) ハードディスクをマウントsudo□mount□/dev/sdc1□/media/disk

(4) マウントの確認df□-HT□/media/*Filesystem Type Size Used Avail Use% Moun ted on/dev/mapper/ion--torrent--server-root ext3 8.1G 4.1 G 3.7G 53% /出力内容の中に

/dev/sdc1 ext4 500.0G 0.0G 500.0G 0% /media/diskのような行が含まれていれば、ディスクはマウントされています。

(5)読み書き権限の変更sudo□chmod□777□/media/disk（このコマンドは実行後何も表示されません。）

新しいハードディスクを初めて使う時に実施

※(1)の操作は、特に注意して下さい。

/media/diskに初めてマウントする時のみ実施

ハードディスクのフォーマットとマウント

18

データ管理機能の操作方法データ管理機能の操作方法データ管理機能の操作方法データ管理機能の操作方法

19

Data Management画面：データ管理

ディスク使用容量を表示

自動アーカイブ機能の設定

処理の実行状況（自動・手動）

各種ファイルの管理統計情報

手動アーカイブの実施

20

自動データ管理機能（アーカイブ・削除）の設定

データのカテゴリー毎に設定Archive/Delete

/Disable自動実行

までの日数

ディスク使用量がこの値を

越えるまで削除しない

アーカイブ先

/media/disk

(2) Data Management Configurationの欄で、ファイルの種類毎にアーカイブ、削除などの設定

カテゴリーカテゴリーカテゴリーカテゴリー PGMで再解析に必要で再解析に必要で再解析に必要で再解析に必要 Proton で再解析に必要で再解析に必要で再解析に必要で再解析に必要 解析結果参照解析結果参照解析結果参照解析結果参照Signal Processing Input 〇〇〇〇 〇〇〇〇(サムネイル解析サムネイル解析サムネイル解析サムネイル解析)

Basecalling Input 〇〇〇〇(フル解析フル解析フル解析フル解析/3.6.2以降以降以降以降)Output Files 〇〇〇〇

Intermediate Files *(フル解析フル解析フル解析フル解析/3.6)

*Torrent Suite 3.6では、Protonで再解析を実施するのに必要な1.wellsファイルが”Intermediate Files”に含まれます。3.6と3.6.2以降で動作が異なりますのでご注意ください。

(1) Configureをクリック自動実行する場合 [✔]

21

Data Management画面下部で、ラン・解析ごとのアーカイブ状況の確認と操作が可能

操作したいファイルの種類のチェックボック

スをオンにして、下のいずれかの操作のボ

タンをクリック

例) “Signal Processing Input”のチェックボックスだけをオンにしてArchive Selectedのボタンをクリックすると、生データだけが外

付けディスクに移動します。

Delete またはArchiveをしたい場合は、チェックを外す

Archive Selected: 外付けディスクにデータが移され、サーバー上のファイルは削除Export Selected : 外付けディスクにデータがコピーされ、サーバー上にもファイルが残るボタンをクリック後、Comment欄に必ず何か入力してConfirmをクリックします。

手動データ管理機能

✔

22

カテゴリーカテゴリーカテゴリーカテゴリー ハードディスク内のパスハードディスク内のパスハードディスク内のパスハードディスク内のパス

Signal Processing Input /media/ (マウント用のディレクトリ) / (ラン名のディレクトリ) /

Basecalling Input & Report /media/ (マウント用のディレクトリ) / archivedReports / (解析名のディレクトリ) /

(1) Data Importの欄のImport ボタンをクリックし、ポップアップ画面の下向き矢印をクリック

目的のデータをアーカイブしたハードディスクの

マウント用ディレクトリ名をクリック

【インポートできるデータの種類と格納場所】

解析名やデータの種類で絞り込みが可能

データのインポート機能（１）

アーカイブまたはエクスポートした

解析名が表示される

23

データのインポート機能（２）

(2) インポート（およびサーバへのコピー）をしたいデータにチェックを入れる下記は、Report（BAMファイル、プラグイン結果など）とBaseCallingInput（再解析用データ）を選択した例

(3) 目的のデータにチェックが入っていることを確認し、Importをクリック

(4) Dataタブからインポートされたデータを確認

・チェックを入れた場合は、データをトレントサーバへコピー

・チェックを入れない場合は、アーカイブ済みデータを外部HDDに保存したまま再解析やプラグインの実行が可能になる

24

インポートデータでのプラグイン実行エラー

“Report”（BAMファイル、プラグイン結果など）をインポートしてプラグインを実行すると、以下のようなエラーが表示され、プラグインが実行できない場合があります。（生データを再解析した場合には表示されません。）

このような場合には、以下のコマンド操作によりプラグインの実行が可能になります。

(1) Puttyなどでトレントサーバへログインし、インポートしたデータのディレクトリ（解析名）があることを確認cd□/results/analysis/output/Homels⇒表示された解析名の一覧にインポートしたデータの名前があることを確認してください。

(2) プラグイン出力ディレクトリの権限変更chmod□777□./解析名解析名解析名解析名/plugin_out

(3) トレントブラウザから再度プラグインを実行し、ステータスが“Started”になっていればプラグインが正常に実行されています。

25

ハードディスクの取り外しハードディスクの取り外しハードディスクの取り外しハードディスクの取り外し

26

ハードディスクのアンマウントと取り外し

ハードディスクを取り外す際や、フォーマット・パーティションの作成時にアンマウントを行います。

(1) ディレクトリの移動cd□/media

(2) アンマウント/media/disk にマウントされている場合は、下記のコマンドを実行します。※パスワードを聞かれたら、ログイン時のパスワードを入力して下さい。（デフォルトは、ionadmin）sudo□umount □disk

アンマウントには数分かかることもあります。コマンドプロンプト(“ionadmin@xxxxxxx:/media$”)が戻ったら、アンマウントは完了しています。

(3)アンマウントの確認df□-HT□/media/*出力結果に下記のような記述がなければ、アンマウントが正常に完了しています。

/dev/sdc1 ext4 500.0G 0.0G 500.0G 0% /media/disk

この状態になれば、USBディスクを取り外すことができます。

27

補足補足補足補足

28

コマンドによるデータの復元（１）

※PGMをご使用で、保存先ディスクが/media/diskにマウントされているものとします。“☐”は半角スペースの意味。Protonの場合は、弊社テクニカルサポートまでお問い合わせ下さい。

(1) サーバー上のディレクトリの確認サーバーの/resultsというディレクトリの中に、PGM本体から転送された生データを格納するディレクトリがあります。下記のコマンドでその名前を確認します。

ls□/resultsanalysis pgm PGM_test plugins referenceLibrary uploadslost+found PGM_config pluginMedia publishers sn11c071419上記の例では“sn11c071419”がデータディレクトリです。これはPGM本体に付けられた名前で、施設毎に異なります。

(2) ディスク空き容量の確認df□–H□/resultsサーバー上のハードディスクの総容量、使用容量、残容量が表示されます。

(3) データの確認/media/disk以下にどのようなディレクトリ（ランデータ）があるかは、下記のコマンドで確認できます。cd□/media/disklsR_2011_04_28_06_57_36_user_JP2-45表示された一覧に、復元したいラン名「R_～」があるかを確認します。

(4) データ容量の確認du□–sm□/media/disk/R_2011_04_28_06_57_36_user_JP2-4521267 /media/disk/R_2011_04_28_06_57_36_user_JP2- 45左の数字が、Mバイト単位でのデータ容量です。後ほど、コピー後のデータ量と比較します。

29

コマンドによるデータの復元（２）

(5) 生データのコピー“/”の有無は重要です。省略せずに入力してください。下記の“sn11c071419”は(1)で確認したPGM本体の名前です。mkdir☐/results/sn11c071419/tempchmod□777□/results/sn11c071419/temprsync□-a□R_2011_04_28_06_57_36_user_JP2-45□/results/sn11c071419/temp/これらの操作の中で、「Permission denied～」などの警告が出ましたら、コマンドの先頭に「sudo☐」を付加してください。パスワードを入力する際は、ionadminとなります。

(6) コピー後データの確認cd□/results/sn11c071419/templsR_2011_04_28_06_57_36_user_JP2-45(5)でコピーしたラン名があるかを確認します。

(7) データ容量の確認du□–sm□R_2011_04_28_06_57_36_user_JP2-4521267 /media/disk/R_2011_04_28_06_57_36_user_JP2- 45(4)で確認したデータ容量とほぼ同じであることを確認します。若干異なる場合もあります。

(8) 再解析の開始下記のコマンドを実行すると、再解析が始ります。

mv□R_2011_04_28_06_57_36_user_JP2-45□../

30

Technical Support

Call 0120-477-392jptech@thermofisher.com

営業時間：午前9時から午後6時までThe Chip is the Machine™

ご不明な点がございましたら

弊社テクニカルサポートまで

お問い合わせください

31

For Research Use Only. Not for use in diagnostic pr ocedures.© 2017 Thermo Fisher Scientific Inc. All rights reserved.