進度流程 Demo

Outline

• 系統架構• 註冊檔案格式 ( 大小及數量 )• Demo process• Q&A

系統架構

Client

DN1

DN2

NAS1

NAS2mount

mountmount

mount

MN

SN

Client directory structure/mnt/HDFS (fuse directory)/mnt/NAS1_NFS/ (NAS1)/mnt/NAS2_NFS/ (NAS2)

MN: Master NameNodeSN: Slave NameNodeDN: Datanode

檔案大小及數量• 1G 以上– 5 個– 最大檔案 :8.5G

• 1G 以下– 25 個

資料夾• 最多三層• 舉例 :– /mnt/NAS_USER/NAS1_DIR– /mnt/NAS_USER/NAS1DIR/NAS1_DIR_2– /mnt/NAS_USER/NAS1DIR/NAS1_DIR_2/

NAS1_DIR_3

Demo 流程• 註冊流程

– 1.Client 先在 DN1(user1) 和 DN2(user2) 上註冊檔案 ( 時間 :5 分鐘 )– 2.Client 在 /mnt/HDFS 上看到剛剛註冊的檔案

• 檔案操作流程– 1.Client 在 /mnt/HDFS 上新增檔案 (addFile1)– 2.Client 在 /mnt/NAS1_NFS 或 /mnt/NAS2_NFS 上看到檔案的超連結– 3.Client 在 /mnt/HDFS 上刪除檔案 (addFile1)– 4.Client 在 /mnt/NAS1_NFS 或 /mnt/NAS2_NFS 上看到檔案的超連結

被刪除– 5. Client 在 /mnt/HDFS 上修改 NAS1 上註冊的檔案 ( 修改

NAS1_File)– 6. Client 在 /mnt/NAS1_NFS 或 /mnt/NAS2_NFS 上看到檔案的超連

結

Cell Recovery 流程• Case1: 當 SN 不存在時， FSImage 掛掉，且

NameNode shutdown– NameNode 重新啟動後， Client 在 /mnt/HDFS

看到原來的檔案• Case2: 當 SN 存在， FSImage 掛掉，且

NameNode shutdown– Client 重新設定 NameNode 位置，並重新啟動

Fuse ，在 /mnt/HDFS 看到原來的檔案

註冊流程

1.Client 先在 DN1 和 DN2 上註冊檔案

2.Client 在 /mnt/HDFS 上看到剛剛註冊的檔案

檔案操作流程

1.Client 在 /mnt/HDFS 上新增檔案 (addFile1)

2.Client 在 /mnt/NAS1_NFS 或 /mnt/NAS2_NFS 上看到檔案 (addFile1) 的超連結

3.Client 在 /mnt/HDFS 上刪除檔案 (addFile1)

4.Client 在 /mnt/NAS1_NFS 或 /mnt/NAS2_NFS 上看到檔案的超連結被刪除

5. Client 在 /mnt/HDFS 上修改 NAS1 上註冊的檔案( 修改 NAS1_File)

6. Client 在 /mnt/NAS1_NFS 或 /mnt/NAS2_NFS 上看到檔案的超連結

Cell Recovery 流程

Case1: 當 SN 不存在時， FSImage 掛掉，且 NameNode shutdown

• NameNode 重新啟動後， Client 在 /mnt/HDFS 看到原來的檔案

Case2: 當 SN 存在， FSImage 掛掉，且 NameNode shutdown

• Client 重新設定 NameNode 位置，並重新啟動Fuse ，在 /mnt/HDFS 看到原來的檔案

Q&A