NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG QUẢN LÝ MÁY TÍNH CỤM ẢO

GVHD : TS Thoại NamGVPB : TS Trần Văn HoàiSVTH 1 : Nguyễn Thị Kim TuyênSVTH 2 : Trần Xuân Hiếu

1

Giới thiệu

Công cụ giám sát và quản lý máy tính cụm ảo

Định thời (scheduling) công việc

Kết luận

2

Hình : Xu hướng máy tính cụm ảo

3

Tận dụng tài nguyên sẵn có từ cụm máy vật lý hiện tại

Dành cho các công việc vừa và nhỏ

Mục đích , đối tượng sử dụng mở rộng

Sử dụng phần mềm đã được dùng trên máy tính cụm vật lý , từ đó phát triển thêm

Tận dụng máy tính “rảnh rỗi” ảo hóa rồi đưa vào cụm , dùng cho mục đích sử dụng khác

4

Xây dựng một hệ quản lý cụm máy ảo

Các vấn đề cần quan tâm

Giám sát và thay đổi linh hoạt số lượng máy ảo

Tận dụng tối đa hiệu năng hệ thống .

5

Vấn đề 1 :

Công cụ giám sát Nagios

Phát triển thêm phần công cụ quản lý node máy ảo

Vấn đề 2 :

Công cụ scheduling Maui

Cấu hình thực nghiệm , kết quả

6

7

Máy tính cụm ảo sử dụng các máy ảo trên tài nguyên vật lý sẵn có.

Hình : Máy tính cụm ảo đơn giản

8

Hệ thống bao gồm 3 phần chính : Cluster tool : công cụ triển khai và quản

lý các máy ảo. (sử dụng Pbs Torque) . Monitoring tool : công cụ giám sát các

node trong hệ thống.(sử dụng Nagios) Scheduler tool : định thời thực thi các

công việc.(sử dụng Maui)

9

Hình : Thiết kế hệ thống

10

Một máy được sử dụng làm máy “server”.

Các node thực thi job.

file kết quả tự động gửi về cho user submit job.

11

Cài đặt các queue trên máy “server”.

Maui sẽ định thời thực thi các công việc trong các queue này.

12

pbs_mom trên mỗi node.

Cấu hình Nagios-plugin và NRPE trên mỗi node hỗ trợ việc monitoring.

13

Nagios giao tiếp với người dùng qua giao diện web.

Nagios thực hiện việc giám sát thông qua hệ thống file script viết theo ngôn ngữ bash shell.

14

Nagios hỗ trợ monitoring các service CPU, Processes, Disk, User current trên mỗi node.

Thêm vào monitoring queue chứa các job cho máy server.

Và monitoring status pbs_mom trên mỗi node.

15

Nagios sử dụng hệ thống file .cfg để cấu hình các thuộc tính.

Thêm vào 3 file : host.cfg, group.cfg và service.cfg để định nghĩa các node, group và service cho group.

Các máy node ở cùng trên một máy vật lý sẽ được định nghĩa cùng một group.

16

Trên giao diện web của Nagios, thêm vào 3 link lần lượt để định nghĩa node, group và service cho group.

Các thông tin sẽ được ghi xuống tương ứng với 3 file mới thêm vào.

17

Hình : Giao diện NAGIOS – hiện thực

18

Hình : Thao tác người quản trị

19

Hình : Giao diện NAGIOS – Host group

20

Hình : Giao diện NAGIOS - host

21

Hình : Giao diện NAGIOS-Define host

22

Hình : Giao diện NAGIOS – Define host group

23

Hình : Giao diện NAGIOS – Define Service

24

25

Hình : Kiến trúc Maui

26

Hình : Maui ở chế độ bình thường và ở chế độ giả lập (Simulator)

27

4 bước :- Cấu hình chính sách- Phân tích workload- Thiết lập Maui Simulator- Phân tích kết quả . Từ đó đưa ra tinh

chỉnh cần thiết

28

Resource :- 120 node Linux đồng nhất .- Cấu hình máy :

2 CPU 1.667 GHz1024 MB

Job :- Workload thu được từ log của Maui

Scheduler trong thời gian 4 năm ( 7/2002 đến 1/2006) gồm thông tin của 527 371 job

29

- Chủ yếu là job có kích thước nhỏ ( 2 processor) , thời gian chạy ngắn ( < 1h)

- Mật độ job tập trung cao từ 8h đến 17h- Mật độ job xấp xỉ nhau từ thứ 2 –thứ 6 ,

thứ 7 mật độ job giảm , chủ nhật bắt đầu tăng.

30

Đồ thị : Số lượng job dựa trên thời gian chạy (runtime) của job

31

32

Hình : Số lượng job dựa trên kích thước dựa trên số processor

Loại thực nghiệm so sánh độ hiệu quả của một chính sách so với một chính sách mặc định

Giảm thời gian chờ , tăng tính tương tác cho các job ngắn , nhỏ

33

SRNAME[0] fastSRRESOURCES[0] PROC=1;MEM=256SRTASKCOUNT[0] 20SRDAYS[0] MON TUE WED THU FRISRSTARTTIME[0] 8:00:00SRENDTIME[0] 17:00:00SRMAXTIME[0] 2:00:00XFACTORWEIGHT 100

XFACTOR=1+<QUEUETIME>/<EXECUTIONTIME>

34

Hình : So sánh kết quả Xfactor trung bình

35

-Lần lượt thay đổi SRTASKCOUNT[0]với các giá trị 4 , 8 ,16 , 32 , 40 tương ứng với số lượng processor dành sẵn cho các job nhỏ

- Giá trị nào là tốt nhất ?

36

So sánh Xfactor trung bình khi dùng chính sách Reservation với số lượng processor khác nhau

37

- Khi ta sử dụng chính sách dự trữ tài nguyên ( standing reservation ) cho các job ngắn ( thời gian chạy ít hơn 2 h) thì chỉ số Xfactor trung bình sẽ giảm

- Điều này nói lên việc các job có thời gian thực thi ngắn sẽ được ưu tiên hơn , tăng tính tương tác của hệ thống đối với các job ngắn.

38

- Trong một workload gồm nhiều loại job ( khác nhau về thời gian cũng như về kích thước ) , không phải lúc nào dành sẵn nhiều processor cho job ngắn cũng làm giảm Xfactor trung bình nhiều hơn .

39

- Việc đặt trọng số cao XFATORWEIGHT sẽ giúp cho các job ngắn có độ ưu tiên cao hơn. Từ đó nó sẽ được đẩy lên đầu queue để thực hiện trước.

40

Xây dựng hệ thống máy tính cụm ảo đơn giản ( dùng Xen , PBS Torque , Maui và Nagios)

Đưa ra giải pháp tích hợp và phát triển công cụ quản lý ( thêm ) node trong máy tính cụm ảo vào hệ thống giám sát Nagios

Dùng thực nghiệm đánh giá một số giải pháp định thời hiệu quả cho một loại workload cụ thể

41

Nagios chạy trên quyền apache nên không có quyền ghi vào file nodes của hệ thống pbs

Thực nghiệm đánh giá giải thuật định thời trong việc xác định giá trị thích hợp ( trong một dãy các giá trị có thể ) của các tham số quan trọng

42

Tìm hiểu các chính sách định thời thích hợp với sự thay đổi số lượng máy trong máy tính cụm ảo

Thực hiện các thực nghiệm tìm các trọng số thích hợp cho các thông số cấu hình chính sách Maui (ứng với từng workload cụ thể )

43

44

Điểm mạnh :

Tốc độ triển khai được rút ngắn so với máy cụm vật lý.

Khả năng di trú của máy ảo làm tăng khả năng chịu lỗi của hệ thống .

Khi một máy ảo gặp vấn đề , hệ thống vẫn hoạt động bình thường.

45

Giới hạn :

Ứng dụng cần sức mạnh xử lý cao, ảo hóa không là lựa chọn tốt.

Tốc độ xử lý kém hiệu quả ( nếu tạo nhiều máy ảo trên cùng một máy vật lý ).

Khi di chuyển máy ảo , cần đảm bảo máy chủ vật lý mới tương thích với máy cũ .

46

Điểm khác nhau giữa máy tính cụm ảo và máy tính cụm vật lý:* Về hiệu năng : tốc độ xử lý CPU

* Về chi phí giao tiếp giữa các máy ảo trên cùng một node thật hoặc khác node thật

47

Resource Trace : đặc tả 1 node trong cụm (21 trường )

COMPUTENODE AVAILABLE 0 node001 PBS1 423132 1024 -1 2 -1 -1 1 LINUX62 AthlonK7 [amd] [fque:2] [ethernet] 1.66 [NONE] [NONE] [NONE]

48

Workload Trace : đặc tả 1 job (44 trường )

2 0 20 user0010 group0000 74400 Completed [fque:1] 1029161912 1029163254 1029163254 1029163265 [NONE] [NONE] [NONE] >= 0 >= 0 [NONE] 1029161912 20 2 [NONE]:DEFAULT [NONE] account0007 [NONE] [NONE] 0 0.00 DEFAULT 1 0 0 0 0 2140000000 [NONE] 0 [NONE] [NONE] [DEFAULT] [NONE] [NONE]

49