!น#เค&อ(ายกลาง.ห0บงาน23ย -...

พนทเครอขายกลางสำหรบงานวจย UniNet Research DMZ

วรา วราวทย, กตตพฒน จฑาวงศเจรญ, เกรยงศกด เหลกด, อาทตย ไชยชต, และ ทว ศรบศยด

การบรการเครอขายสำหรบงานวจย• ขนาดของขอมลขยายใหญขนมาก

• นกวจยมความตองการในการแลกเปลยนขอมลดงกลาวระหวางกน

• ปจจบนแบนดวดท เพยงพอในระดบหนงสำหรบการใชงานอนเตอรเนตทวไป แตงยงนอยอยมากสำหรบการสงผานขอมลขนาดใหญ

• มความตองการระบบบรการเครอขายทม สถาปตยกรรม, ขอกำหนดระบบ, การรกษาความปลอดภย, และประสทธภาพ สำหรบงานวจย

ระยะเวลาการสงผานขอมล (ขนาดขอมล vs ชวโมง)

Table 1

Data Size 200 kbps 10 Mbps 100 Mbps 1 Gbps 10 Gbps 40 Gbps

100 MB 1.11 0.02 0.00 0.00 0.00 0.00

1 GB 11.11 0.22 0.02 0.00 0.00 0.00

10 GB 111.11 2.22 0.22 0.02 0.00 0.00

100 GB 1,111.11 22.22 2.22 0.22 0.02 0.01

1 TB 11,111.11 222.22 22.22 2.22 0.22 0.06

10 TB 111,111.11 2,222.22 222.22 22.22 2.22 0.56

100 TB 1,111,111.11 22,222.22 2,222.22 222.22 22.22 5.56

1 PB 11,111,111.11 222,222.22 22,222.22 2,222.22 222.22 55.56

0

250

500

750

1000

PYT NKN KKN NST NBU UTI CYM MHM CRI PCT SST NKM PBI_1 CTI TRA STN

Bandwidth Performance between Nodes

PYT RED NKN

Monday, April 21, 14

OpenStackUniCloud with OpenFlow

ANSCSE18 Kasetsart University, Si Racha Campus, Chonburi, Thailand March 17-19, 2014

address. The SDN concept can be deployed in both software or hardware. The software approach of implementing VTNs is achieved by creating tunnels between participated sites [11]. The inter-site messages are encapsulated and sent via predefined tunnel. If the SDN enabled switches are deployed, the VTN can be supported in native mode.

The cloud computing paradigm becomes popular to be used as performance computing resources. Computing nodes are virtualized instances running on the cloud platform. The UniCloud [12] is the HPC services provided by the UniNet. The OpenStack [13] is used as the cloud platform where user account, job submission, and virtual instance are managed. As shown in Figure 2(b), the concept of VTN is expanded to cover services of the UniCloud. Figure 2(c) shows the merger of two clusters on the different sites onto a single clusters.

Campus A Campus B

UninetSDN

Physical View

Ax Ay Bx By

VTN

XVT

N Y

VTN

XVT

N Y

UninetSDN

InstanceAx

InstanceBx

Any Computer Connected with Uninet SDN

UniCloudCompute node A

UniCloudCompute node B

InstanceAy

InstanceBy

InstanceAx

InstanceAy

InstanceBy

InstanceBx

Campus A Campus B

Group cluster

Cluster 1 Cluster 2

UninetSDN

Campus A Campus BVTN View

Ay

Ax

By

Bx

(a) (b) (c) Figure 2: Implementing SDNs for the OpenStack computing environment (a) virtual tenant networks in two different site (b) support two virtual tenant networks using SDN (c) connecting two clusters as one large cluster using SDN. RESULTS

We performed preliminary experiments on a SDN concept for the UniNet network. The testbed was set up as two high performance computing resources located on different sites. The OpenStack cloud platforms were installed on a set of machines. We set the VTN environment on the OpenStack. There are three cases in our experiments. In the first case, we connect two computing resources using L2 switches. Each VTN has their own software based GRE tunnel. The two routers were used to simulate a multi-hop network in the second case. Similarly, the connection between VTNs is isolated by the GRE tunnel. In both cases, the GRE tunnel imposes additional overheads due to encapsulation and other processing functions. We implemented native SDN switches to connect two OpenStack resources in the third case. The NEC’s SDN [10] switches were used in the experiments. The link speed is 1 Gbps. The POX [14] controller was used to program the switches. The OpenStack Havana-2013.3.1 over ubuntu 12.04 LTS was used as cloud software. Small instance size (1 vCPU, 2 GB RAM) was used in all experiments. The architecture of all testbeds is shown in Figure 3.

We started our experiment using HPL benchmark to study the overhead of GRE encapsulation. From HPL benchmark, the performance results (in GFlops) of native SDN switches (the third case) is only slightly better than the software based SDN (the first and second cases). Less than 1% of performance degradation is observed for the calculation performance in the vicinity of 17 GFlops. As the HPL benchmarking process consists of both computation and communication, the encapsulation overhead does not have much effects in overall performance.

Monday, April 21, 14

ระบบทสนใจ• ประสทธภาพระหวาง End-to-End hosts

• ความเรวระหวางคอมพวเตอรบนโตะ

• มงเปาท Data Intensive Applications

• ทะลวงทอจาก Host-to-Host

• Department-Faculty-University

• UniNet

• University-Faculty-Department

กรอบการบรการของ เครอขายความเรวสงสำหรบงานวจย• สาธารณประการเครอขาย ทมสามารถบรการแบนดวดทไดสง

• มนโยบายและแนวทางการใชงานสำหรบทเหมาะสมสำหรบการสงผานขอมลขนาดใหญ

• วางแนวทางการตอเชอมจากโตะนกวจย มายงเครอขายมหาวทยาลย และจดบรการของ UniNet

• เครองมอในการวด เฝาระวงการทำงาน และประเมนประสทธภาพของระบบบรการ

เครอขาย UniNet��

��

��

��

��

��

��

��

��

��

��

��

��

�

�

��

��

��

��

��

��

��

��

��

��

��

��

��

��

�

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

�

��

� �

��

��

��

��

��

��

��

��

��

��

� �

��

��

��

��

��

��

��

��

��

��

� ��

��

��

��

��

��

� � ��

��

��

��

��

SKNUDI

KKN

NRM

UBIPTI

CBIBKN

PYT 1

BDR

PYT 2

SLA

BMD

SRTI

SKA

PNG

PBI

NKM

AYA 1SPI 1

NKN

PNLKPT

CMI CRI

จดบรการของ UniNet

• DWDM-Edge Router

• ตอเชอม Distribution Switches

• เขาระบบบรการของมหาวทยาลย

DWDM

DWDMBackbone

Fibre

Giga-PopRouter Switch

Firewall

Firewall

โรงเรยน

สถาบนอาชวศกษา

สถาบนอดมศกษา

โรงเรยน

Secured Gatewaywith Wireless AP

Secured Gateway

GigabitDistribution Switch

Other ISPs

Intranet Services

UniNet

Intranet Application

Server

Database Server

Authentication Server

Firewall

Edge Router

Departmental Switches

Main Switches

Traffic Shaper

เครอขายบรการภายใน สถาบนอดมศกษา

• ใหบรการเพอการจดการศกษาและวจย

• รบบรการจากผใหบรการอนเตอรเนตหลายราย

การบรการของ UniNet Core• เครอขายแกนหลก 10 Gbps 5 lambda 5x10 Gbps

Ethernet

• ปจจบน 40 Gbps Ethernet และ 100 Gbps Ethernet, 80 lambda per core

• 2560-2563 มแผนปรบปรงเปน 100 Gbps สำหรบแกนหลก

• IGP (ISIS), MPLS Services for L2, L3 VPN

คอขวดบน UniNet

• เครอขายแกนหลก 1Gbps, 10Gbps, 100Gbps Ethernet, MPLS, VPN

• Firewall และ Traffic Shaper: you knows who!

• เครอขายภายในองคกร: VLAN

• Host Hardening-Host Tuning: Jumbo Frame, TCP Tuning

UniNetMPLS Services

End Host

Firewall EdgeRouter

MainSwitches

TrafficShaper

FacultySwitches

DepartmentSwitches

End Host

FirewallEdgeRouter

MainSwitches

TrafficShaper

FacultySwitches

DepartmentSwitches

ถกจำกดประสทธภาพจาก TCP Stack

• แพคเกตหาย โดยเหต:

• Error: ฟาผา, อเลกตรอน โฟตอน ไมเปนใจ

• Router: รบไมไหว เลยดรอปแพคเกต

• Firewall และ Traffic Shaper: มความไมสบายใจในการใหบรการ

ถกจำกดประสทธภาพจาก TCP Stack

• เหต: แพคเกตหายไป แลวเกดอะไร

• Host ตวสงเกดอาการงง เพราะไมไดรบ ack

• รอ Time-Out ประมาณ 2-RTT

• Retransmit แพคเกตทหายไป

• Congestion Control กบ Flow Control เขาทำงาน

• ผล: สงไมคอยออก โดยเฉพาะขอมลขนาดใหญ

ประสทธภาพของ TCP ภายใต Packet Loss - TCP Reliable Protocol: Ack, Retransmit—Flow Control, Congestion Control - 2012 10Gbps Router ของ DoE drops 1 packet ทกๆ 22,000 packet - 812,744 pps, dropped 32 pps - Throughput ลดลงอยางมนยสำคญ

Dart, Eli, et al., The Science DMZ: a network design pattern for data-intensive science, SC '13 Proceedings of the International Conference on High Performance Computing, Networking, Storage and Analysis, 2013.

Figure 1: Graph shows the TCP throughput vs. round-trip time (latency) with packet loss between 10Gbps connected hosts, as predictedby the Mathis Equation. The topmost line (shown in purple) shows the throughput for TCP in a loss-free environment.

ing case. In 2012, Department of Energy’s (DOE) EnergySciences Network (ESnet) had a failing 10 Gbps router linecard that was dropping 1 out of 22, 000 packets, or 0.0046%of all tra�c. Assuming the line card was working at peake�ciency, or 812, 744 regular sized frames per second,2 37packets were lost each second due to the loss rate. While thisonly resulted in an overall drop of throughput of 450 Kbps(on the device itself), it reduced the end-to-end TCP perfor-mance far more dramatically as demonstrated in Figure 1.This packet loss was not being reported by the router’s inter-nal error monitoring, and was only noticed using the owampactive packet loss monitoring tool, which is part of the perf-SONAR Toolkit 3.

Because TCP interprets the loss as network congestion,it reacts by rapidly reducing the overall sending rate. Thesending rate then slowly recovers due to the dynamic behav-ior of the control algorithms. Network performance can benegatively impacted at any point during the data transferdue to changing conditions in the network. This problem isexacerbated as the latency increases between communicatinghosts. This is often the case when research collaborationssharing data are geographically distributed. In addition,feedback regarding the degraded performance takes longerto propagate between the communicating hosts.

The relationship between latency, data loss, and networkcapability was described by Mathis et al. as a mechanismto predict overall throughput [12]. The “Mathis Equation”states that maximum TCP throughput is at most:

maximum segment sizeround-trip time

⇥ 1ppacket loss rate

. (1)

Figure 1 shows the theoretical rate predicted by the MathisEquation, along with the measured rate for both TCP-Renoand TCP-Hamilton across ESnet. These tests are between10Gbps connected hosts configured to use 9KByte (“JumboFrame”) Maximum Transmission Units (MTUs).

This example is indicative of the current operational real-ity in science networks. TCP is used for the vast majorityof high-performance science applications. Since TCP is sosensitive to loss, a science network must provide TCP witha loss-free environment, end-to-end. This requirement, inturn, drives a set of design decisions that are key compo-

2Performance Metrics. http://www.cisco.com/web/about/security/intelligence/network_performance_metrics.html.3perfSONAR Toolkit: http://psps.perfsonar.net

nents of the Science DMZ model.

3. THE SCIENCE DMZ DESIGN PATTERNThe overall design pattern or paradigm of the Science

DMZ is comprised of four sub-patterns. Each of these sub-patterns o↵ers repeatable solutions for four di↵erent areas ofconcern: proper location (in network terms) of devices andconnections; dedicated systems; performance measurement;and appropriate security policies. These four sub-patternswill be discussed in the following subsections.

3.1 Proper Location to Reduce ComplexityThe physical location of the Science DMZ (or “location

design pattern”) is important to consider during the deploy-ment process. The Science DMZ is typically deployed at ornear the network perimeter of the institution. The reasonfor this is that it is important to involve as few network de-vices as reasonably possible in the data path between theexperiment at a science facility, the Science DMZ, and theWAN.Network communication between applications running on

two hosts traverses, by definition, the hosts themselves andthe entire network infrastructure between the hosts. Giventhe sensitivity of TCP to packet loss (as discussed in Sec-tion 2.1), it is important to ensure that all the componentsof the network path between the hosts are functioning prop-erly and configured correctly. Wide area science networksare typically engineered to perform well for science appli-cations, and in fact the Science DMZ model assumes thatthe wide area network is doing its job. However, the localnetwork is often complex, and burdened with the compro-mises inherent in supporting multiple competing missions.The location design pattern accomplishes two things. Thefirst is separation from the rest of the general network, andthe second is reduced complexity.There are several reasons to separate the high-

performance science tra�c from the rest of the network. Thesupport of high-performance applications can involve the de-ployment of highly capable equipment that would be tooexpensive to use throughout the general-purpose networkbut that has necessary features such as high-performancefiltering capabilities, su�cient bu↵ering for burst capacity,and the ability to accurately account for packets that tra-verse the device. In some cases, the configuration of the net-work devices must be changed to support high-speed dataflows—an example might be conflict between quality of ser-vice settings for the support of enterprise telephony and

ลกษณะการบรการ

พนทกลางการบรการ DMZ• ใหบรการขอมลภายนอก

• ภายในองคกรเปดบรการเตมท

• ถาเกดความเสยหาย สามารถจำกดไดในวงแคบ

Intranet Services

ISP

DMZApplication

Server

Web Server


Server

Database Server


Firewall

DMZ Switch

Edge Router

Departmental SwitchesMain Switches

ตำแหนงพนทกลางการบรการ• บรเวณ Edge

Router ตอตรงกบ WAN

• ไมผาน Firewall แยก Traffic กบ Traffic ทวไป

• คม Physical Security

• ผานอปกรณนอยชน

Other ISPs

Intranet Services

UniNet


Server

Database Server


Firewall

Edge Router


Main Switches

Traffic Shaper

UniNet Research DMZOther ISPs

Intranet Services

UniNet


Server

Database Server


Firewall

Edge Router


Main Switches

Traffic Shaper

DTN

คณลกษณะของตำแหนงจดบรการ Research DMZ

• แยกออกมาจากระบบบรการอนเตอรเนตของสถาบนฯ

• ตดความซบซอนของเครอขายภายใน

• ใชอปกรณความเรวสงจำนวนไมมากนก จาก WAN ถงจดบรการของผใชงาน

• รองรบ Burst Traffic โดยไมกระทบกบ Voice, Telephony

• ลดเวลาแกไขปญหาWeb and Internet Servers Application

Servers Database Servers Storage

Internet or Campus Network

Web and Internet Servers Application Servers Database Servers Storage

Internet or Campus Network

กลมผใชงาน• บรการ, ซอฟตแวร, ฮารดแวร, และ เครอขาย มกรอบการออกแบบสำหรบ

• กลมวจย E-Sciences และ Big Data ตางๆ: High Energy Physics, IoT Data for Analytics, Smart City, Smart Grid

• การบรการ Telemedicine, แสดงการผาตดทางไกล วนจฉยทางไกล: Video Conference, Hard Realtime Traffics

• Bioinformatics และ Personalised Health-care: Reference Data Set, Patient Data (Genome, Imaging)

End Host

Firewall EdgeRouter

MainSwitches

TrafficShaper

FacultySwitches

DepartmentSwitches

End Host

FirewallEdgeRouter

MainSwitches

TrafficShaper

FacultySwitches

DepartmentSwitches

Research DMZ

DTN

Research DMZ

DTN

UniNetMPLS Services

คอขวดบน UniNet ทะลวงทอถงหนาบาน จากนนเจาบานตองจดการเอง

• เครอขายภายในองคกร: VLAN

• Host Hardening-Host Tuning: Jumbo Frame, TCP Tuning

ประสทธภาพการสงผานขอมลของ Server: สถาปตยกรรม

Inter

chip

Datapa

th MainMemory

Input/Output and Network Interface

Network

Storage

Basic Processor Elements: x86, EPICPowerPC, SPARC

Multicore Processor

Server Systems

I/O Datapath

Mem

ory

Data

path

Inter

proc

ess

orData

path

cach

e

Operating Systems

High Performance Compiler Performance Monitoring RAS

Support

Physical Isolation Virtualization Supports

Target Apps. Target Apps. Target Apps.

Error Correction Code

from Reg-Cache-Memory-Disk

Chip-level Monitoring

Board and System-level Monitoring

• Processor(s) • Motherboard • Memory • I/O Storage • Networking

Motherboard และ Chipset• แบนดวดทไปยงหนวยความจำ: QPI (Intel), HT (AMD), 8 to 31 GB/sec• PCIe 2.0: (500 MB/sec per lane)—PCIe 3.0: PCIe 2.0 x 2

• แบนดวดท 4-8 GB/sec (8 lanes-16 lanes) • SSD—6 GB/sec read with 16 lanes PCIe 2.0 • Network Interface Card (NIC)

• CAT5e—1 Gbps • Fiber—1Gbps, 10Gbps, 40Gbps)

• อนเตอรรป ถกสงไปท Core 0 ทำใหเกดคอขวด • ประสทธภาพเพมโดยตงคากำหนดให Core ทำงานทเปนเฉพาะ เชน แยก

Disk กบ เครอขายออกจากกน • ดงการประมวลโปรโตคอลจากโปรเซสเซอรมายง NICs

ประสทธภาพการสงผานขอมลของ Server: Tuning8 16 24 32 40 48 56 64

Dell PowerEdge 1950 (1 Link)Dell PowerEdge R710 (1 Link)Dell PowerEdge R710 (2 Link)

0.874 0.926 0.936 0.937 0.939 0.940 0.940 0.9410.920 0.931 0.941 0.941 0.941 0.941 0.941 0.9410.979 1.090 1.180 1.240 1.250 1.250 1.250 1.250

0.5

0.75

1

1.25

1.5

8 16 24 32 40 48 56 64

Throughput Performance

Aver

age

Thro

ughp

ut (G

bps)

TCP Window Size (KB)


ประสทธภาพการสงผานขอมลของ Server

1 2 4 8 16 32 64Dell PowerEdge 1950 (1 Link)Dell PowerEdge R710 (1 Link)Dell PowerEdge R710 (2 Link)

0.60064 0.59788 0.54175 0.44935 0.43299 0.41996 0.412210.909 0.91379 0.91102 0.91657 0.91632 0.90030 0.729988

1.06391 1.0797 1.094094 1.08563 1.07699 0.91384 0.73998

0

0.5

1

1.5

2

1 2 4 8 16 32 64

Average Transfer Throughput

Aver

age

Thro

ughp

ut (G

bps)

File Size (GB)


ประสทธภาพการสงผานขอมลของ Server: Parallel File TransferParallel Files Transfer System

UniNet 2Network

node 1

node 2

node 3

node n

node 1

node 2

node 3

node n

Local Network A

Local Network B

Client A

Client B

Parallel Files Transfer Service A Parallel Files Transfer Service B

time 1

DataPFS-A Transfer to PFTS-B

Data Data DataClient-A Transfer to PFTS-A PFTS-B Transfer to Client-B

time 2 time 3

! รปท 1.1 สถาปตยกรรมระบบถายโอนขอมลแบบขนาน

! ในการโอนถายไฟลขอมลขนาดใหญจากจดหนงไปยงจดหนงของผใชผานระบบบรการโอนถายไฟลขอมล (Parallel Files Transfer Service : PFTS) ซงระบบดงกลาวประกอบไปดวยเครองคอมพวเตอรเซฟเวอรจานวนหลายเครองตอกนในลกษณะขนาน เวลาดาเนนการถายโอนไฟลขอมลขนาดใหญเราไดแบงออกเปน 3 สวนเวลาหลกดงตอไปน 1.เวลาการถายโอนขอมลจาก Client A ไปยง PFTS-A 2.เวลาการถายโอนขอมลจาก PFTS-A ไปยง PFTS-B 3.เวลาการถายโอนขอมลจาก PFTS-B ไปยง Client B แสดงดงรปท 1.1

! เวลาในการดาเนนการถายไฟลโอนขอมลของแตละชวงเวลาหลกนนมหลายปจจยทเกยวของตอความลาชาในการดาเนนการ โดยปจจยทเกยวของดงกลาวเราไดแบงออกเปนสวนตางๆ ดงตอไปน 1.Processing Time 2.Queuing Time 3.Propagation Time 4.Transmission Time

Time = Processing Time + Queuing Time + Propagation Time + Transmission Time

! Processing Time คอ เวลาทเกดจากการประมวลผลของอปกรณเครอขาย เชน การประมวลผลเพอมองหาเสนทางการสงตอขอมลบนเราทเตอร, การประมวลผลเพอคดกรองขอมลทวงผานไฟลวอร เปนตน

! Queuing Time คอ เวลาทเกดจากการรอสงขอมลภายในแถวคอยบนอปกรณเครอขาย เวลาทขอมลทถกเกบไวในแถวคอยจะมากหรอนอยขนอยกบจดการเรยงควและขนาดของแถวคอย การทขนาดแถวคอยมหนวยความจามากทาใหคาเฉลยของเวลารอคอยสง ในทางกลบกนการทขนาดแถวคอบมหนวยความจานอยทาใหอตราการสญเสยมมากขนอนเนองมากจากแพคเกตขอมลถกละทงจากระบบ

! Propagation Time คอ เวลาของการเดนทางขอมล โดยเวลาในการเดนทางขอมลขนอยกบคณสมบตของสอนนๆ และระยะทางของการเดนทางขอมล เชน ความเรวของสอประเภททองแดงทมอเลคตรอนทางไฟฟาเปนสอการในการนาสง, สอประกอบใยแกวทมอเลคตรอนแสงเปนสอในการนาสงขอมล

! Transmission Time คอ เวลาในการสงขอมลซงมความสมพนธกบแบนดวดธทสามารถใชงานได เชน แบนดวดธของระบบเครอขายมปรมาณสงการสงขอมลกจะสามารถทจะสงไดปรมาณสงเชนกน ในการกลบกลบแบนดวดธของเครอขายมปรมาณนอยการสงขอมลกจะสามารถสงไดนอยเชนกน

ประสทธภาพการสงผานขอมลของ Server: Multiple Streams

1 2 4 8 16 32 641 Stream2 Stream4 Stream8 Stream

0.889 0.918 0.933 0.941 0.945 0.947 0.7310.914 0.931 0.940 0.944 0.947 0.948 0.8260.929 0.938 0.943 0.946 0.947 0.948 0.8830.935 0.942 0.945 0.947 0.948 0.949 0.915

0.7

0.8

0.9

1

1 2 4 8 16 32 64

Average Throughput

Aver

age

Thro

ughp

ut (G

bps)

File Size (GB)

1 Stream2 Stream4 Stream8 Stream

ประสทธภาพการสงผานขอมลของ Server: Multiple Machines

1 2 4 8 16 32 641 Machine2 Machine4 Machine8 Machine

0.889135 0.918365 0.933561 0.941362 0.945305 0.947289 0.73199851.671844 1.778882 1.836731 1.867123 1.882725 1.890611 1.8945792.988842 3.34499 3.55654 3.67307 3.734043 3.765347 3.7811714.931076 5.979766 6.691283 7.113817 7.346141 7.46829 7.530592

0

2

4

6

8

10

1 2 4 8 16 32 64

Average Throughput

Aver

age

Thro

ughp

ut (G

bps)

File Size (GB)

1 Machine2 Machine4 Machine8 Machine

ประสทธภาพการสงผานขอมลของ Server: MSMM

1 2 4 8 16 32 648 Machine 1 Stream8 Machine 8 Stream4 Machine 1 Stream4 Machine 8 Stream

4.931076 5.979766 6.691283 7.113817 7.346141 7.46829 7.5305926.806 7.170 7.381 7.482 7.539 7.566 7.574

2.988842 3.34499 3.55654 3.67307 3.734043 3.765347 3.7811713.493 3.64 3.715 3.756 3.776 3.786 3.807

0

5

10

15

1 2 4 8 16 32 64

Average Throughput

Aver

age

Thro

ughp

ut (G

bps)

File Size (GB)

8 Machine 1 Stream8 Machine 8 Stream4 Machine 1 Stream4 Machine 8 Stream

Data Transfer Nodes (DTN)

• PC-Linux Server

• Host Hardening and Performance Tune up, XRootD, SSH, Packet Pacing

• High Performance NICs, 1G bps, 10 Gbps, 40 Gbps: With Proper tuning we can get 30G+

• SSD, RAID, FibreChannel, SAN

• Lustre, GPFS, Grid FTP

Monitoring and Performance Measurement

• Pinger and Heart beat: Check if the node is alive

• PerfSONAR

• Active measurement

• Passive measurement

• End-to-End Testing,

• Latency and packet loss measurement

• Periodic Throughput Measurement

UniNet Research DMZ

• พนทกลางสำหรบใชงานเครอขายความเรวสงโดย ``ไมผาน Firewall”

• พนทกลางสำหรบใชงานทมการการนตคณภาพบรการ

• พนทกลางสำหรบสงผานขอมลความเรวสง

• พนทกลางสำหรบสงผานขอมลขนาดใหญ

End Host

Firewall EdgeRouter

MainSwitches

TrafficShaper

FacultySwitches

DepartmentSwitches

End Host

FirewallEdgeRouter

MainSwitches

TrafficShaper

FacultySwitches

DepartmentSwitches

Research DMZ

DTN

Research DMZ

DTN

UniNetMPLS Services

• “ศนยคอม” กบ UniNet ตง DMZ, SDN Node, DTN, ตงคา Services สเครอขายภายในสถาบน

• ผใชงานกบ “ศนยคอมฯ” ทะลวงทอจากโตะใชงานมาถง DMZ

• ผใชงานขอรบบรการจาก Express Lane Services

Express Lane Architecture

User

User

UserUser

User

User

Openflow-Switch.bit NetFPGA-base2.2.0-

full

NetFPGA-repo-1.1

Fedora 13.0

RYU Controller

Python 2.7

Ubuntu 14.04.3 LTS

Node JS

Ubuntu 14.04.3 LTS

KMUTNBIP Eth0 : 202.29.226.168/30IP Eth1 : 202.29.181.248/30

สงทตองการไดรบเพมเตม

1. IP Address สำหรบโหนด CU, RMUTR, RMUTT ใชในการตงคาใหกบ Eth0 เพอใชในการเชอมตอกบ Controller

2. IP Address สำหรบโหนด CU, RMUTR, RMUTT ใชในการตงคาใหกบ Eth1 เพอใชแทน Host ทเชอมตออยกบโหนดดงกลาว3. VLAN ID สำหรบทใชในการเชอมตอของแตละคโหนด

UNINETIP Eth0 : 202.29.226.164/30IP Eth1 : 202.29.181.252/30

MUIP Eth0 : 202.29.226.172/30IP Eth1 : 202.29.181.244/30

KMUTNB

MU

UNINET

RMUTT

CU

RMUTR

MPLS

Destination VLAN IDKMUTNB

3x01

3x02

3x03

3x04

3x05

UNINET

MU

RMUTR

CU

RMUTT

Destination VLAN IDUNINET

3x06

3x07

3x08

3x09

3x10

KMUTNB

MU

RMUTR

CU

RMUTT

Destination VLAN IDMU

3x11

3x12

3x13

3x14

3x15

KMUTNB

UNINET

RMUTR

CU

RMUTT

Destination VLAN IDRMUTR

3x16

3x17

3x18

3x19

3x20

KMUTNB

UNINET

MU

CU

RMUTT

Destination VLAN IDCU

3x21

3x22

3x23

3x24

3x25

KMUTNB

UNINET

MU

RMUTR

RMUTT

Destination VLAN IDRMUTT

3x26

3x27

3x28

3x29

3x30

KMUTNB

UNINET

MU

RMUTR

CU

MPLS VPN

KMUTNBIP Eth0 : 202.29.226.168/30IP Eth1 : 202.29.181.248/30

สงทตองการไดรบเพมเตม

1. IP Address สำหรบโหนด CU, RMUTR, RMUTT ใชในการตงคาใหกบ Eth0 เพอใชในการเชอมตอกบ Controller

2. IP Address สำหรบโหนด CU, RMUTR, RMUTT ใชในการตงคาใหกบ Eth1 เพอใชแทน Host ทเชอมตออยกบโหนดดงกลาว3. VLAN ID สำหรบทใชในการเชอมตอของแตละคโหนด

UNINETIP Eth0 : 202.29.226.164/30IP Eth1 : 202.29.181.252/30

MUIP Eth0 : 202.29.226.172/30IP Eth1 : 202.29.181.244/30

KMUTNB

MU

UNINET

RMUTT

CU

RMUTR

MPLS

Destination VLAN IDKMUTNB

3x01

3x02

3x03

3x04

3x05

UNINET

MU

RMUTR

CU

RMUTT

Destination VLAN IDUNINET

3x06

3x07

3x08

3x09

3x10

KMUTNB

MU

RMUTR

CU

RMUTT

Destination VLAN IDMU

3x11

3x12

3x13

3x14

3x15

KMUTNB

UNINET

RMUTR

CU

RMUTT

Destination VLAN IDRMUTR

3x16

3x17

3x18

3x19

3x20

KMUTNB

UNINET

MU

CU

RMUTT

Destination VLAN IDCU

3x21

3x22

3x23

3x24

3x25

KMUTNB

UNINET

MU

RMUTR

RMUTT

Destination VLAN IDRMUTT

3x26

3x27

3x28

3x29

3x30

KMUTNB

UNINET

MU

RMUTR

CU

VLAN Tagging

MUMPLS

End Time

Start Time

IP Dst

IPScr

VLANID

IP Protocol

Inport

IPScr

VLANID

IP Protocol

TCPSrc

TCPDst

End Time

Start Time

MACScr

IPScr

IP Dst

IPScr

IP Protocol

TCPSrc

TCPDst

IP Dst

IPScr

VLANID

TCPSrc

TCPDst

IP Protocol

VLANID

IP Dst

IPScr

IP Protocol

TCPSrc

TCPDst

Software Architecture

MySQL Database

Node.JS

Ubuntu 14.04 LTSUniNet Web Server

MySQL 2.2.0

Node-schedule 1.1.0

Nodemailer 2.4.1

Node.JS module

PassPort 0.3.2

EJS 2.4.1

Express 3.5.1

UniNet Controller

RYU Controller

Python 2.7

Ubuntu 14.04 LTS

SDN NODE

Basic Services

Uninet Express LanePortal

Sign-up

Approve Request

Cancel Request

User Request

Service Activities

Reserve for service

Approve Request

Cancel Request

Database

Send Email

Email managementEditor

Logs Viewer

Email TemplateUser

Admin

User Manage Service Manage

Keep logs

Sending Email

Reset Password

Request ProcessingWeb application

Request

Approve

User Admin

Controller

Update

Read

User

Request (Bandwidth, Start Time, End Time, Source, Destination, Src. Mac, Des. Mac)

Admin

Approve (Bandwidth, Start Time, End Time, Source, Destination, Src. Mac, Des. Mac, SourceIP, DesIP)

RequestVLAN (Start Time, End Time, Room, SW No, SWPort, SrcMac)

User

Uadmin

ApproveVLAN (Start Time, End Time, Room, SW No, SWPort, SrcMac)

Manual Systems

User Admin

Request Service Approve Serviceinclude

Service State

All Service Logs

Cancel Service

Service Logs

การรกษาความปลอดภย• Research DMZ เปน Back Door หรอไม?

• Pretty Good Security

• Isolate Traffic from Normal Traffic

• Port Level Security ท Switch, VLAN 802.11Q

• SDN provides ACL

• Provide logging and IDS

UniNet Express Lane

User Registration

Request for Services

Service Management

System Monitoring

SDN Node Monitoring

สรปความ• อยาก Bypass Firewall, อยากได Bandwidth > 5 Gbps

:ใช Research DMZ และทะลวงทอ VLAN ใหสำเรจ

• ไดอะไร: UniNet Express LANE, powered by SDN over MPLS VPN

• กำลงดำเนนการตดตง PoC ท 6 โหนด ใน UniNet Core ทความเรว 1 Gbps

• ปหนาทดสอบ 10 Gbps

!น#เค&อ(ายกลาง.ห0บงาน23ย -...

Documents