chapter3_to chuc bo nho may tinh_v3

Hanoi University of Technology Faculty of Electronics and Telecommunications

1/2010 Chapter 3Tổ chức bộ nhớ máy tính

3.1 Giới thiệu chung về bộ nhớ máy tính3.2 Các loại bộ nhớ bán dẫn3.3 Bộ nhớ chính (RAM) 3.4 Bộ nhớ đệm (cache)



Thanh ghi (trong CPU)Bộ nhớ đệm (L1/L2/L3 cache)Bộ nhớ chính (RAM)Bộ nhớ ngoài (external memory)

Ổ cứngĐĩa quangBăng từ

3.1 Giới thiệu chung về bộ nhớ máy tính3.1.1 Sơ đồ phân cấp bộ nhớ



3.1.2 Phân loại bộ nhớ3.1.2.1 Theo tính chất vật lý

Bộ nhớ bán dẫn:ROM/ RAM

Bộ nhớ từ:Ổ cứng và băng từ

Bộ nhớ quangCD-ROM, CD-RW & DVD-ROM/RW



3.1.2.2 Phân loại theo phương pháp truy cậpBộ nhớ truy cập ngẫu nhiên

Từng vị trí nhớ được xác định chính xác bởi địa chỉ.Thời gian truy cập không phụ thuộc vào vị trí của dữ liệu hoặc vị trítruy cập trước đó.Ví dụ: bộ nhớ RAM (Random Access Memory).

Bộ nhớ truy cập tuần tựBắt đầu từ phần đầu bộ nhớ và đọc lần lượt từng vị tríThời gian truy cập phụ thuộc vào vị trí của dữ liệu và vị trí truy cậptrước đóVí dụ: băng từ.



3.1.2.2 Phân loại theo phương pháp truy cập

Bộ nhớ truy cập trực tiếpMỗi dữ liệu có địa chỉ xác định duy nhấtViệc truy cập được thực hiện bằng cách nhảy tới vùng nhớlân cận và tìm kiếm tuần tựThời gian truy cập phụ thuộc vào vị trí của dữ liệuVí dụ: ổ cứng.

Bộ nhớ truy cập kết hợpDữ liệu được xác định bằng cách so sánh với các nội dung được lưu trong bộ nhớ đệmThời gian truy cập không phụ thuộc vào vị trí của dữ liệuhoặc vị trí truy cập trước đóVí dụ: bộ nhớ đệm (cache)



3.1.3 Các thông số cơ bảnThời gian truy cập (Access time)

Thời gian từ khi gửi địa chỉ tới khi nhậnđược dữ liệu

Chu kỳ bộ nhớ (Memory Cycle time)Thời gian cần thiết để truy cập dữ liệuvà phục hồi bộ nhớ trước lần truy cậptiếp theoChu kỳ bộ nhớ = thời gian truy cập + thời gian phục hồi bộ nhớ

Tốc độ truyền dữ liệu (Transfer rate)Tốc độ truyền thông tin giữa bộ nhớ vàCPUBiểu diễn bằng MB/s hoặc Gigabytes/s.Ví dụ: Bộ nhớ RAM DDR2 533 Mhz 64 bit có tốc độ truyền dữ liệu 4.2 GB/s.



3.2 Các dạng bộ nhớ bán dẫn

Memory Type Category ErasureWrite

MechanismVolatility

Random-access memory (RAM)

Read-write memory

Electrically, byte-level

Electrically Volatile

Read-only memory (ROM)

Masks

Programmable ROM (PROM)

Erasable PROM (EPROM)

UV light, chip-level

Electrically Erasable PROM (EEPROM)

Electrically, byte-level

Flash memoryElectrically, block-level

Read-mostly memory

Electrically

Nonvolatile

Read-only memory

Not possible



3.3 Bộ nhớ truy cập ngẫu nhiên (RAM)RAM = Random Access Memory

Có thể đọc/ghiNội dung có thể thay đổi (volatile)Lưu trữ tạm thờiGồm bộ nhớ RAM tĩnh và RAM động (SRAM or DRAM)



3.2.1 Bộ nhớ RAM động (DRAM=Dynamic RAM)

Bits được lưu như điện tích của tụ điệnMức điện tích xác định giá trị của bitDo điện tích bị rò nên cần được làm tươi khicấp nguồn cần mạch làm tươi.Cấu trúc đơn giản, giá thành rẻĐược sử dụng để chế tạo bộ nhớ

Cấu trúc một bộ nhớ DRAM



Nguyên lý hoạt động của DRAMĐường địa chỉ thành active khi ghi/đọc

Transistor ở trạng thái đóng (cho dòngqua)

Trạng thái ghi (Write)Điện áp được cấp cho đường dữ liệu B

High for 1 low for 0Sau đó cấp tín hiệu cho address line

Điện tích được nạp vào tụ điện(capacitor)

Trạng thái đọc (Read)Các đường địa chỉ được lựa chọn:

Transistor ở trạng thái đóngĐiện tích của tụ điện được truyền qua bit line B:

So sánh với giá trị chuẩn để xácđịnh là bit 0 hay bit 1.

Điện tích của tụ điện sau đó cần khôiphục

Cấu trúc một ô nhớ DRAM



3.2.2 Bộ nhớ RAM tĩnh (SRAM- Static RAM)

Các bit được lưu như các chuyển mạchON/OFFDo vậy không cần mạch làm tươi điện tíchCấu trúc 1 bit phức tạp hơnGiá thành cao hơnTốc độ nhanh hơnĐược sử dụng làm bộ nhớ đệm

Một vi mạch 4-bit SRAM



Nguyên lý hoạt động của SRAMMỗi bit của bộ nhớ SRAM được lưutrong một mạch logic gồm 4 transistorTrạng thái 1

C1 high, C2 lowT1 T4 off, T2 T3 on

Trạng thái 0C2 high, C1 lowT2 T3 off, T1 T4 on

Giá trị địa chỉ được đặt lên transistor T5và T6 , vai trò như một bộ switch.Khi ghi, đặt giá trị cần ghi lên line B vàgiá trị bù lên BKhi đọc, giá trị xuất hiện trên line B Cấu trúc một ô nhớ SRAM



So sánh bộ nhớ SRAM và DRAMĐều là bộ nhớ lưu trữ tạm thời

Cần duy trì nguồn điện để lưu dữ liệuDynamic RAM

Cấu trúc đơn giản, mạch lưu trữ/1 bit nhỏ.Mật độ lưu trữ cao.Cần mạch làm tươi (refresh circuit).Dùng để chế tạo các bộ nhớ dung lượng lớn như bộ nhớ chính.

Static RAMTốc độ truy cập nhanhMạch lưu trữ/1 bit thông tin phức tạp hơn nên kích thước nhỏDùng để chế tạo các bộ nhớ đệm (Cache), tích hợp trong FPGA, ASIC.



VD2: Tổ chức một vi mạch bộ nhớ 16 Mb DRAM (4M x 4bit)

Một 16Mbit chip có thể tổ chứcthành 2048 x 2048 x 4bit

Để giảm số chân địa chỉ:Ghép kênh tín hiệu địa chỉhàng và địa chỉ cộtCần 11 chân địa chỉ(211=2048)



Sơ đồ đóng vỏ



VD2: 1MByte Module = 256 Kbyte X 4



3.2.3 Các kiến trúc bộ nhớ RAM mới3.2.3.1 SDRAM (Synchronous Dynamic RAM )

Việc truy cập được đồng bộ bởi đồng hồ hệ thống, do đó CPU sẽ biếtkhi nào dữ liệu được gửi ra từ bộ nhớ.CPU sẽ không phải dừng trong lúc chờ dữ liệu như DRAM truyềnthống mà có thể thực hiện các công việc khác.DDR-SDRAM (Double Data Rate - SDRAM) gửi dữ liệu 2 lần trong mộtchu kỳ đồng hồ, cho phép tăng tốc độ truyền dữ liệu lên gấp đôi.



Ví dụ: Tổ chức bộ nhớ SDRAM 8 Mbytes



Lược đồ thời gian chu kỳ đọc của bộ nhớ SDRAM



SDRAM gửi dữ liệu một lần trongmột chu kỳ đồng hồDDR SDRAM (Double-data-rate SDRAM) có thể gửi dữ liệu 2 lầntrong một chu kỳ đồng hồ tại sườnlên và sườn xuống của xung đồnghồ.Hiện nay có các thế hệ: DDR SDRAM, DDR2 SDRAM và DDR3 SDRAM.Ví dụ:

DDR-400 PC-3200 có tốc độ xung đồnghồ 200 MHz và tốc độ truyền dữ liệu caonhất là 3200MB/s.DDR3-800 PC-12800 có tốc độ xungđồng hồ 200 MHz và tốc độ truyền dữ liệucao nhất là 12800 MB/s.

Lược đồ thời gian chu kỳ đọc của DDR SDRAM



Intel Core2 Duo Diagram

3.4 Bộ nhớ Cache

3.4.1 Khái niệmDung lượng nhỏ, tốc độ truy cập caoNằm giữa bộ nhớ chính và CPUCó thể được tích hợp trên CPU hoặcnằm trên một module riêng

Intel Core2 Duo Processor Die



Đơn vị dữ liệu trao đổi giữa Cache, bộ nhớ chính và CPU



3.4.2 Phương pháp tổ chức

Bộ nhớ chính được tổ chức theo block 2w

Cache được tổ chức theo line 2r

Mỗi line của bộ nhớ đệm tương ứng vớiblock của bộ nhớ chính



3.4.3 Nguyên lý hoạt động của bộ nhớ cache

CPU gửi yêu cầu dữ liệu tại một ô nhớCache kiểm tra xem có dữ liệu này ?Nếu có (cache hit) dữ liệu được gửi từcache lên CPUNếu không (cache miss), dữ liệu đượcyêu cầu truyền từ bộ nhớ chính vàocache, dữ liệu khi đó được truyền từcache tới CPUCache sử dụng thẻ ghi (tag) để nhậndạng block dữ liệu nào đang ở trongcache.



Một số vấn đề khi thiết kế cache

AddressingSizeMapping FunctionReplacement AlgorithmWrite PolicyBlock SizeNumber of Caches



Processor Type Year of Introduction L1 cache L2 cache L3 cache

IBM 360/85 Mainframe 1968 16 to 32 KB — —PDP-11/70 Minicomputer 1975 1 KB — —

VAX 11/780 Minicomputer 1978 16 KB — —IBM 3033 Mainframe 1978 64 KB — —IBM 3090 Mainframe 1985 128 to 256 KB — —Intel 80486 PC 1989 8 KB — —

Pentium PC 1993 8 KB/8 KB 256 to 512 KB —PowerPC 601 PC 1993 32 KB — —PowerPC 620 PC 1996 32 KB/32 KB — —PowerPC G4 PC/server 1999 32 KB/32 KB 256 KB to 1 MB 2 MB

IBM S/390 G4 Mainframe 1997 32 KB 256 KB 2 MBIBM S/390 G6 Mainframe 1999 256 KB 8 MB —

Pentium 4 PC/server 2000 8 KB/8 KB 256 KB —

IBM SPHigh-end server/ supercomputer

2000 64 KB/32 KB 8 MB —

CRAY MTAb Supercomputer 2000 8 KB 2 MB —Itanium PC/server 2001 16 KB/16 KB 96 KB 4 MB

SGI Origin 2001 High-end server 2001 32 KB/32 KB 4 MB —Itanium 2 PC/server 2002 32 KB 256 KB 6 MB

IBM POWER5 High-end server 2003 64 KB 1.9 MB 36 MBCRAY XD-1 Supercomputer 2004 64 KB/64 KB 1MB —



3.4.4 Các phương pháp thiết kế cache

Dung lượng BNC: 2n x word

Block size: 2w word

Số blocks: 2n/2w = 2n-w = 2s block

Dung lượng cache: 2m x word (m<n)

Line size = block size = 2w word

Số line: 2m/2w = 2m-w = 2r block

Nếu tổ chức các line theo tập hợp (set), với 2k line/set

Số tập hợp là: 2r/2k = 2r-k = 2d



s-rTag Line Word

r w3.4.4.1 Direct Mapping



sTag Word

w3.4.4.2 Fully Associate Mapping



3.4.4.2 Set Associate Mappings-d

Tag Set Wordd w



Sử dụng khi Cache missKhông áp dụng thuật tóan thay thế cho fully associate mappingÁp dụng thuật toán thay thế cho Direct mapping và Set associate mapping (trong từng set)

Random: Thay thế block trong một line được chọn ngẫu nhiên bằng block của BNC cần truy cậpFIFO (first in first out): Thay thế block ở trong một line có thời gian trongcache lớn nhất (timer)LRU (least recently used): Thay thế block trong line tùy theo tần suất truycập

Dựa vào bộ đếm (counter based): gắn mỗi line một bộ đếmDựa vào ma trận xấp xỉ (approximate matrix): gắn mỗi line vào ma trậnCửa sổ (window based): tương tự ma trận xấp xỉ, nhưng dùng cửa sổ

3.4.5 Các thuật toán thay thế



Vấn đề cache coherenceKhông ghi đè lên cache khi chưa cập nhật trong bộ nhớ chínhNhiều CPU có thể có nhiều cacheI/O operation có thể truy cập trực tiếp bộ nhớ chính

Các phương pháp ghi lên cacheWrite through

Ghi lên cache đồng thời ghi lên BNCNhiều CPU theo dõi BNC để cập nhật cache của mìnhNhiều main memory traffic, tốc độ chậm

Write backCập nhật cache sử dụng UPDATE bit setting cho mỗi lineKhi thay thế, cập nhật BNC nếu UPDATE bit được thiết lậpI/O operation phải qua Cache nên cấu trúc phức tạp hơn, hiện tượng bottle-neck

Các phương pháp đọc từ cacheĐọc theo yêu cầu (demand read): đọc block vào cache khi có yêu cầuĐọc trước (prior read): Đọc block (i+1) khi tham chiếu block (i) trong cacheĐọc có lựa chọn (selective read): Theo policy để đảm bảo hiệu quả

3.4.6 Cơ chế ghi/đọc cache



High logic density enables caches on chipFaster than bus accessFrees bus for other transfers

Common to use both on and off chip cacheL1 on chip, L2 off chip in static RAML2 access much faster than DRAM or ROML2 often uses separate data pathL2 may now be on chipResulting in L3 cache

Bus access or now on chip…

3.4.7 Cache nhiều mức



Hit Ratio (L1 & L2) for 8 kbytes and 16 kbyte L1



3.4.7 Cache đồng nhất và cache phân chia

Cache đồng nhất (unified cache): chỉ có một loại cache chung cholệnh và dữ liệuCach phân chia (splited cache): hai loại cache riêng cho lệnh và dữliệuƯu điểm của cache đồng nhất:

Hit ratio cao hơnCân đối tải cho công đoạn nhận lệnh và nhận dữ liệuChỉ cần thiết kế một loại cache

Ưu điểm của cache phân chiaLoại bỏ xung đột có thể giữa các khối IF/ID và khối EX

Thuận lợi trong thiết kế kiến trúc pipeline



Pentium 4 Cache

80386 – no on chip cache80486 – 8k using 16 byte lines and four way set associative organizationPentium (all versions) – two on chip L1 caches

Data & instructionsPentium III – L3 cache added off chipPentium 4

L1 caches8k bytes64 byte linesfour way set associative

L2 cache Feeding both L1 caches256k128 byte lines8 way set associative

L3 cache on chip



Pentium 4 Block Diagram



Pentium 4 Core Processor

Fetch/Decode UnitFetches instructions from L2 cacheDecode into micro-opsStore micro-ops in L1 cache

Out of order execution logicSchedules micro-opsBased on data dependence and resourcesMay speculatively execute

Execution unitsExecute micro-opsData from L1 cacheResults in registers

Memory subsystemL2 cache and systems bus



Pentium 4 Design ReasoningDecodes instructions into RISC like micro-ops before L1 cacheMicro-ops fixed length

Superscalar pipelining and schedulingPentium instructions long & complexPerformance improved by separating decoding from scheduling & pipelining

(More later – ch14)Data cache is write back

Can be configured to write throughL1 cache controlled by 2 bits in register

CD = cache disableNW = not write through2 instructions to invalidate (flush) cache and write back then invalidate

L2 and L3 8-way set-associative Line size 128 bytes



ARM Cache Features

Core Cache Type

Cache Size (kB)

Cache Line Size (words)

Associativity Location Write Buffer Size

(words)

ARM720T Unified 8 4 4-way Logical 8

ARM920T Split 16/16 D/I 8 64-way Logical 16

ARM926EJ-S Split 4-128/4-128 D/I

8 4-way Logical 16

ARM1022E Split 16/16 D/I 8 64-way Logical 16

ARM1026EJ-S Split 4-128/4-128 D/I

8 4-way Logical 8

Intel StrongARM

Split 16/16 D/I 4 32-way Logical 32

Intel Xscale Split 32/32 D/I 8 32-way Logical 32

ARM1136-JF-S Split 4-64/4-64 D/I

8 4-way Physical 32



ARM Cache Organization

Small FIFO write bufferEnhances memory write performanceBetween cache and main memorySmall c.f. cacheData put in write buffer at processor clock speedProcessor continues executionExternal write in parallel until emptyIf buffer full, processor stallsData in write buffer not available until written

So keep buffer small



ARM Cache and Write Buffer Organization

chapter3_to chuc bo nho may tinh_v3

Documents