implementacja gigabitowego ethernetu na układach · pdf fileimplementacja gigabitowego...
TRANSCRIPT
Implementacja Gigabitowego Ethernetu na układach
FPGA dla eksperymentów fizycznych
Grzegorz Korcyl
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
Plan
1. Systemy akwizycji danych
2. Używana elektronika
3. Układy FPGA
4. Programowanie FPGA
5. Implementacja GbE
6. Podsumowanie
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
1. Systemy akwizycji danych
Elektronika oraz oprogramowanie do pozwalające
zmierzyć oraz zapisać sygnały z detektorów
DAQ Rzeczywisty eksperyment:
- Wiele detektorów
- Tysiące kanałów danych
- Tysiące pomiarów na sekundę
- Analiza danych na żywo
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
1. Systemy akwizycji danych
Eksperyment HADES
System 7 detektorów
80 000 kanałów danych
Do 55 000 przypadków na sekundę
520 płyt elektronicznych
550 FPGA
1050 optycznych nadajników
5km światłowodów
Gigabit Ethernet + TrbNet
Do 700 MBps danych zapisywanych
High Acceptance Di-Electron Spectrometer at GSI Helmholtzzentrum fur Schwerionenforschung, Darmstadt (DE)
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
2. Używana elektronika
Detectors Front-End Electronics Readout electronics
Concentrators
Trigger modules Event builders
●Detektory: ●Generuja analogowe sygnaly ●Tysiace kanałów
●Elektronika czołowa: ●Kształtowanie sygnałów ●Dyskryminacja
●Elektronika odczytu: ●Pomiar oraz cyfryzacja analogowych sygnałów ●Wstępna analiza ●Konstrukcja jednostek danych
●Koncenratory: ●Składanie jednostek danych ●Brama do sieci ●Transmisja danych kontrolnych
●Moduł wyzwalania: ●Generuje sygnał „migawki” ●Kontroluje działanie całego systemu
●Maszyny budujące: ●Składają części danych w pełne przypadki ●Zapisują dane na trwałych nośnikach
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
3. Układy FPGA
Field Programmable Gate Array
Programowalna logika
Rekonfiguracja
Równoległe przetwarzanie
Porty do komunikacji
Wbudowana pamięć
Przetwarzanie sygnałów na żywo
Rozwiązania CPU
3. Układy FPGA
Piny IO
Bloki logiczne (LUT, przerzutnik, multiplekser)
Połączenia pomiędzy blokami
Sprzętowe elementy (pamięć, moduły DSP, porty
komunikacyjne, etc.)
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
3. Układy FPGA
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
4. Programowanie FPGA
Projekt: Opis logiki wykonywanej przez FPGA – języki HDL
Plik mapujący piny na sygnały oraz określający wymagania
Budowa: Synteza – przetłumaczenie HDL na bramki logiczne wraz z
połączeniami, uproszczenie, optymalizacja
Place And Route – rozmieszczenie logiki wewnątrz układu FPGA
Bitgen – Wygenerowanie pliku konfiguracyjnego
Problemy: Błędy logiczne
Czasy propagacji sygnałów
Rozmiar zaprojektowanej logiki
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
4. Programowanie FPGA
+ =
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
4. Programowanie FPGA
Język VHDL (VHSIC Hardware Description Language)
Język opisu sprzętu
Ukierunkowany na przepływ danych
Teoretycznie przenośny pomiędzy platformami
Budowa:
Czasochłonna
Nie zawsze przewidywalna
Debugowanie:
Symulacje (pre i post PAR)
Analizator stanów logicznych
ChipScope, Reveal Analyzers
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
5. Implementacja GbE
Motywacja:
Zebrane dane z detektorów trzeba przenieść do komputerów
Znany standard, tanie, sprawdzone urządzenia
Wsparcie producentów FPGA
Projekty:
Eksperyment HADES (GSI, Niemcy)
Eksperyment BELLE2 (KEK, Japonia)
Przyszły eksperyment PANDA (GSI, Niemcy)
Ogólny projekt TRBv3
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
5. Implementacja GbE
Podstawowa implementacja dla HADESu:
Koncentrowanie danych z kilku źródeł
Konstrukcja pakietów UDP
Wybór komputera docelowego
Transmisja
Moduły:
Odbierający dane – interfejs z TrbNet
Konstrukcja pakietów oraz ramek (OSI 3 + 4)
Moduł transmitujący
Moduł dostępu do sprzętu (OSI 1 + 2)
Stan:
W użyciu od 2 lat
Prędkość transmisji do 50 MBps
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
5. Implementacja GbE
Rozszerzona implementacja
Odbieranie pakietów - FullDuplex
Implementacja podstawowych protokołów
Transmisja do 118MBps
Logika niezależna od układu FPGA
Obsługa VLAN
Jumbo Frames
Frame Receiver Receive ControllerMain Controller
Transmit ControllerPacket Constructor
Frame ConstructorFrame Transmitter
Ethernet
GTP
SGM
II/G
bE
PC
SEm
bed
ded
MA
C
data
control
Type ValidatorProtocol
Prioritizer
Protocol Selector
DHCP
PING
ARP
DataRX Link Controller
FPG
A L
ogi
c
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund
5. Implementacja GbE
Zastosowanie – projekt 1
TRBv3
Płyta ogólnego zastosowania
5x Lattice ECP3 150
8x 3.2 Gbps SFP
4x 208 pin konektory – małe karty Addon
1x 106 pin konektor – regular Addon
Kontrola całej płyty poprzez Ethernet
…
5. Implementacja GbE
Zastosowanie – projekt 1
TRBv3
Time-to-Digital Converter na FPGA
Dokładny pomiar czasu propagacji sygnału wewnątrz FPGA
5. Implementacja GbE
Zastosowanie – projekt 2
Compute Node
ATCA
5x Xilinx Virtex4FX 75
8x 3.2 Gbps SFP
5x 2GB DDR2
Wysoka przepustowość oraz moc obliczeniowa do analizy danych na
żywo
PowerPC do implementacji wysoko poziomowych algorytmów
5. Implementacja GbE
Zastosowanie – projekt 2
Compute Node
Rozwiązania CPU na FPGA
Hardware:
Procesory PowerPC wbudowane w urządzenia FPGA
Software:
Kompilowalne procesory RISC MircoBlaze jako logika FPGA
Możliwość uruchamiania programów napisanych w C
Możliwość uruchomienia systemu operacyjnego
5. Implementacja GbE
Zastosowanie – projekt 2
Compute Node
Analiza danych oparta na wbudowanych w FPGA PowerPC
2GB SDRAM dla każdego z FPGA
6. Podsumowanie
Eksperymenty fizyczne wymagają nowoczesnych
rozwiązań w zakresie przetwarzania oraz transmisji
danych
Układy FPGA idealnie wpasowują się do stawianych
wymagań
Implementacja Gigabitowego Ethernetu rozszerza zakres
możliwości oferowanych przez elektronikę wyposażoną w
układy FPGa
INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund