j-parc 実験におけるデータ収集環境とシステムデザイン

J-PARC 実験におけるデータ収集環境とシステムデザイン

KEK Electronics/Online Group

五十嵐　洋一

講演の内容マップ

KEK-VMETrigger 系

田中

KEK-VMERead-out 系

田内

既存システム井上

KEK-VME System 構築仲吉

データ収集系 , KEK-VME 概要五十嵐

将来の可能性内田

J-PARC 50 GeV-PS 実験• 念頭に置いたデータ収集系の要求性能

– Trigger rate: 500Hz ~ 10kHz– Channel 数 > 1k– データ量 1MB/sec ~ 数十 MB/sec

• 実現するための問題点– Dead time < 数 sec– System integration

• 多数の channel• 多数にわたるクレート

– モジュールの供給• 市場に物理測定用 A/D モジュールが少ない。

– トラディショナルなシステムの相対的な高コスト化• Channel 数の増加• 安価な高性能技術

解決手段　 (Dead Time)

• モジュールの構造の変更– バッファ・メモリをバスの前に– モジュール単位で十分なバッファを持たせる。

• Front-end data reduction– モジュールの単位でのデータの削減– エレクトロニクスの進歩により安価にフロントエ

ンドにメモリやシーケンサ、プロセッサを搭載することが可能。

Front-end of Read-out module　

• トラディショナルなシステム– Processor がデータを集め終

わるまでが Dead time

• フロントエンドバッファリング– 細かい単位で FIFO にデータ

をバッファリング– Trigger の分布を一様に均す

ことで Dead time は～ 1/10 に

– FIFO の後ろでは Real-time system が不要

Loca

l bus

FIFO

FIFO

FIFO

FIFO

AD

AD

AD

ADSta

ndard

bus

AD module

AD module

AD module

AD module Processor

Processor

BUSY release

TRIGGER

解決手段 ( モジュールの供給 )• モジュール開発のベースとなる

プラットフォームの開発– Power/Bus crate: KEK-VME– Read-out platform: COPPER

• ユーザーと共に必要なモジュールを開発。– 開発するのはプラットフォーム上の

小さな A/D の部分のみ

POWERCRATE

READOUTPLATFORM

A/D CARD

Schematic view of a read-out module

Loca

l bus

PC

IBridge

PLX9054

VM

ESharedMemory

FIFO

FIFO

FIFO

FIFO

9U Euro Card

To Downstream DAQ System

To Central Trigger

Sig

nals

fro

m d

etec

tors

• Standard components– 9U Euro card– VME-32 compatible– PCI

ADC/TDC(FINESSE)

ADC/TDC(FINESSE)

ADC/TDC(FINESSE)

ADC/TDC(FINESSE)

Free Slot

PrPMC(Processor)

Triggermodule

Serial LinkNetworkEtc…

On-boardNetworkinterface

On-board data reduction

Front-end Buffering

•Module structure

Pipeline read-out

解決手段　 (System Integration)• ネットワークによる分散システム

– ネットワーク技術の進歩により　 1Gbps ～ 10Gbps 　の転送が可能。

• PLD, PC, Linux など一般的で良く知られた技術の導入– 組み上げのコストを下げるために出来るだけ特殊なものは使

わない• PC を組み込んだモジュール群

– Read-out platform: COPPER– PC 内臓 CAMAC C.C.: CC/Net

System integration

• ADC+PC をユニットとしてネットワークで組み合わせる。– COPPER– CC/NET– TKO/VME/VME-PC

• Read-out は違うが、その他は Software 上は同じものとして扱える。

• よく知られた馴染み深い環境の利用– PC/Linux 2.4

• 豊富なアプリケーション / 開発環境• GCC• Script 言語

A/D PC Network

Overview of DAQ configuration(Data Path)

TKO

CAMAC

PC

VICTOR/VME-CPUSCH/SMP/VME-CPU

NetworkBack-end

PC

COPPER•Network•VME-bus•Open interface

(USB/FireWire/…)

Local Storage

NetworkTo Data serverPC

CC/NET

Network based

Event Builder

New System

Traditional System

Software

• Read-out driver• DAQ framework

– Bus を中心としたものから Network を中心としたものへ

– Network based Event builder– Slow/Run control

• Network base message exchanger– Control– Watch dog

– Data carrier• Format• Pack/unpack interface

Trigger distribution

• システムの半パイプライン化– Trigger/busy のスキームは O(10 kHz) ト

リガのレンジでは問題ないのでそのまま使う。

• System の構築、 debug に有利– Event のタグが重要に

• 中央管理のタグ• モジュール毎のタグ

– モジュールが持つ local counter– On-board PC が持つ local counter– GP-IO/KEK-VME を使った Trigger/Tag の分配– (Belle TT system を使った Trigger/Tag の分配 )

Trigger/Tag distribution

Trigger Logic

GP

-IO GO

NG

SC

H

C.C

.

CO

PP

ER

CO

PP

ER

I/O register

I/O register

CO

PP

ER

CO

PP

ER

Int. register

SMP

KEK-VME TKO CAMAC

TRIGGER/RESET

BUSYTAG

GP-IO

Storage

• 一般 LAN とは別に専用に光ケーブルを要求済– HDホールから Data Center まで 1 Gbps

を専用に確保• Data center が何処にどのような形で出来るか

はまだ未定。

• 大容量 Disk に溜め込み順次 Data center のストレージに転送。– Media server– RAID

開発の現状• Hardware

– KEK-VME crate• 9U/6U ほぼ完成• Low-noise 電源を開発中

– Read-out module• 実用モジュールが完成

– Front-end A/D card• 500 MHz/65MHz FADC, AMT TDC が実用レベル

– Trigger-Card• 実用試験中

• Software– 主要な Device driver は動いている。– DAQ framework

• 試験用 DAQ システムを動かして試験中• 実用への R&D

利用・協力• Belle DAQ

– 共同開発– 主 A/D (pipeline TDC) を Fast-bus KEK-VME

に移行• EFC を使って実用試験中うまく動いている。

• KL 実験– FADC を検討 /試験

• KEK短寿命核実験– FADC を検討 /試験

• J-PARC Beam line– KEK-VME を使ったモジュール (Slow-ext.)– モニター用の FADC (Fast-ext.)

• テレスコープアレイ実験

Know-how の集積

• Web site/Portal site の準備• 現行の開発ミーティングをユーザーミーティングに移行– 開発ミーティング参加 Gr.

• KEK elec./online gr., Belle DAQ gr., 広島工業大学 , T2K

–今後は• DAQ frame work の開発• 利用のための Know-how をためる。• 開発の需要調査• などが中心

一緒にやりませんか ?

まとめ

• KEK electronics/online group では J-PARC を含む次世代粒子検出実験のサポートのために KEK-VME System を開発しています。– KEK-VME crate, Read-out module, いくつかの F

ront-end card が Ready です。– Front-end card ( それ以外でも ) の共同開発はいつでも受け付けます。

• これからの課題– DAQ framework

– System の実証試験

– 実験グループと共に実験への適用

Crate and Power Supply (KEK-VME)

Pin assignment of J0

Voltage -5.0V -3.3V +3.3V

Total Max Current

100A 320A 200A

Pos.

z a b c d e f

1 GND GND GND GND GND GND GND



4 GND +3.3V +3.3V +3.3V +3.3V +3.3V GND

5 GND +3.3V +3.3V +3.3V +3.3V +3.3V GND

6 GND +3.3V +3.3V +3.3V +3.3V +3.3V GND

7 GND +3.3V +3.3V GND GND GND GND



10 GND GND GND GND -3.3V -3.3V GND

11 GND -3.3V -3.3V -3.3V -3.3V -3.3V GND

12 GND -3.3V -3.3V -3.3V -3.3V -3.3V GND


14 GND -5V -5V -5V -5V -5V GND


16 GND S1+ S1- GND S2+ S2- GND



19 GND S7+ S7- GND C1 C2 GND

• Euro card/crate– 9U and 6U

– VME-32 bus

• J0 Connector for Power Supply– Treat front-end analog to

digital conversion devices

A low noise power supply was developed.(1/10 less than standard VME power supply)

+3.3V

-3.3V

-5.0V

Trigger distribution

Trigger module(GP-IO)

COPPER

CAMAC

Trigger Logic(NIM/VME/KEK-VME)

GONG

KE

K-V

ME

TK

O

NIM

/EC

L/LV

DS 128input Trigger module

Clock generatorGate generator

General purpose I/O module(It can used as trigger receiver)

Trigger logic building tools

Programmablelogic device

KEK-VME logic modules can be replaced traditional NIM logic modules.

データバッファリング

• 非同期に現れるイベントを同期的にならす– イベント間の時間幅

• ポアソン分布　→　等間隔

t

イベント発生時間

データを取り込んでいる時間t

Buffer

Dead Time を 10% に仮定すれば、バッファの前後で必要とされる速度は 10倍違う !

Software model (Data collection)

ADC

Data readRing bufferRing bufferTCP/IP

Ring bufferData reader

Ring bufferData readerEvent builder

Ring bufferData reader

• Software は Linux 上で開発・稼動可能

Software model (Slow control)

• Network を超えて制御メッセージ / ステータスの交換を行う framework

j-parc 実験におけるデータ収集環境とシステムデザイン

Documents