J-PARC 実験におけるデータ収集環境とシステムデザイン

J-PARC 実験におけるデータ収集環境とシステムデザイン KEK Electronics/Online Group 五十嵐　洋一

講演の内容マップ データ収集系, KEK-VME 概要五十嵐 KEK-VME System 構築仲吉 KEK-VME Trigger 系田中 KEK-VME Read-out 系田内既存システム井上将来の可能性内田

J-PARC 50 GeV-PS 実験 • 念頭に置いたデータ収集系の要求性能 • Trigger rate: 500Hz ~ 10kHz • Channel 数 > 1k • データ量 1MB/sec ~ 数十MB/sec • 実現するための問題点 • Dead time < 数 msec • System integration • 多数の channel • 多数にわたるクレート • モジュールの供給 • 市場に物理測定用 A/D モジュールが少ない。 • トラディショナルなシステムの相対的な高コスト化 • Channel 数の増加 • 安価な高性能技術

解決手段　(Dead Time) • モジュールの構造の変更 • バッファ・メモリをバスの前に • モジュール単位で十分なバッファを持たせる。 • Front-end data reduction • モジュールの単位でのデータの削減 • エレクトロニクスの進歩により安価にフロントエンドにメモリやシーケンサ、プロセッサを搭載することが可能。

Front-end of Read-out module TRIGGER Standard bus AD module AD module • トラディショナルなシステム • Processor がデータを集め終わるまでが Dead time • フロントエンドバッファリング • 細かい単位で FIFO にデータをバッファリング • Trigger の分布を一様に均すことで Dead time は～1/10 に • FIFOの後ろでは Real-time system が不要 AD module Processor AD module BUSY release Local bus AD FIFO AD FIFO AD FIFO Processor AD FIFO

解決手段 (モジュールの供給) • モジュール開発のベースとなるプラットフォームの開発 • Power/Bus crate: KEK-VME • Read-out platform: COPPER • ユーザーと共に必要なモジュールを開発。 • 開発するのはプラットフォーム上の小さな A/D の部分のみ A/D CARD POWER CRATE READOUT PLATFORM

Schematic view of a read-out module • Module structure Front-end Buffering Pipeline read-out • Standard components • 9U Euro card • VME-32 compatible • PCI VME PCI Local bus Shared Memory ADC/TDC (FINESSE) FIFO On-board data reduction PrPMC (Processor) ADC/TDC (FINESSE) FIFO Signals from detectors To Central Trigger Trigger module ADC/TDC (FINESSE) FIFO Free Slot Bridge PLX9054 To Downstream DAQ System ADC/TDC (FINESSE) FIFO On-board Network interface Serial Link Network Etc… 9U Euro Card

解決手段　(System Integration) • ネットワークによる分散システム • ネットワーク技術の進歩により　1Gbps～10Gbps　の転送が可能。 • PLD, PC, Linux など一般的で良く知られた技術の導入 • 組み上げのコストを下げるために出来るだけ特殊なものは使わない • PC を組み込んだモジュール群 • Read-out platform: COPPER • PC 内臓 CAMAC C.C.: CC/Net

System integration • ADC+PC をユニットとしてネットワークで組み合わせる。 • COPPER • CC/NET • TKO/VME/VME-PC • Read-out は違うが、その他は Software 上は同じものとして扱える。 • よく知られた馴染み深い環境の利用 • PC/Linux 2.4 • 豊富なアプリケーション/開発環境 • GCC • Script 言語 A/D PC Network

Overview of DAQ configuration(Data Path) • Network • VME-bus • Open interface • (USB/FireWire/…) COPPER Network based Event Builder PC Network Back-end PC PC New System Network To Data server TKO VICTOR/VME-CPU SCH/SMP/VME-CPU Local Storage CAMAC CC/NET Traditional System

Software • Read-out driver • DAQ framework • Bus を中心としたものから Network を中心としたものへ • Network based Event builder • Slow/Run control • Network base message exchanger • Control • Watch dog • Data carrier • Format • Pack/unpack interface

Trigger distribution • システムの半パイプライン化 • Trigger/busy のスキームは O(10 kHz) トリガのレンジでは問題ないのでそのまま使う。 • System の構築、 debug に有利 • Event のタグが重要に • 中央管理のタグ • モジュール毎のタグ • モジュールが持つ local counter • On-board PC が持つ local counter • GP-IO/KEK-VME を使った Trigger/Tag の分配 • (Belle TT system を使った Trigger/Tag の分配)

Trigger/Tag distribution Trigger Logic TRIGGER/RESET TAG BUSY GP-IO SMP GP-IO GONG I/O register SCH C.C. I/O register Int. register COPPER COPPER COPPER COPPER KEK-VME CAMAC TKO

Storage • 一般LAN とは別に専用に光ケーブルを要求済 • HDホールから Data Center まで 1 Gbps を専用に確保 • Data center が何処にどのような形で出来るかはまだ未定。 • 大容量 Disk に溜め込み順次 Data center のストレージに転送。 • Media server • RAID

開発の現状 • Hardware • KEK-VME crate • 9U/6U ほぼ完成 • Low-noise 電源を開発中 • Read-out module • 実用モジュールが完成 • Front-end A/D card • 500 MHz/65MHz FADC, AMT TDC が実用レベル • Trigger-Card • 実用試験中 • Software • 主要な Device driver は動いている。 • DAQ framework • 試験用DAQシステムを動かして試験中 • 実用への R&D

利用・協力 • Belle DAQ • 共同開発 • 主 A/D (pipeline TDC) を Fast-bus  KEK-VME に移行 • EFC を使って実用試験中  うまく動いている。 • KL 実験 • FADC を検討/試験 • KEK短寿命核実験 • FADC を検討/試験 • J-PARC Beam line • KEK-VME を使ったモジュール (Slow-ext.) • モニター用の FADC (Fast-ext.) • テレスコープアレイ実験

Know-how の集積 • Web site/Portal site の準備 • 現行の開発ミーティングをユーザーミーティングに移行 • 開発ミーティング参加 Gr. • KEK elec./online gr., Belle DAQ gr., 広島工業大学, T2K • 今後は • DAQ frame work の開発 • 利用のための Know-how をためる。 • 開発の需要調査 • などが中心一緒にやりませんか?

まとめ • KEK electronics/online group では J-PARC を含む次世代粒子検出実験のサポートのために KEK-VME System を開発しています。 • KEK-VME crate, Read-out module, いくつかの Front-end card が Ready です。 • Front-end card (それ以外でも) の共同開発はいつでも受け付けます。 • これからの課題 • DAQ framework • System の実証試験 • 実験グループと共に実験への適用

Crate and Power Supply (KEK-VME) Pin assignment of J0 • Euro card/crate • 9U and 6U • VME-32 bus • J0 Connector for Power Supply • Treat front-end analog to digital conversion devices +3.3V -3.3V -5.0V A low noise power supply was developed. (1/10 less than standard VME power supply)

Trigger distribution Trigger Logic (NIM/VME/KEK-VME) 128input Trigger module Trigger module (GP-IO) Clock generator Gate generator COPPER Trigger logic building tools KEK-VME NIM/ECL/LVDS Programmable logic device GONG TKO General purpose I/O module (It can used as trigger receiver) CAMAC KEK-VME logic modules can be replaced traditional NIM logic modules.

データバッファリング • 非同期に現れるイベントを同期的にならす • イベント間の時間幅 • ポアソン分布　→　等間隔イベント発生時間 Buffer t t データを取り込んでいる時間 Dead Time を 10%に仮定すれば、バッファの前後で必要とされる速度は10倍違う!

Software model (Data collection) ADC Event builder Ring buffer Ring buffer Ring buffer • Software は Linux 上で開発・稼動可能 Data read Data reader TCP/IP Ring buffer Data reader Ring buffer Data reader

Software model (Slow control) • Network を超えて制御メッセージ/ステータスの交換を行う framework

J-PARC 実験におけるデータ収集環境とシステムデザイン