SlideServe
Télécharger Obtenir Pro
Menu
Accueil Pro
Préférences
ApparenceLight Aide et commentaires
© SlideServe · v2026

HST Data Processing

spencer avatar
spencer
14 diapositives · 262 Views · Jul 25, 2014

Read about the highlights and accomplishments of the HST Data Processing Operations and Engineering Division's Data Systems Branch, including infrastructure enhancements, instrument data processing advancements, and future development plans.

HST Data Processing - slide 1
01 / 14HST Data Processing
1 / 17

Télécharger la présentation

HST Data Processing
Une image / un lien ci-dessous est fourni (tel quel) pour télécharger la présentation

Politique de téléchargement : le contenu du site vous est fourni TEL QUEL pour votre information et votre usage personnel ; il ne peut être vendu, concédé sous licence ni partagé sur d’autres sites sans l’accord de son auteur.Le contenu vous est fourni TEL QUEL, pour votre information et votre usage personnel uniquement. Téléchargez la présentation en cliquant sur ce lien. Lors du téléchargement, si vous ne parvenez pas à télécharger une présentation, l’éditeur a peut-être supprimé le fichier de son serveur.Pendant le téléchargement, si vous ne parvenez pas à obtenir une présentation, le fichier a peut-être été supprimé par l’éditeur.

F I N

Plus de contenu associé

Transcription de la présentation

  1. HST Data Processing Operations and Engineering Division Data Systems Branch Mark Kyprianou

  2. Highlights - Infrastructure • Deployed database clustering technologies to DADS/OPUS systems • Internal and Public databases • Improve uptime, reliability and performance • Updated/added new web servers • 3 independent environments: • Dev, Test and OPS • Allows for isolation in the software life cycle

  3. Highlights - Instruments • Science data processing enhancements • Astrodrizzle (ACS and WFC3) • CALACS w/CTE • COS reprocessing/cataloging enhancements • CALCOS with no IRAF • STIS flight software problem with time tag data • STIS Reprocessing to create valid CCI files for post-SM4 data

  4. Retrieval Times

  5. Future Development

  6. Future Development • Infrastructure • Red Hat OS upgrade for DADS/OPUS servers • Purchased NAS storage (EMC Isilon) • Very scalable for Big Data • Blades support • High IOPS • CPU processing • Storage

  7. Future Development • Instrument Data Processing enhancements • Keywords • Algorithmic enhancements • Reprocessing planned for ACS, WFC3 and COS • Iraf Free: WFC3 and STIS • In test

  8. HST Upgrade Projects

  9. HST Upgrade Projects • Background Automated Reprocessing (BAR) • Integrated reprocessing • Online cache • Workflow Manager (WFM) • Technology refresh for work flow processing • Calibration Reference Data System (CRDS) • Driven by analysis of current systems targeting JWST • HST Mission Office elected to adopt these enhancements

  10. Background Automated Reprocessing (BAR) • Handle reprocessing activities in an integrated fashion • Use prioritization scheme to control processing sequence • Provide online access to files • Enhance tiered file storage sub-system • Store data to provide direct access • Rework file handling to be mission independent

  11. Work Flow Manager (WFM) • Upgrade workflow processing • OPUS technology refresh is over due • Limited functionality for expansion (cloud computing, additional compute resources) • Condor: Open source, high-throughput computing software framework has been selected • Allows to access compute resources on different levels/rules

  12. Overview: BAR/WFM/CRDS

  13. Current Status • BAR • SDPQ - complete • File Storage to online cache – in progress • Working on distribution updates • WFM • Condor • Enterprise level, Open source workflow package • Open Workflow Language (OWL) • Blackboard, template for data centric processing • Shoveler - complete • Prototype CALACS pipeline • Continued development thru FY13

  14. Questions/Comments