Archive long terme CS 3 novembre 2003

1. Archive long termeCS 3 novembre 2003 • Présentation du service • Les moyens (humains, matériels) • Bilan scientifique et financier • Archivage • Les producteurs • Intégration des données THEMIS : bilan 2002-2003 • Intégration des données dépouillées et producteurs nouveaux • Les producteurs : niveaux de traitement • Organisation des requêtes • Organisation d’ateliers (MTR-DPSM) • Aide aux utilisateurs

2. Notre équipe • 1 Ingénieur d’études (responsable technique) • 1 Assistant ingénieur : recruté en février 2002 • 1 Adjoint technique • ½ tps secrétaire • 1 Astronome adjointe (responsable scientifique) • 1 Chargé de recherche associé à BASS2000

3. Présentation du matériel gaia PC Linux 4 Go ram, 324 Go Base Oracle, sauvegardes, copies 1 seule machine, performante oceanide 1 PC Linux 1Go ram, 182 Go Dépouillement 2 stations Unix 68 & 128 Mo ram Ancienne base, obsolète 1 PC Linux 2 PCs windows Bureautique, copies 3 PC Linux 2 PC portables Postes de travail

4. Prospectives matériel • Graveur DVD pour la diffusion de données • Demandé par des observateurs • Achat en cours • Remplacement des sauvegardes sur DLTs par des DVDs grandes capacité ? • Taille maxi actuelle : 17 Go ??? • Opération de vérification des DLTs en cours : 3 sur 104 sont mauvais (DLTs d’origine, THEMIS) • Financement CPER en 2004-2005 (BASS2000 + CDPP) pour mise à niveau matériel ??? besoins

5. Producteurs intégrés dans le catalogue • THEMIS • Le Radiohéliographe de Nancay • La Coupole-Tourelle du Pic du Midi

6. THEMIS : MTR et DPSM • 2 modes : MTR (spectropolarimétrie multiraies) et DPSM (spectro-imageur, polarimétrie) • Données brutes, disponible 1 an après l’observation • Données IPM : pas de changement • Détail du bilan intégration plus loin

7. Le Radiohéliographe de Nancay • 2 réseaux EO et NS • Données brutes (visibilités) • 5 fréquences (150 à 450 MHz), 6 depuis 7-11-2002 • Cadence 1/8 sec • Depuis septembre 97

8. La Coupole-Tourelle du Pic du Midi • Sélection, numérisation (MAMA, Tarbes?) • Formatage (cahier des charges, interface) • 3 modes : Imagerie, Spectro, DPSM 2005 : Projet CALAS Gros flux de données Nouveaux types de données

9. Contenu du catalogue : bilan • Données intégrées : • THEMIS 1999-2003 : 2.8 To • NRH 1999-2003 : 362 Go • Coupole-Tourelle : 3 Go • Requêtes : surtout PIs et coIs • 354 Go en 2000 • 339 Go en 2001 • 27 Go en 2002 • 221 Go en 2003 • Consultations du site : ~1080 /mois

10. Bilan financier 2003 (provisoire) • Dépenses équipement : • 9216 € (nouvelle machine Linux) • 1424 € PC avec graveur DVD • Dépenses fonctionnement • Fontionnement de base : env. 1500 € • Supports (DLTs…) : 4411 € • Licences / maintenance : 8460 € • Ateliers : env. 4500 € • CS : env. 2300 € • Divers : 637 € • TOTAL : 32448 € • Crédit : • PNST : 7850 (reste 2002) + 18000 (2003, dont 9000 équipement) • OMP (PPF) : 8361 (fonct.) + 1000 (équip.) + 505 (remb.) • UMR 5572 : 1254 (dont fournitures chercheurs) • TOTAL : 28057 € + 8355 € de report • Solde provisoire : 3964 €

11. Principaux travaux en cours • Fonctionnement de base : intégrations, sauvegardes etc. • Nouvelle machine • 2 machines Unix : obsolètes • Machine Linux achat 2003(PNST) • Nouveaux mots-clés THEMIS • Développement d’un nouveau schéma de la base • Réalisation du cahier des charges scientifique • Etude de faisabilité technique en cours • Producteurs supplémentaires : Coro Pic du Midi, simulations • Données dépouillées • Ateliers codes de dépouillement • MTR : avril 2003 • DPSM : novembre 2003 • Refonte du site web • Réponses aux questions en ligne

12. Intégration des données THEMIS • Requête actuelle et projet « 2002 » • Difficultés rencontrées en 2002 • Bilan préliminaire 2003 • Poursuite du projet en 2003-2004

13. Requête THEMIS actuelle • 6 critères : • Date, Heure, Longueur d’onde, Instrument, Coordonnées, Objet • Exemple de résultat en MTR (99-01): • Tache en Hα : 32 séquences • Région active en Hα : 144 séquences • Tache à 6302 : 83 séquences • Protubérances en Hα : 42 séquences Trop de Go pour l’utilisateur ! Nécessité de davantage contraindre les requêtes

14. Projet présenté au CS avril 2002 • Seeing, (Nébulosité), Préfente / Visée de champ • Séquence de Stokes, configuration de la polarisation, analyseur • Paramètres du scan (balayage ou position fixe, nb d’observations par position, taille fente, nbstep, stepx et stepy) • Campagne (nom, numéro, type, desc) • Numéro NOAA • Entêtes en ligne Conclusions CS avril 2002 : Tests campagne 2002 pour implémentation en 2003

15. Réalisations sur campagne 2002 • Ajout de nouveaux tests • Objet/Coordonnées (svector) • Longitude calculée (-90/90) • Longueur d’onde > 10000 (bug) • Institut • Réalisation nouveau schéma pour tests • Prise en compte des nouveaux mots-clés (sauf seeing) • Nouveau schéma mis en place dans base de test • Développement nouvel applicatif d’intégration • Vérification des mots-clés (présence, cohérence) : object/noaa, cmp_name/cmp_no, etc. • Mise en place de meilleures imagettes

16. Difficultés d’intégration des données THEMIS : 2002 • Liste des problèmes : 29 points ! • Manque d’avertissement et d’explications • Temps de réaction très long • Manque d’informations sur le contenu des DLTs, organisation des DLTs • Bugs et changements de convention • Mots-clés mal remplis par les observateurs • Procédure • Signalé à THEMIS • Responsabilité THEMIS (Coordonnées etc.) : modifié par THEMIS • Responsabilité observateur : modifié par nous • Sauvegarde des données modifiées (Coût DLT et temps)

17. Faisabilité au vu du bilan 2002 • Pas de seeing • Doute sur analyseur • Changements conventions NBSTEP etc. • Campagne et NOAA : mal remplis • Ne pas oublier les problèmes des mots-clés anciens (objet, coordonnées) Notre conclusion hiver 02-03 : Infaisable en 2003 Nouveaux tests en cours en 2003 Implémentation en 2004 ?

18. Bilan mots-clés « projet 2002 »

19. Bilan préliminaire de la campagne THEMIS-2003 (2 DLTs) • Mots-clés nouveaux • DATE_END à jour • Indication voie haute/basse (MTR en 2x2’) • Position des lames pour chaque paramètre de Stokes • CMP_DESC : menu dans l’IO • Autres nouveautés • Seeing (mais étalonnage modifié en 2004 ?) : fichiers • Problèmes rencontrés • Quand plantage acquisition : mauvais DATE_END et NAXIS3 • OBJECT mauvais sur quelques séquences (erreur OBS) • CMP_N0 (à 0), CMP_DESC (THEMIS seul) • Procédure comme en 2002 sauf : • Responsabilité observateur : pas de sauvegarde des • modifications

20. Seeing : statistique • Les données complètes sont en ligne (2003) • Etude de la statistique (moyenne par observation) : important pour la définition du menu dans l’interface de requête

21. Intégration des données dépouillées : cahier des charges • Les producteurs et problèmes spécifiques • Les niveaux de traitement • Les mots-clés nécessaires • Organisation des requêtes (formulaire et table résultat, gestion des ET/OU, etc.)

22. Bilan des producteurs • THEMIS, actuellement brutes • Coronographe du Pic du Midi • NRH, actuellement brutes : à traiter ? • Coupole Tourelle • Extrapolations (FROMAGE) • THEMIS, MDI, etc. • Simulations

23. THEMIS : données dépouillées • Brutes (MTR, DPSM) • « Spectres propres »=calibrés, recentrés, correction grandissement (MTR) ; Manque d’information sur les calibrations (sensibilisation des observateurs, problème de la taille du pixel spatial en MTR), recommandation ? • Paramètres de Stokes (MTR) • Cartes de B//,V//,I (MTR, DPSM) • Cartes de vecteur B (MTR) : Regroupement en un même niveau de toutes les cartes (différenciation : paramètre physique) ? Ou différenciation ? • Extrapolation • Films rassemblant plusieurs balayages d’une séquence ? Est-ce utile ?

24. Le Coronographe du Pic du Midi • 200 images / jour, 170 jours par an depuis 1995 • Ajout de 2 mots-clés : niveau d ‘activité et variabilité • Brutes : non • Calibrées : oui • Calibrées et recentrées/nord en haut = film : oui • Films de détail (position=critère ?) • Film disque entier • Image moyenne • Cartes de champs de vitesse Films : mpeg en ligne, fits hors ligne

25. Proposition d’organisation pour intégrer les données du coro • Mise en place code D. Romeuf / création d’une base de données protus (fin novembre) • Pour chaque journée à traiter • Jeux bruts et jeux avec bonnes entêtes sur disque • Code détection protus DR + produits dérivés (valeur ajoutée niveau d’activité, données calibrées, liste des positions intéressantes pour films) ; Fichiers résultats annexes pouvant être mis en ligne • Code BASS2000 : lancement film, remise à jour des entêtes (valeur ajoutée, position centre et rotation images), fichier historique du traitement de la séquence • Intégration dans la base, sauvegardes, mise en lignes fichiers ascii • 2 bases indépendantes : notre catalogue + un catalogue de protubérances

26. NRH • Nécessité ? • Code disponible dans solarsoft

27. Coupole Tourelle • Imagerie : • Calibrées • Calibrées, alignées, destretchées (utilité de différencier avec calibrées+alignées ?) • Cartes champs de vitesse horizontaux séparation des résultats obtenus avec des codes différents? • Cartes B//, V// • Spectro : comme THEMIS-MTR • DPSM : comme THEMIS-DPSM CALAS : recommandations pour la gestion des très gros volumes

28. Données réduites par FROMAGE • Service d’extrapolation de cartes de champ magnétique (T. Amari, G. Aulanier) • Données réduites : • Carte d’origine • Fichiers textes (demande et commentaires) • Fichier (binaire) résultat • Fichiers postscript (visualisation partielle) • « Entête » fits pour l’intégration dans le catalogue • Problème de la mise à disposition des cartes d’origine et du résultat : • Producteurs divers (MDI, Kitt Peak, THEMIS, etc.) • Réduction par le demandeur • Gestion des autorisations ? • Qui réalise l’ «entête» ? • Imagette ?

29. Simulation de la granulation • 8 Heures « solaires » • Pas = 20 secondes • Réalisation : Rieutord, Ludwig, Roudier, Nordlund & Stein • Paramètres physiques • Vitesse • Densité • Energie interne • Température • Intensité • Futur : autres simulations ? • Traitements : cartes de champs de vitesse image

30. Récapitulatif : niveaux de traitement • THEMIS MTR : calibré aligné, stokes, cartes de B//, V//, I, Binversion, extrapolation, (film ?) • THEMIS DPSM : cartes B//, V//, I, extrapolation, (film ?) • CORO : calibré, films FD, films détails, image moyenne, carte V • NRH ? • Tourelle Imagerie : calibré, calibré aligné destretché, cartes de Vhor (CST, LCT), cartes de B//, V// • Tourelle Spectro : comme THEMIS • Tourelle DPSM : comme THEMIS • Simulation : cartes de Vhor (CST, LCT)

31. DATATYPE ET NIVEAUX Subdiviser certains niveaux ?

32. Nouveau formulaire de requête • Une simple query, plusieurs advanced query (une par producteur) • Tout ce qui est spécifique à un producteur : dans les advanced query • Simulation : à part (pas de simultanéité avec les autres producteurs) • Gestion des incompatibilités et des ET/OU (grisé, interdiction dans le code, …) ; restreindre les ET ? • Gestion des données anciennes avec mots-clés manquant • Dépouillement à l’extérieur : respect des conventions (mots-clés et fichiers annexes) obligatoire

33. Simple Query Observations or Simulations Producers Date Hour HELP WARNINGS Choix format sortie THEMIS Advanced Query Datatype (Level) Wavelength Coordinates Object Physical Parameter Seeing Preslit Stokes Pol Conf Analyzer Scan/fixed position etc. Campaign etc. NOAA CORO Advanced Query Autres : NRH, Tourelle, Simulations Datatype (Level) Activity level Variability Polarang

34. Page intermédiaire de résultats (plus de 2 instruments demandés) : plusieurs choix de présentation • Instrument 1 (OU) (nb séquences, nb pages) • … • Instrument n (OU) (nb séquences, nb pages) • Tous les instruments, ordre chronologique (OU) • Tous les instruments, ordre chronologique (ET, simultané=même jour, lent)

35. Nouvelle page de résultat • Pour une séquence donnée, quelque soit le niveau de traitement demandé, on affiche toutes les informations sur la séquence : vue synthétique de la séquence • Rassemblement des informations éparpillées en un fichier html récapitulatif (un fichier par niveau de traitement) • Un fichier par séquence avec l’historique du traitement • Gestion des colonnes en sortie • Liens annexes avec requêtes complémentaires prédéfinies et liens fixes • Critères détaillés (λ, région, objet) mis à jour pour chaque niveau de traitement

36. Exemple de tableau de résultats Sélection de ce niveau pour la requête Lien vers historique traitement de la séquence Identification λ (objet, région) traitées Lien vers imagette du niveau de traitement

37. Fichier récapitulatif pour chaque séquence (1 / niv. traitement) • Lien historique traitement séquence • Lien seeing du jour (THEMIS) • Lien fiche observation du jour (Coro doc/html, THEMIS scannées ?) • Lien vers entêtes en ligne (brutes pour THEMIS ? Une à t donné dans chaque séq.?) • Imagettes ou films mpeg du niveau de traitement

38. Récapitulatifs questions ouvertes: niveaux de traitements • Manque d’information sur les calibrations (sensibilisation des observateurs, problème de la taille du pixel spatial en MTR) • La notion de film à partir de cartes de champ (B et V) est-elle utile pour THEMIS ? • Regroupement lorsque 2 codes utilisés pour le même niveau de traitement ? (exemple B cdg / inversion) • Faut-il scanner les fiches d’observations THEMIS ? • Coro : nécessité de nombreux fichiers annexes (liste des heures, liste des régions intéressantes, …) • Coro : les films de détails seront regroupés en un seul paquet (pas d’indication des heures dans la requête ni dans la table résultat) ; polarang utile?

39. Différentiation de 2 types d’«images propres » (ex: calibrées et calibrées+recentrées+déstretchées) • Recommandation pour la gestion des très gros volume (simulation, CALAS) • Séparation des codes de traitement à un même niveau si plusieurs sont utilisés (ex: 2 codes différentes pour calculer les champs de vitesse à partir d’images de granulation) • Traitement des données NRH ? • Autres types de simulation dans le futur (long terme)? • FROMAGE : gestion des autorisations ? • Réalisation des entêtes à FROMAGE ? Mode opératoire ? • Quelle imagette en ligne pour l’extrapolation ?

40. Récapitulatif questions ouvertes : organisation des requêtes • Critères détaillés (λ, région, objet) lors d’une requête sur données dépouillées ou bien utilisé sur la séquence brute ? • Un fichier historique par séquence, tous niveaux confondus ? • Nom du code de traitement dans les page de requêtes ? • Nécessité de requête ET entre instruments ? Est-il réaliste de restreindre le nombre de combinaisons ? Meilleur défaut entre ET et OU ? • Gestion des incompatibilitées / interdiction (grisé, non apparent)

41. Atelier MTR : avril 2003 • Objectifs : • Durée : 2 jours • A plus long terme : réunions en petits groupes et autre atelier pour apprendre aux utilisateurs à utiliser le(s) code(s) diffusé • Compte rendu : mis en ligne • Echanges sur les techniques de traitement • Aide à la définition d’un code « standard » pour BASS2000 • Discussions sur la diffusion de codes • Rédaction d’un compte-rendu détaillé

42. Plan de travail

43. A court-moyen terme : • Page web avec compte-rendu, messages (bilan et enquêtes) • Réunions informelles en petits groupes (comparaison de codes) • J. Arnaud, F. Paletou, V. Bommier + ? • Réunions en novembre-décembre • Adéquation stratégie observationnelle / procédure de traitement : enquête en cours • Rassemblement des routines en un seul code avec interface, et mise à dispoisition • Utilisation de code sous forme de routines indépendantes bien documentées • Possibilité d’appeler différentes versions pour une routine • Mise en place d’une automatisation / possibilité choix manuels

44. Atelier DPSM • Objectifs : • Apprendre à se servir du code • Apprendre aux utilisateurs des données DPSM à se servir du code fourni par P. Mein • Identifier les points critiques en cas de problèmes • Visite P. Mein à BASS2000 : Février 2002 (2 jours) • Date de l’atelier : 12 décembre 2003 (9 participants + BASS2000)

45. Aide aux utilisateurs de la base • Thésaurus et avertissements • Description des instruments, exemple de données, disponibilité (Tarbes+Meudon) • Bibliographie avec date des données utilisées (THEMIS) • Pages producteurs (CORO, THEMIS) • Problème de l’information sur les conditions d’observation et les calibrations utilisées Diffusion des données Traitement des données

46. Points sur lesquels des recommandations sont nécessaires • Intégration avec nouveaux mots-clés THEMIS « projet 2002 » : implémentation en 2004 ? • Cahier des charges intégrations données dépouillées / nouveaux producteurs (voir questions posées) • Recommandations détaillées vis à vis de THEMIS / CS et des observateurs, convention entre les producteurs et BASS2000 (formatage, conditions observationnelles, dépouillement …)