1 / 53

天文 GRID JVO プロジェクト

天文 GRID JVO プロジェクト. 国立天文台　　大石雅寿. 国立天文台 水本好彦 安田直樹 白崎裕治 田中昌宏 お茶の水女子大 増永良文. 富士通株式会社 門前弘邦 瓦井健二 石原康秀 谷中洋司 山口　靖 石田みつてる 齋藤紀男. 共同研究者. すばる望遠鏡. 45 m 大型電波望遠鏡. データベース化は現代天文学の常識. ALMA. Time and Spectral Dimensions The Multiwavelength Crab Nebulae. Crab star 1053 AD. X-ray, optical,

fauna
Télécharger la présentation

天文 GRID JVO プロジェクト

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 天文GRIDJVOプロジェクト 国立天文台　　大石雅寿 Data Grid Mini WorkShop

  2. 国立天文台 水本好彦 安田直樹 白崎裕治 田中昌宏 お茶の水女子大 増永良文 富士通株式会社 門前弘邦 瓦井健二 石原康秀 谷中洋司 山口　靖 石田みつてる 齋藤紀男 共同研究者 Data Grid Mini WorkShop

  3. すばる望遠鏡 Data Grid Mini WorkShop

  4. Data Grid Mini WorkShop

  5. Data Grid Mini WorkShop

  6. 45m大型電波望遠鏡 Data Grid Mini WorkShop

  7. データベース化は現代天文学の常識 Data Grid Mini WorkShop

  8. ALMA Data Grid Mini WorkShop

  9. Time and Spectral DimensionsThe Multiwavelength Crab Nebulae Crab star 1053 AD X-ray, optical, infrared, and radio views of the nearby Crab Nebula, which is now in a state of chaotic expansion after a supernova explosion first sighted in 1054 A.D. by Chinese Astronomers. Data Grid Mini WorkShop Slide courtesy of Robert Brunner @ CalTech.

  10. 現代天文学の要請 • 宇宙開闢直後の物理 • 銀河形成の謎 • 大規模構造形成の謎 • 宇宙の平均密度の決定 etc. →　均質なサーベイデータを用いた統計的処理が必須 Data Grid Mini WorkShop

  11. 天文学者の欲求 • 感度を上げたい! • たくさんのデータを取りたい! • 広い領域を見たい! • 多波長で見ないと正しい宇宙像は得られないぞ! Data Grid Mini WorkShop

  12. 大型望遠鏡による観測データ • 野辺山電波望遠鏡：~1TB/yr • すばる望遠鏡　　　 ：~20TB/yr • ALMA（予定）　　　　：~PB/yr 良質なデータ（特にサーベイデータ）の洪水 ディジタル化・アーカイブ化されている Data Grid Mini WorkShop

  13. Already more retrieval than ingest! Archiveを用いた天文学研究 • large fraction of astro-papers based on archives • HST archive use growing faster than archive graphics from US NVO project Data Grid Mini WorkShop

  14. 既存DBの問題点 • URLを知らないとアクセスできない • FITSヘッダの内容が統一されていない • 各波長に対応した様々な解析ソフト 　　→他波長のデータへのアクセスの障壁 • 較正済みデータとは限らない 　　→較正には観測装置の癖を知らなくてはならない Data Grid Mini WorkShop

  15. データ処理する人間の意識 それほどは変わらない 従来の方法では処理しきれないデータ →なんとかならないか Data Grid Mini WorkShop

  16. 計算機環境の激変により・・・ • 高性能計算機資源が高速ネットワークで接続 　→遠隔地の計算機資源をあたかもローカ ル計算機のように利用することが可能 　→単細胞生物から多細胞生物への進化に 対応 Data Grid Mini WorkShop

  17. 計算機利用パラダイムの転換 高度化した計算機環境＋情報処理技術 　　を組み合わせることによって可能になる 　　新たな天文研究スタイルを確立しよう Data Grid Mini WorkShop

  18. Japanese Virtual Observatory • 分散DBによるDigital Universeの構築 • 多波長データを統合したDB基盤を開発 • 大量データに対する統計的処理による新しいスタイルの天文学研究環境の確立 Data Grid Mini WorkShop

  19. JVO Home Page http://jvo.nao.ac.jp/ Data Grid Mini WorkShop

  20. Digital Universe Data Cube R.A. Dec. λ/Freq. 数値宇宙 望遠鏡による観測データ + Time 実宇宙 Data Grid Mini WorkShop

  21. Virtual Telescope/Observatory Digital Universeを観測し，そのデータを 解析・処理することにより天文学的知見を生み出す抽象化された観測装置 いつでも，どこからでも，天候などに左右されずに観測することができる Data Grid Mini WorkShop

  22. 観 測 データ 検 索 データ アイデア 解 析 アイデア 解 析 実望遠鏡での 仮想望遠鏡での 研究発表 観測 観測 Data Grid Mini WorkShop

  23. Data Grid Mini WorkShop

  24. 検索でデータが見つからない →　VOが，「観測手順書」を作成し，実望遠鏡の制御システムに渡す →　「手順書」が承認されれば，実観測 →　観測データを取得 →　VOに登録 VOは，成長する観測装置! Data Grid Mini WorkShop

  25. JVOの必要機能 • （内部）データフォーマットの共通化 異なるDBを統一的に検索 • 多様なデータ解析機能 • マイニングなどの高度な解析機能 • 実望遠鏡との連携機能 VO内データの品質保証のために必須 Data Grid Mini WorkShop

  26. Grid上で動くものは・・・ • データは原則として移動させない（負荷が高すぎる） • 必要なモジュールを移動させる • 結果を手元に持ってくる • 結果をうまく可視化することが重要 Data Grid Mini WorkShop

  27. DBの配置 • 観測データは，望遠鏡（観測所）におかれることが望ましい 　　←→　DBの内容を保証 • 多波長データを利用するためには，必然的に，分散データベースとなる 　　←→　異なるDBMSを用いた環境 Data Grid Mini WorkShop

  28. プロトタイプ（初版）の作成 • まずは，分散DBへの透過的アクセス法を確立する｡ • 検索言語(JVO Query Language)の動作確認 • 閉じたサブネット内で実装 Data Grid Mini WorkShop

  29. プロトタイプで対象とする観測データ • Subaru SuprimeCAM • Sloan Digital Sky Survey (SDSS) • 2μm All Sky Survey (2MASS) これらを用いて構想した枠組みの実効性を示す →　その後対象データを拡大する Data Grid Mini WorkShop

  30. 検索指示 検索結果 検索指示 検索結果 検索指示 検索結果 検索指示 検索結果 • JVOプロトタイプは Subaru, SDSS, 2MASS の DB に直接接続する。 • 　他のVOとの接続はプロトタイプではサポートしないが、Subaru DB等への接続と同様の方法で接続可能なように設計する。 • 　検索で頻繁に使われるデータはJVO内部にコピーとして持つ必要はないか。 • JVO に直接接続するDBは　RDB または OODB で構築する。 • 　検索結果はキャッシュされ、効率良く絞り込み検索などが行える。 Subaru DB JVO JVOプロトタイプ概念設計案 検索 データ解析 検索結果 解析結果 画像表示 SDSS DB User 検索指示 検索結果 2MASS DB Registry Data Grid Mini WorkShop 他のVO(NVO,AVO,etc)

  31. Registry は JVO がアクセス可能な DB/VO に関する情報を保持し、JVO からの問い合わせにたいして、リクエストされた条件を満たすDB/VO のサーバーアドレスやアクセス方法等を返す。 データベースカタログ 望遠鏡カタログ 観測装置カタログ フィルターカタログ DB/VO ID DB/VO 名 種別 DB or VO サーバーアドレス Telescope ID Detector ID アクセス方法 コメント文 Detector ID Detector 名 Telescope ID DB/VO ID 波長域（下限） 波長域（上限） 検出感度曲線データ 視野 Telescope ID Telescope 名 VO ID 設置場所 緯度 経度 高度 口径 Filter ID Filter名 Detector ID 波長域（下限） 波長域（上限） 透過曲線データ Registryがもつデータベース 天体名 天体種別 赤経 赤緯 HTM 座標誤差（赤経） 座標誤差（赤緯） 等級 等級誤差 距離 絶対等級 波長 天体カタログ フレームカタログ 天体名 resolver フレームID 観測開始時刻 露出時間 中心座標（赤経） 中心座標（赤緯） 観測装置ID フィルターID 限界等級 seeing frame URL 天体カタログ、フレームカタログは本体 DB/VO からとってくるべきものであるが、Quick Search を行えるように、検索頻度の高い項目についてそのデータベースを Registory に保持しておくのはどうか？ 天体名 <--> 座標変換サービス Data Grid Mini WorkShop

  32. 検索要求 JVO Query Languageで記述 JVO用 ブラウザ JVO用 Viewer 研究者 セキュリティ管理 資源管理 データ管理 検索命令を発行し，データを転送する 実際の検索を依頼するサーバをresolveする Web ブラウザ Webブラウザ 利用者独自 サービス 天体カタログ 検索サービス GT2から呼び出せるコマンドを想定 JVO ポータル JVO QLを 各DB毎の検索命令にparse 天体カタログDB データアーカイブ サービス 仮想観測 Contoroller skycat Globus Toolokit V2 を適用 データ 管理DB データ UDDIサーバ （FreeSoft) Globus Toolkit サービス レジストリ 解析サービス Data Grid Mini WorkShop

  33. JVO Query Language(1)カタログ検索 Data Grid Mini WorkShop

  34. JVO Query Language(2)画像検索 Data Grid Mini WorkShop

  35. 1. 領域を指定して検索（天球座標または天体名） 例1　赤経･赤緯と半径で円領域を指定。 例2　複数の赤経･赤緯の組合わせで領域指定。 例3 天体名と半径で領域指定。　 　 例4 フィールド名（HDF、SDF等）を指定。 2. 観測時刻を指定して検索 例1　観測時刻が　 T1～T2　の範囲にあるもの。　 例2　観測時刻の間隔が　ｄT1以上　dT2以下である。 3. 波長を指定して検索 例１　電波、可視光、赤外、X線、ガンマ線、その他を指定。 例2 波長がλ1～λ２　の範囲のデータ。 例3 U, V, B, G, R, I, J, K, L, M, N で指定。 * 複数指定の場合 and か or を指定する。 4. 観測条件を指定して検索 例１ seeing が X 以下、限界等級が M 以上。 例2 AO観測のデータが欲しい。 5. 天体の属性（位置以外）を指定して検索 例1 見かけの明るさを指定。 例2 絶対等級を指定。 例3 距離、redshift、photometric redshitt。 例4 種族を指定。恒星、銀河、SN、連星系、パルサー、AGN、 クエサー、GRB、XRB、SGR 7. 画像の属性を指定して検索 例1 視野が X 以上の画像データ。 8. 観測装置を指定 例1 望遠鏡の名前を指定。 例2 観測装置名を指定。 9. データベースを指定 例1 スバル Suprim-Cam　のデータベースを指定。 例2 survey 型観測のデータベースのみ検索。 例3 pointing 型観測のデータベースのみ検索。 ユーザーインターフェースとしての検索条件項目 問題点 検索条件によっては大量のデータをDBからとってくることになる。例えば、領域指定なしの検索を行うと大量のデータか検索条件にマッチしてしまう。そのよう場合はどうするか？ Data Grid Mini WorkShop

  36. Hypertext contents JVO Client Netscape Communicator Java2 Plugin JVO Client (applet) Redhat Linux 2Mass DataBase JVO Prototype System Architecture Redhat Linux JVO Service Gb Ether Solaris8 (Possible at Linux) JVO Controller GSDL UDDI Maintenance Tool UDDI Registory / Servlet Engine Globus Toolkit (Server) Java2SE 1.4 Java2SE 1.4 JVO Service (X match) Apache Tomcat Maintenance Tool UDDI4J soapuddi SQL library JVO Service (select) Apache ＳＯＡＰ • register • update • delete JDBC ① Applet DownLoad ③ Find Service ② Request Observation JVO Controller DB Service Image Data (copy) DB Service Java2SE 1.4 PostgreSQL (DBMS) PostgreSQL JVO Server Monitoring Image Data 2Mass DB UDDI4J SUBARU SupCam z-band UDDI Data • get & parse GSDL • pre condition check • execute Service • post condition check SUBARU DataBase Redhat Linux JVO Service ⑦ issue SQL ⑤ execute Service ③ get GSDL GSDL GSDL (copy) ④’ Get GSDL by GridFTP ⑤’ execute Service Check status Globus Toolkit (Client) Globus Toolkit (Server) Internet ⑥’ spawn Service ④ Get GSDL by GridFTP JVO Service (image) AVO JVO Service JVO Service (X match) SUBARU DataBase Globus Toolkit Globus Toolkit (Server) GridFTP GSDL SQL library JVO Service (select) NVO ⑥ spawn Service JVO Service (select) JVO Service (count) SQL library SQL library JVO Service (image) JVO Service (X match) Globus Toolkit SQL library JVO Service (count) ⑦’ issue SQL Image Data (copy) DB Service Image Data Copy imate data by GridFTP Image Data (copy) ORACLE Copy imate data by GridFTP • The following free software is included by globus toolkit. • OpenSSL (Secure Socket Library) • OpenLDAP (LDAP Server) • wu-ftpd (ftp server) SUBARU SupCam i-band Data Grid Mini WorkShop Image Data Free Software In House Software Commercial Software Function

  37. Prototypeの動作 • JVO QLを読み込む • 「観測手順書」を作成し，各ステップを実行 • 必要な段階で，Registryにコンタクトしながら手順書を展開 • 時にとっては，手順書のステップがdynamicに増加 Data Grid Mini WorkShop

  38. JVO Prototype Architecture Solaris8 (Possible at Linux) Redhat Linux JVO Service UDDI Maintenance Tool UDDI Registory / Servlet Engine Java2SE 1.4 Java2SE 1.4 Globus Toolkit (Server) Apache Tomcat 4.x Maintenance Tool SQL library JVO Service soapuddi UDDI4J Hypertext contents Apache ＳＯＡＰ JDBC DB Service Applet Down Load JVO Client PostgreSQL RDB JVO Server Netscape Communicator Java2 Plugin Java2SE 1.4 … JVO Client (applet) JVO Controｌler Redhat Linux UDDI4J JVO Service Globus Toolkit (Client) Globus Toolkit (Server) JVO Service DB Service SQL library JVO Service PostgreSQL Globus Toolkit (Server) DB Service JVO Service SQL library RDB ORACLE RDB • The following free software is included by globus toolkit. • OpenSSL (Secure Socket Library) • OpenLDAP (LDAP Server) • wu-ftpd (ftp server) Free Software In House Software Data Grid Mini WorkShop Commercial Software Function

  39. JVOプロトタイプ画面 仮想観測名を指定 JVO QLの指定　 （分散データのSQL拡張） 実行・停止・clearの指示 サービス実行制御の ログ表示 サービスの実行履歴・予定　（動的に変化） ［実行先ホスト名、コマンド名、結果］ Data Grid Mini WorkShop

  40. プロトタイプ実装で分かったGTKの問題 • Job実行先での環境変数が継承されない 　→環境変数取得やコマンドを実行するshell scriptを用意し，そのscriptをGridFTPし，そのshellを起動してscriptを実行 • 利用者のアカウントが全てのマシンにあるとは限らない 　→動作時のアカウントはglobusのみ Data Grid Mini WorkShop

  41. プロトタイプ実装で分かったGTKの問題（続き）プロトタイプ実装で分かったGTKの問題（続き） • Job実行開始までのOverhead大きすぎる 　→JVOでのJobは多くはbatch処理的なのでそれほど問題ではない｡Foreground的処理をGridで行なうのは現状では問題。 　→お知恵を拝借したい Data Grid Mini WorkShop

  42. 今後の展開—来年あたり • プロトタイプ第2版の作成 　解析システムの実装（使用中のコンポー　　　　　　　　　　　　　　ネントを接続） 　　セキュリティの確保（サブネット越え＋ Firewall越え） • 世界のVOとの接続 International Virtual Observatory Allianceへの参加を通し，接続形態の 　　　　共通化に貢献 Data Grid Mini WorkShop

  43. 1. データベースの統計処理 指定したデータベース、天空領域について以下の天空マップを作る。天球の指定した範囲がど れだけの時間･回数･波長で観測されたのかを視覚的に確認するため。 例1 観測時間マップ 例2 観測回数マップ 例3 波長域数マップ 例4 2. ユーザーデータベースの解析 例1 　クラスタリング解析による新種天体の探索。 例2 　LogN-LogP 分布の作成。 例3 　特定天体のスペクトルの表示。 例4 　天体2or3次元分布の表示。 例5 　天体のライトカーブ表示。 3. 画像データの解析 例1 　モザイキング。ユーザーが指定した領域のみの画像を切り出す。 例2 　マルチカラー表示。多波長で取られた画像を波長毎に色をつけて合成する。 例3 　deconvolution　を行う。 例4 　天体抽出、種族分類、カタログ化。 例5 　トランジェント天体、変光星の探索。 例6 　重力レンズ効果の探索。宇宙重力場、Cosmic String、Dark Matter 例7 　high-z 天体候補の探索。 4. simulation 機能 例1 　例えば、HSTの画像をSubaruで見た場合画像に変換する。 例2 　重力レンズ効果の simulation 機能。 例3 　... JVO 解析機能 Data Grid Mini WorkShop

  44. Data Grid Mini WorkShop

  45. Java NEWSTAR • パラメータ入力画面をJavaで作成 • プラットフォーム依存性を排除 • 解析の本体部はサーバーに置き，HORB で通信 • AIPSを用いたファイル管理（VAXタイプ） 　　　→　通常のUNIXファイルとして管理 Data Grid Mini WorkShop

  46. Data Grid Mini WorkShop

  47. 世界のVO • NVO　(USA), AVO (EU),AstroGrid (UK) • Germany, Canada, Russia, Australia • India, China, JAPAN 各国のVOを相互接続するための規約作り →　International Virtual Observatory Alliance (IVOA) Data Grid Mini WorkShop

  48. サービス サービス サービス サービス DB/DA サービス 天体カタログ サービス セキュリティ管理 セキュリティ管理 セキュリティ管理 サービス サービス サービス サービス サービス サービス サービス サービス サービス サービス 利用者独自 サービス サービス サービス サービス サービス 資源管理 資源管理 資源管理 他システム 他システム 他システム データ管理 データ管理 データ管理 処理 pipeline 処理 処理 MVC 天文台殿 MVC 天体カタログDB　 天体カタログ MVC Web サーバ JVO ポータル VO用 ブラウザ セキュリティ管理 資源管理 データ管理 仮想観測実行 サービス 仮想観測 指示 研究者 VO用 Viewer ワーク フロー 天文台殿 DA/DB　 DB Data サービス レジストリA セキュリティ管理 資源管理 データ管理 セキュリティ管理 資源管理 データ管理 GRID環境 A サービス レジストリC サービス レジストリB Web サーバ VO ポータル VO用 ブラウザ セキュリティ管理 研究者 VO用 Viewer 資源管理 他システム データ管理 処理 Data Grid Mini WorkShop GRID環境 C GRID環境 B

  49. 今後の展開—数年後 • 制御システムとの接続 すばる，野辺山の制御系は分散WS 　　　GRIDインターフェースを付けてVOに 　　　接続 • ALMAデータの接続（年間Pbyteを生産） • 一般用＆教育用interface Data Grid Mini WorkShop

  50. 波及効果 • 大学・大学院教育の支援 • 初等・中等教育の支援 • Public outreach Data Grid Mini WorkShop

More Related