1 / 18

SDPA の大規模広域計算システム (Ninf) への適用

SDPA の大規模広域計算システム (Ninf) への適用. グローバルコンピューティング と最適化ソフトウェア. 大規模最適化問題の需要と波及効果 コンピュータ関連のインフラの整備（ハードウェア、ソフトウェア） 多くの理論的成果と実験的解析による基礎データの充実 関連する機関との共同研究（東工大、早大、　電総研、 NTT ソフトウェア、富士通など）. グローバルコンピューティング（背景）. ネットワークの高度利用 インターネットの高速化 kbps → ～ 100Mbps キャンパスネットの高速化 10Mbps → Gbps 一般家庭，企業への普及

colton
Télécharger la présentation

SDPA の大規模広域計算システム (Ninf) への適用

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. SDPAの大規模広域計算システム (Ninf) への適用

  2. グローバルコンピューティングと最適化ソフトウェアグローバルコンピューティングと最適化ソフトウェア • 大規模最適化問題の需要と波及効果 • コンピュータ関連のインフラの整備（ハードウェア、ソフトウェア） • 多くの理論的成果と実験的解析による基礎データの充実 • 関連する機関との共同研究（東工大、早大、　電総研、NTTソフトウェア、富士通など）

  3. グローバルコンピューティング（背景） • ネットワークの高度利用 • インターネットの高速化 kbps → ～100Mbps • キャンパスネットの高速化 10Mbps → Gbps • 一般家庭，企業への普及 • 仮想的情報資源の共有 • WWW, ftp, telnet からの脱却 • 超高速計算機の登場 • スーパーコンピュータ（数TFlops) • 並列 WS または PC クラスタ (30 ～ 100 Gflops) • 安価な専用CPUの開発 (プレステ２用CPU : 6.2GFlops)

  4. グローバルコンピューティング（目的） • ネットワークで接続された世界中/国内/キャンパス内/ラボ内の計算資源にアクセスすること • あたかも１台の超巨大（並列）計算機として • 超高速計算機の短期時間借用手段として • データベースへの高機能アクセス提供手段として • （原理的に）すべての許可されたシステムにアクセス • 多種多様な計算機・実験システムの仮想複合体 • デスクトップからシームレスなアクセス

  5. グローバルコンピューティング（特徴） • 適用可能な問題に期待される共通的性質 • Ubiquitous -- どこからでも，ネットワーク透過にアクセスできること • Resource Aware -- 異機種環境に対応できること • Adaptive -- 動的に変化するネットワーク，計算機資源環境に対応して最大性能を得られること

  6. Akenti AppLeS Arcade CIF Condor CUMULVUS EveryWare Globus Habanero Harness IceT IPG NAS-NASA JINI Llava Legion NCSA Workbench Project NEOS NetSolve NINF Ninja PAWS PARDIS POEMS Sweb Teraweb UNICORE WebFlow Many Active Projects

  7. Network Infrastructure US Partners We are welcoming new partners! Partners We are welcoming new partners! ETL RWCP Europe 155Mbps 1.5Mbps APAN Tokyo STAR TAP Chicago 45Mbps TransPAC 70Mbps IMnet vBNS 100Mbps Waseda 384Kbps WIDE 10Mbps 1Mbps TIT ACSys Australia 10Mbps SINET ETL: Electrotechnical Laboratory Osaka: Osaka University RWCP: Real World Computing Partnership TIT: Tokyo Institute of Technology Waseda: Waseda University 155Mbps Osaka 100Mbps

  8. Computing Platforms • Cluster Computing Platform at ETL • Alpha 21164/333MHz x 32 nodes • Alpha 21264/600MHz x 256 nodes (Planned) • MPP Platform • Hitachi SR2201/256 nodes at RWCP • IBM SP-2/256 nodes at AIST • SGI ORIGIN 2000/16 at ETL • Vector/Parallel Platform • Hitachi SR8000/64 nodes at AIST

  9. Cluster computing platformWiz (Sep.’96 - ) • Dedicated Workstation Cluster for HPC • Develop real scale HPC applications • Develop tools for clusters 512MB 256MB 128MB Cisco Catalyst 5000 Fast Ethernet switch 12x3 + 2 port 1.2Gbps Backplane DEC Alpha Station 333MHz x 33 NFS/PVM/MPI

  10. 我々のNinf プロジェクト • 機種、OS独立な高性能 RPC システム • Fortran, C/C++, Java, Mathematica, COM(Excel) • ユーザの視点: 通常のライブラリ • 動的、かつ数値計算ライブラリに特化したNinf RPC IDL & プロトコル • 自動的資源配分 • メタサーバによる適切なNinfサーバへの計算の割り当て • 並列処理のサポート • クライアント側: タスクパラレル、トランスアクション • サーバ側: データパラレル (タスクパラレルも) • WWWや分散DBのデータを直接計算に • NinfDB, WebAccess, Matrix Workshop • 組織内と不特定ユーザを対象としたsecurity • Campus-Wideからグローバルコンピューティングへ

  11. Ninf Executable Ninf Executable Ninf Executable SDPA on Ninf Network Architecture Other Global Computing Systems, e.g., NetSolve via Adapters Ninf DB Server Ninf Register Meta Server Internet Ninf Computational Server Meta Server Meta Server Stub Program Ninf Procedure Ninf Client Library : Ninf_call(“sdpa”, ..); : Ninf RPC Ninf Stub Generator IDL File Program

  12. MetaServer ディレクトリサービス スケジューラ プローブ Ninf メタサーバ Server Server クライアント ロードの計測 Server Proxy Client サーバ側 データ ネットワークバンド幅の計測 Client Client Proxy

  13. Ninf に対する SDPA の実装 • 目標　：　数値計算及びデータの効率的な並列分散化（ブロック対角構造など） • 計算及び転送データ量の高精度な見積り（入力問題の大きさや疎構造によるSDPAの各部分の計算量の変化については数値実験により多くの知見を得る） • 高性能かつ高スループット計算

  14. 並列システムへの対応 • ユーザは並列処理を意識しない • サーバーがMPIの起動と通信を取り扱う

  15. ネットワーク可用サーバ • デスクトップからネットワーク上に展開された資源にアクセスし，サービスを受ける • ハードウエアだけではなくソフトウエア，ライブラリ等の資源を可用とする. • サービス提供ホストへの簡便なアクセス手法を提供 • easy-to-use • ソフトウエアの集中によるバージョン管理 server ncall(“foo”,x,a,b) foo() x,a b RPC Network

  16. Ninf: Direct Web Access Ninf_call(“dmmul”, n, ”http://WEBSERVER/DATA”, B, C); dmmul(X,B)→C B B Ninf Computational Server Client Program Ninf Executable C D WEBSERVER

  17. NinfCalc+ Matrix Workshop Web Browser WebServer Matrix Calc Routine NinfServer WebServer Data Storage NinfCalc+ Data Storage Japan

  18. Ninf Client for Excel A B C D E F 1 2 2 1 2 1 0 3 4 3 4 0 1 5 1 2 3 4 Ninf_call on Data Excel Worksheet 6 Ninf_call(“mmul”, 2, A, B, C) Ninf Server C= A x B

More Related