データセンターにおける 電力供給システムと省電力化

1. データセンターにおける電力供給システムと省電力化データセンターにおける電力供給システムと省電力化 平成20年6月12日 NTTファシリティーズ総合研究所 杉　浦　利　之 SACSIS 2008 チュートリアル

2. 話の流れ • データセンターの消費電力削減に向けた動き • データセンターにおける電力消費実態の分析 • データセンターで使用される電力変換装置の基本構成と電力供給系 • 直流（ＤＣ）供給システム • ＤＣデータセンターデモンストレーションプロジェクト

3. データセンターの消費電力削減に向けた動き

4. データセンター（iDC)とは • 顧客のサーバを預かり、インターネットへの接続回線や保守・運用サービスなどを提供する施設。 災害や停電など異常時にもサービス継続が可能な設備が要求される • 建物は、耐震性・水害耐性などの自然災害に対する対策が施される。 • 停電に対応する自家発電の設備や高信頼電力供給システムの設置。 • 火災に対しハロンガスや二酸化炭素などの水を用いないで消火する設備の設置。 • 警備員の常時配置やセキュリティーゲートを備えるなどした物理的セキュリティの完備。 多数のIT機器が設置されることから消費電力が大きい

5. データセンタの消費電力 • ㎡あたりの消費電力の比較 一般家庭　　　　　10W/㎡ 商用ビル　　　　　50W/㎡ 製材所　　　　　　300～500W/㎡ データセンター　750～1,000W/㎡ 4,000㎡のデータセンターでは消費電力は3MW～4MWに達する。 さらに、データセンターは24時間、365日稼動する。 消費エネルギー削減が大きな課題として浮上

6. データセンターの設備構成 ・高信頼電源設備 ・耐震・免振対策 ・高信頼空調 ・防犯 ・防火 出展：IT時代における電源システム直流化研究会報告書

7. 米国におけるデータセンターの消費電力削減に向けた動き米国におけるデータセンターの消費電力削減に向けた動き • 2006年4月、AMD, HP, Sun Microsystems, IBMの4社が、データセンターの消費電力削減を目指す非営利組織「Green Grid」を結成 • 2006年6月、米エネルギー省の国立研究機関Lawrence Berkeley National Laboratory(LBNL)がデータセンター内のサーバーに直流給電する実証試験を開始 • 2006年12月、環境保護庁（EPA)に対して「連邦政府及び民間企業によるコンピュータデータセンター利用の急速な拡大とエネルギー消費を分析する」研究を行うことを求める法案H.R.5646（現在は公法109-431）が議会で可決 全てEPAのEnergy Starプログラムの一環として実施

8. 「Green Grid」の概要 • データセンターにおけるエネルギー利用削減を目指したデータセンター運用及び建設、設計のベストプラクティス定義と普及に当たる。 • データセンターのエネルギー管理に関する情報を会員間で共有し、ほかの組織と連携してエネルギー関連の新しい業界標準と評価指標を特定する。 • データセンター管理者やIT担当幹部など、エネルギー消費問題に関心のあるIT業界の専門家なら誰でも参加可能。 Contributor Membership 年会費　＄25,000 General Membership 　年会費　＄5,000

9. 「Green Grid」当面の活動 • データセンターのリアルタイムデータの収集 • データセンターの運用管理者がそのパフォーマンスを評価し、同様のデータセンターと比較するためのツールを開発 • データセンターの効率とパフォーマンスに関連した最も有望な既存技術、将来技術に向けた「第一次ロードマップ」を策定。 まずは、エネルギー効率測定基準の明確化と実測による現状把握

10. 「Green Grid」の活動（2007年度） • 2007年2月に正式に発足 • 現在150社がメンバー Board Members(11社）　　ContributorMembers　（35社） • 4回のTechnicalSummitsを開催 • 6篇のWhite Paperをリリース • 2008年2月にSanFranciscoで第一回TechnicalForumを開催

11. 公法109-431の概要 • データセンターの消費電力に関する調査の実施 -　　政府機関及び民間のデータセンターの拡大傾向の調査、及びサーバ利用状況の評価 • エネルギー効率に優れたマイクロチップ、サーバ及びデータセンターの構築と稼動のコストを削減するために開発された技術の分析 • エネルギー効率に優れたサーバとチップ技術を採用することにより、データセンター運営者、連邦政府、消費者がどの程度節約できるかの分析 • エネルギー効率に優れた製品やサービスの開発に対する、現在の政府の奨励策の概要 • エネルギー効率に優れたデータセンター技術の採用を促進するために今後実施可能な政府の奨励策と自発的なプログラムの概要

12. データセンターにおける電力消費実態の分析

13. 全米におけるデータセンター使用電力量の内訳と推移全米におけるデータセンター使用電力量の内訳と推移 ●2000年から2006年で　使用電力量は約2倍（600億ｋWh)に増加 ●2006年の使用電力量は全米使用電力量の1.5％ Ｖｏｌｕｍｅ　servers 比較的安価で1～2個の物理プロセッサ を搭載するｘ86サーバー ●サーバーラックあたりの最大消費電力は2ｋW→20ｋWに増加 参照：Report to congress on server and Data Center Energy Efficiency Public Law 109-431

14. ＩＴ機器の日本国内消費電力量 5500 2400 削減目標 600 経済産業省調べ

15. 米国におけるデータセンター使用電力量の推移推定米国におけるデータセンター使用電力量の推移推定 現状のままでは2011年には1,2000億ｋWhを超える（新規に10基の発電所建設が必要） 政府の削減目標 10.7billionkWh/yr by 2011(成り行きに対し10%削減） 従来トレンド 現状の高効率化トレンド 運用方法改善も行ったトレンド 最善性能を実現した場合のトレンド 最先端技術適用時のトレンド 参照：Report to congress on server and Data Center Energy Efficiency Public Law 109-431

16. 各シナリオの仮定条件

17. データセンターにおけるIT機器エネルギー使用効率指標（１）データセンターにおけるIT機器エネルギー使用効率指標（１） PUE （Power Usage Effectiveness ）： IT機器が必要とする電力とIT機器を運転するために必要な電力の比　･･･1に近いほど良い 　　　データセンター全消費電力 IT装置の消費電力 PUE＝ 2003年における米国15データセンターの平均PUE=1.95 2005年における米国　9データセンターの平均PUE=1.63

18. データセンターにおけるIT機器エネルギー使用効率指標（２）データセンターにおけるIT機器エネルギー使用効率指標（２） DCE （Data Center Efficiency）： データセンター全電力に対するIT機器使用電力の割合　・・・　100％に近いほど良い DCE＝1/PUE 　　　　　　全IT 装置使用電力 　　　　　　データセンター総使用電力　 ・0.8～0.9が理想 ・22箇所の平均値は49％ ・すなわち全電力の約50％が本来の　　　IT機器動作以外に使用されている ＝

19. データセンター内のエネルギー使用状況 参照：Data center energy Benchmarking Case Study, LBNA

20. データセンター収容ビル全体のエネルギー使用状況データセンター収容ビル全体のエネルギー使用状況 Total=5MW データセンターでのエネルギー使用はビル全体の62％ 参照：Data center energy Benchmarking Case Study, LBNA

21. データセンターの省電力化 ●プロセッサの低消費電力化（消費電力制御技術、省電力プロセッサの採用） ●IT機器運転効率向上（仮想ストレージ技術等） ●冷却効率の向上（ラックごとの冷却、液冷方式、機器配置の最適化、冷房機器の高効率化） ●電力供給システム、装置の低損失化 ・電力変換装置の高効率化 ・電力供給システムの低損失化（DC給電、高電圧給電、給電系構成の最適化）

22. データセンターで使用される 電力変換装置の基本構成と電力供給系

23. AC/DC 交流入力 直流出力 整流装置 • 交流電力を安定な直流電力に変換する装置 • 代表的な出力電力：数10ｋW～数百ｋW • 代表的な出力電圧：DC48V 又は 直流出力 交流入力 高周波スイッチング回路 C1電圧波形 整流平滑回路 交流入力 直流出力 電圧検出 パルス幅 制御 制御回路 平滑回路 整流回路 整流装置の基本機能 高周波スイッチング整流装置の回路ブロック例

24. DC/DC 直流入力 直流出力 DC-DCコンバータ • 直流電力を異なったレベル（電圧）の高品質な直流電力に変換する装置 • 代表的な出力電力：数W～数百W • 代表的な出力電圧：数V～数十V 高周波 スイッチング回路 整流回路 出力フィルタ ＋ 直流出力 直流 入力 － 電圧検出 パルス幅制御 入力フィルタ 制御回路 DC-DCコンバータの回路ブロック例

25. AC/DC 交流入力 直流出力 高周波 ｽｲｯﾁﾝｸﾞ回路 入力整流平滑回路 出力整流回路 出力フィルタ ＋ 直流出力 C － 交流入力 電圧検出 パルス幅制御 制御回路 AC－DCコンバータの回路ブロック例 AC-DCコンバータ(PSU:powersupply unitもしくはスイッチング電源とも呼ばれる) • 交流電力を異なったレベル（電圧）の高品質な低電圧直流電力に変換する装置（主としてラック内電源として使用される） • 代表的な出力電力：数W～数百W • 代表的な出力電圧：数V～数十V

26. DC/AC 直流入力 交流出力 交流出力 直流入力 インバータの基本回路例 （実際には入力フィルタ回路、出力トランス、出力フィルタ回路、制御回路等が必要） インバータ • 直流電力を負荷が必要とする周波数、電圧の交流電力に変換する装置 • 代表的な出力電力：数ｋW～数百ｋW • 代表的な出力電圧：200VACまたは100VAC 　　　インバータの動作波形

27. UPS (Uninterruptible Power Supply：無停電電源装置） • 停電や電源変動などの 電源トラブルが発生した場合、 内部バッテリーを電源として、コンピュータや周辺機器等の負荷に電源を供給する装置 • モジュールの代表的出力電力：数10ｋVA～数百ｋVA 非常用発電機 UPS故障時もしくは保守時に電力を供給 バイパス回路 整流装置 インバータ （長時間停電時） 交流 直流 AC/DC DC/AC IT装置へ 商用電力（交流） 充電電流 （常時満充電） 無瞬断切替スイッチ 商用停電時負荷へ電力を供給 蓄電池 UPSモジュール1 UPSモジュールは高信頼化のためN+冗長構成とする UPSモジュール2 データセンターにおけるUPSシステムの基本構成例

28. AC/DC AC/DC DC/DC DC/DC Power SupplyUnit Power SupplyUnit データセンターにおける代表的電力供給系の構成　 480Vac/208Vac 208Vac/120Vac 208/120Ｖ 商用交流入力1 CPU, Memory 等 12Vdc AC/DC DC/AC 5Vdc DC/DC PDU (Power Distribution Unit) 3.3Vdc PDU1 UPS1 DC/DC DC/DC 1.2Vdc CPU, Memory 等 AC/DC DC/AC 商用交流入力2 DC/DC DC/DC VR UPS2 PDU2 Server Rack (入力端子部） VR: Voltage regulator (基板上に搭載される小容量DC/DCコンバータ） ●北米では、電力はＵＰＳからＰＤＵ（480Ｖ/208Ｖ→208Ｖ/120Ｖ変圧器）を経由してＩＴ機器に供給される。 ●電源系は通常２系統給電される。 →定常時は全負荷時でも電源は1/2負荷運転

29. データセンターにおける負荷率 • 運転期間の50％はコンピュータの使用率が25％以下、75％以上の使用率は5％。 • 軽負荷時の効率向上がトータルエネルギー消費量に大きなインパクトを与える・・・モジュール化による台数制御等。 • データセンター全体の日負荷変動は±5％以下 参照：Energy Efficient Data Centers:HVDC distribution. Murli Tirumala, Intel

30. サーバー電源の効率測定事例 ・多くの電源は50％負荷における効率は70-75％ ・負荷率が低いと効率は低下する 出来るだけ高い負荷率で 運用することが望ましい 効率＝出力電力/入力電力 　　　＝出力電力/（出力電力+電源回路内損失電力）

31. データセンターのエネルギー消費分析例 冷却系 27％ 36％ 負荷 37％ 電力供給系 全体の27％～30％が冷却エネルギーに使用される 参照：Energy Efficient Data Centers:HVDC distribution. Murli Tirumala, Intel

32. AC/DC DC/DC PSU VRｓ 208/120Ｖ 商用交流入力 CPU, Memory 等 12Vdc AC/DC DC/AC 5Vdc DC/DC PDU (Power Distribution Unit) 3.3Vdc PDU UPS DC/DC 電力供給系ﾌﾞﾛｯｸ図 DC/DC ＩＴ負荷100Ｗに電力供給する際の各部損失 （W) 負荷 参照：DC Power for Improved Data Center Efficiency,LBNL

33. 直流供給システム

34. 直流の見直し機運 • 携帯機器におけるDC使用の普及。 • エンドユース機器におけるDC使用の増加（多くの装置がAC-DCまたはDC-DC電力変換装置を使用）。 • DC出力の分散型電源使用の拡大。 • マイクロプロセッサ消費電力増大に伴い、エネルギー使用効率改善の要求。 • 停電及び電力品質悪化がビジネスに与える影響の増大→米国全体で年間15兆円～20兆円の損失。 • 給電系高信頼化に不可欠なエネルギー蓄積装置はDC。 • DC-DCコンバータの進歩により電圧変換が容易となった。 DC利用への期待

35. IT機器への電力供給（構成比較） AC給電(従来のほとんどの情報処理システム） UPS ACｽｲｯﾁ ﾊﾞｲﾊﾟｽ回路 AC200V DC5V等 AC200V DC/DC AC/DC CPU DC/AC AC/DC ｽｲｯﾁﾝｸﾞ電源 ｲﾝﾊﾞｰﾀ 整流装置 ｴﾝｼﾞﾝ発電機 DC240V IT装置 蓄電池 制御回路 ・CPUはすべて直流動作 ・AC給電は変換段数が多い ・AC給電は構成が複雑 120ｾﾙ DC給電(従来の全ての通信システム） 整流装置1 DC5V等 DC48V DC/DC CPU AC/DC DC48V N+1ユニット ｺﾝﾊﾞｰﾀ ｴﾝｼﾞﾝ発電機 IT装置 蓄電池 23ｾﾙ AC DC 出展：IT時代における電源システム直流化研究会報告書

36. 従来のiDCにおけるAC電源システムの構成例(10,000m2規模)従来のiDCにおけるAC電源システムの構成例(10,000m2規模) 出展：IT時代における電源システム直流化研究会報告書

37. IT機器への直流供給（直流給電の特徴） メリット 出展：IT時代における電源システム直流化研究会報告書

38. IT機器への直流供給（効率比較例） 直流給電システム サーバ・ルータ 整流装置 商用電源 AC ～ DC 負荷 DC DC DC -48V AC200V （3φ） DC3.3V,5V etc 効率=85-90% 効率=91% 直流給電のほうが１３％以上高効率 給電効率 = 77-82% 交流給電システム サーバ・ルータ 商用電源 UPS DC AC DC AC 負荷 ～ AC DC DC DC AC100V （1φ） AC200V （3φ） DC3.3V,5V etc 効率=85% 効率=75-80% 給電効率 = 64-68% 出展：IT時代における電源システム直流化研究会報告書

39. IT機器への直流供給（信頼度比較例） Block １ 直流給電システム不稼働率 9×10-10（ﾊﾞｯﾃﾘｰ保持時間8時間） 交流給電システム不稼働率 7.4×10-6 CS RF Bat Block 2 （１)直流給電方式 Block 3 CS Block 4 SWin EG Cot CS Swe SWin INV RF EG Bat （２)交流給電方式 CS/EG:交流電源　　　　BAT:蓄電池　　Swin：機械的スイッチ　 INV:ｲﾝﾊﾞｰﾀ　RF:整流器　　　Swe/Cont:切換器/制御回路 出展：IT時代における電源システム直流化研究会報告書

40. 入力電圧 待機状態 動作状態 AC220V 430W（495VA） 430W(554VA) AC100V 440W(448VA) 450W(480VA) DC-48V 336W 384W DC入力製品とAC入力製品の最大消費電力の比較 （IBM社データ） ●約20%の省エネ効果 IT機器への直流供給（サーバ消費電力比較） 出展：IT時代における電源システム直流化研究会報告書

41. iＤＣにおける直流化効果の試算（システム構成）iＤＣにおける直流化効果の試算（システム構成） *UPS共通予備方式 比較したDC供給方式とAC供給方式 出展：IT時代における電源システム直流化研究会報告書

42. iDCモデルシステムによる直流供給系と交流供給系の損失の比較(計算条件)iDCモデルシステムによる直流供給系と交流供給系の損失の比較(計算条件) モデルの前提条件 ・6階建て、延べ床面積 10,000m２　（サーバエリア 5000m２ 　　　　　事務 所エリア 5000m２ ） ・サーバエリアに対する受電設備容量 750VA/m２ ・一般オフィス部に対する受電設備容量 50VA/m２ ・サーバエリアの総ラック数（19インチラック）1500台 ・各ラック当たりの最大消費電力　2.5kW ・２－６階をサーバエリア収容部とし、電気室は地下１階に置く。 直流48V,140V,270V,交流200Vで損失比較 出展：IT時代における電源システム直流化研究会報告書

43. 損失 交流供給 直流供給 48V 140V 275V UPS 375W － － － 変圧器 149W － － － 整流器 308W 309W 308W dc/dcｺﾝﾊﾞｰﾀ （SWﾚｷﾞｭﾚｰﾀ) 462W 385W 388W 386W ケーブル 38W 55.5W 18.65W 8.5W 総計 1024W 749W 716W 703W iDCモデルシステムによる直流供給系と交流供給系の損失の比較(計算結果) － 出展：IT時代における電源システム直流化研究会報告書

44. モデルパターンにおけるDC給電のメリット 項目 DC給電のメリット 備考 電源システムのスペース AC給電に比べ約50%の省スペース 空調スペースも約10%削減 経済性 電気料金約4,000～5,000万円／年削減 ACと比較して約20%省エネ 拡張性 無停電にて創設が可能 ﾎｯﾄﾌﾟﾗｸﾞｲﾝﾕﾆｯﾄ構成 電源システムのイニシャルコスト AC給電と同等以下 ﾊﾞｯﾃﾘｰを含めた創設費（物品費＋施工費） 空調システムのイニシャルコスト AC給電に比べ約10%削減 ACと比較し発熱量約10%減少 地球環境保護 CO2排出量約920t-CO2／年の削減 石油ドラム缶換算で約1,730本/年削減 iＤＣにおける直流化のメリット 出展：IT時代における電源システム直流化研究会報告書

45. DC給電のメリット（スペース比較） iＤＣにおける直流化のメリット(イメージ図） 出展：IT時代における電源システム直流化研究会報告書

46. データセンターDC化の効果（DC48V)まとめ • 電力変換損失がACシステムに比べ50％減。 • 信頼性の向上・・・回路構成がシンプル、低電圧、商用ラインから完全に絶縁されている。 • 制御が簡易で障害抑制が容易。 • バッテリー量を負荷に合わせて最適化できる（架列給電）。 • UPSに比べ安価・・・設置コスト25％減、運用コスト　20％減。 • 1MWサーバーシステムでの試算 ・年間電力損失削減　2,025MWｈ ・電力料金削減　1600万円から6500万円 ・空調電力削減　1.5～3MWｈ ・空調電力料金削減　1250万円～9800万円 ・年間トータル電力料金削減　2900万円～1.6億円 出展：IT時代における電源システム直流化研究会報告書

47. DCデータセンターデモンストレーションプロジェクトDCデータセンターデモンストレーションプロジェクト

48. DCデータセンターデモンストレーションプロジェクト（米国）の目標DCデータセンターデモンストレーションプロジェクト（米国）の目標 • エネルギーを節約できる革新的な技術を確認し、その導入を促進。 • ハイテク業界の10年後を見通して先導する。 • マーケットが効率向上技術の重要性を認識し、その採用に動くことを助ける。 直流化が容易に可能であること及び給電系損失の低減に効果があることを実機により確認

49. DCデータセンターデモンストレーションの主な協力者・参加者DCデータセンターデモンストレーションの主な協力者・参加者 ・官公庁 EPA (Environmental protection Agency), California Energy Commission ・ITベンダー Sun Microsystems, Intel, Cisco, HP ・情報通信事業者 Cingular Wireless, Verizon Wireless, SBC Global ・データセンター事業者 AOL, Exxon-Mobil, VISA International ・電源メーカー等 TDI Power, Liebert

50. 1.AC供給方式 208Vac VRｓ 480Vac CPU, Memory 等 12Vdc AC/DC DC/AC AC/DC DC/DC 5Vdc DC/DC PDU 3.3Vdc PDU UPS DC/DC サーバー PSU 整流装置 208Vac VRｓ 380Vdc AC/DC CPU, Memory 等 12Vdc DC/DC AC/DC 480Vac DC/AC 5Vdc PSU ｽｲｯﾁﾝｸﾞ電源 DC/DC PDU 3.3Vdc サーバー PDU UPS DC/DC ラック（架） サーバー サーバー DCデモンストレーションにおいて比較した電力供給系の構成 2.　ファシリティレベルDC供給方式（380Vdc及び48Vdc） VRｓ 380Vdc/48Vdc 12Vdc CPU, Memory 等 480Vac AC/DC DC/DC PSU 5Vdc DC/DC 整流装置 3.3Vdc サーバー DC/DC 3.　ラックレベルDC供給方式