290 likes | 572 Vues
惠普渲染农场解决方案. 王磊 13911776370 lei.wang18@hp.com 惠普刀片系统 中国惠普有限公司. 动画制作流程. 故事. 电子脚本. 音效处理. 角色与场景设计. 灯光、渲染. 角色动画. 骨架蒙皮设置. 剧本. 精剪. 后期合成. 运动捕捉. 角色建模. 成片. 场景 / 物件建模. 材质贴图. 渲染农场架构. HP ProLiant 刀片服务器上 安装: WCCS 操作系统; Enfuzion 计算节点; Maya Batch Render ; 3ds max back burner ;
E N D
惠普渲染农场解决方案 王磊 13911776370 lei.wang18@hp.com 惠普刀片系统 中国惠普有限公司
动画制作流程 故事 电子脚本 音效处理 角色与场景设计 灯光、渲染 角色动画 骨架蒙皮设置 剧本 精剪 后期合成 运动捕捉 角色建模 成片 场景/物件建模 材质贴图
渲染农场架构 HP ProLiant 刀片服务器上 安装: WCCS操作系统; Enfuzion计算节点; Maya Batch Render; 3ds max back burner; Mental ray standlone; TCP/IP 管理服务器 安装: HPC2008 操作系统 Enfuzion服务器端 … 任务调度 渲染 文件服务器 文件服务器 在HP工作站上 安装: Windows XP操作系统; Enfzion 提交节点; Maya; 3ds max; 文件系统 磁盘阵列 磁带库 … 存储 制作
遇到的问题 • 计算集群 • 网络带宽 • 兼容性
HPBladeSystem BL2x220c G7 *95W processor configurations require that all 6 DIMM slots per node be populated.
2x220 Node-A 2x220 Node-B
HPBladeSystem—降低采购成本 • 相比传统2路刀片服务器(BL460/465),BL2x220可以在一个10U高的C7000机箱内,达到32个计算节点(传统刀片是16个)提供一倍计算密度,相比其他厂家,密度提高更高; • 传统服务器架构的数据中心通常设备与管理员的比例为15:1,采用刀片服务器之后可以实现设备与管理员的比例降为30:1,节省大量的管理成本 • 通过10G网络,刀片服务器可以减少87%的线缆 • 平均节约5-10%千瓦时 • 计算机中心空间节省 10U 高度可以提供32个计算节点
HPBladeSystem—降低空间成本 • 42 U机架 • 42 台1U机架服务器 • 42 U机架 • 128 台惠普2x220c 刀片服务器
HPBladeSystem—降低连接成本 • 网线 • 光纤 • 电源线 • 管理端口 • KVM
HPBladeSystem—节省运维成本 32u HP ProLiant DL380G7 基准配置: 二个Intel Xeon 56xx双核处理器, 4GB内存, 二个小尺寸300GB SAS热插拔硬盘 32p HP BladeSystem BL2x220c G7 总功率17823瓦 总功率6758瓦 24hx365d满负荷运转,32片刀片服务器比32台机架服务器节省: 163987,200-76720,080=87267 KWh, 节省70000.00 RMB!以上
HPBladeSystem—远程系统维护 Remote BladeSystem management The intelligence of the c7000 • 实时电源和散热控制 • 设备健康状况和配置管理 (enclosure, blade, switch) • 集成的刀片服务器iLO2单次登录管理
为何使用刀片服务器 • Eight years ago: ASCI White (IBM) • #1 on the Top500 in June 2001 Today: one rack full of Bl2x220c Peak performance: 12,288 Gflop/s Weight: 106 Tons (w/ 160 TB storage) Power: 3MW Cost: US$110 million Peak performance: 12,288 Gflop/s Weight: ~2000 lbs (~1 ton) – 100x lighter Power: ~30KW – 100x less power Cost: ~ US$1M -- more than 100x lower cost
万兆解决方案 4x 1Gb Ethernet (RJ45) 2x 1Gb Ethernet (SFP modules)* 1x 10Gb Ethernet (CX4)* 2x 10Gb Ethernet (XFP module)* • Queuing system – Alfred job distribution • Included with RenderMan Studio from Pixar • hierarchical job structure or tree of multiple tasks that have to run in a certain order • Interconnect • 10GigE per 32 HP Blades (c7000 chassis) to core 10GigE Switches • 1GigE per BL2x220c server • FileServers (mostly NFS) • NetApp 7G (400TB) • NetApp GX (180TB) • BlueArc cluster (144TB) • FileServer workloads • 3D – mainly PRMan (Renderman) • 2D – compositing (shake and nuke) • Others (geo creation, infrastructure, fluids, particles etc) • No explicit inter-node communication (ie no MPI or anything like that)
解决兼容性问题—EnFuzion认证 http://www.axceleon.com/partners.html EnFuzion is certified to run on the HP ProLiant family of servers and blades.
Render farm硬件典型配置 • 渲染节点100节点: • BL2X220c, 2*CPU, 16G, 250G SATA • 管理节点1个节点: • DL380, 2*CPU, 8G, 300G SAS • 刀片机箱内交换机: • VC带万兆上行 • 刀片机箱外交换机: • HP Procurve或者H3C万兆交换机 • 存储: • HP P4000 , HP X9000等 • 其他: • HP 工作站一批, Apple非编系统一套.
Render farm软件典型配置 • 操作系统: • Windows HPC 2008, Linux • 动画软件: Autodesk Maya, Softimage XSI, 3DMax Studio; Side effect Houdini; • 后期合成:Eyeon Digital Fusion; Adobe After Effects; The Foundry NUKE; • 渲染引擎:Mental Ray for Maya Standalone; Mental Ray for 3DMax Standalone; Pixal Renderman (PRM); 3DElight for Maya; 3DElight for Softimage XSI; Illuminate Labs Turtle; • 渲染管理:Axceleon Enfuzion 3D 2010; PipelineFX Qube; Virtual Vertex Muster; • 云端管理:Cloud Render 2010
BL2x220c G7—High Performance Computing Two 42U racks of HS22 blades plus Single 42U rack 128 server nodes 112 server nodes > • Each BL2x220c includes: • 2 server nodes per chassis
BL2x220c G7—High Performance Computing Two 42U racks of PowerEdge M1000e Single 42U rack 128 server nodes 128 server nodes = • Each BL2x220c includes: • 2 server nodes per chassis
BL2x220c G7—High Performance Computing Two 42U rack with TC3600 Single 42U rack 128 server nodes 80 server nodes > • Each BL2x220c includes: • 2 server nodes per chassis
Weta Digital, New Zealand Why HP Challenges Solution • 能够解决现有系统无法满足的性能需求 • 单位空间内更大的部署密度 • 惠普刀片独有的散热技术,更好的散热体系架构 • 2008年, WETA Digital现有的渲染平台无法满足日益增长的需求。渲染一帧需要4~5小时时间,一个90分钟的电影需要583,200个小时的处理时间; • 现有渲染平台最多只能满足同一时间内处理一个项目; • 除了平台性能意外,现有系统的多项功能需要更新和加强:机房空间、更低功耗、更大的部署密度,散热等 • 4组渲染集群,每组2560台BL2*220c刀片 • VC • 10G Network Topology
AVATAR – HP PROLIANT • 10,000 jobs and an estimated 1.3 to 1.4 million tasks per day • More than 4,000 HP ProLiant Blades power the processing, running 24 hours a day • 34 racks of HP Servers – each with 4 HP BladeSystem Chassis, • 32 servers (16 BL2×220c) • over 30,000 processing cores • 104 TB RAM Photo Courtesy of WETA Digital
Animal Logic, Australia Why HP Challenges Solution • 针对高性能计算集群而设计的产品,先进的可管理性 • 更加强大的处理能力,更大的部署密度,简化数据中结构 • 随着业务的发展,Animal Logic公司需要更加密集、处理能力更加强大而对功耗和散热要求更低的服务器处理平台,以满足飞速发展的视频特效处理需求; • 大型渲染集群平台的规划要求更加易于管理和部署的技术; • 512p BL2*220c
北京软件产品质量检测检验中心 Why HP Challenges Solution • 信赖惠普作为全球领先的高科技企业以及在业界的声誉 • 惠普刀片服务器具有低能耗、高可用、方便扩展等特性,能够满足用户构建大规模高性能渲染集群的需求 • 2007年,北京市政府提出建设全国一流的包括集群渲染、高清制作等在内的多媒体渲染公共技术平台,要求具有高效的运算能力能力和高效的运算速度,以解决北京地区中小动漫影视企业无力承担庞大的后期渲染制作投资的问题。达到降低影视制作成本,提高影视制作质量,缩短制作周期的目的。 • 160p BL460c作为硬件平台,组成集群渲染平台 • 采用HP SIM作为系统管理软件
郑州高新区动漫公共技术服务平台 Why HP Challenges Solution • 在行业内的领先地位 • 前期的深入沟通和项目可行性分析 • 刀片系统整体解决方案 • 2010年, 为了吸引更多的国内外动漫企业到郑州都投资,带动产业发展,尽快发挥政府职能,2009年,由郑州市政府牵头,提出在高新技术开发区建设一个包括集群渲染、动作捕捉等在内的高性能公共技术平台,把郑州打造成为‘动漫之都‘ • 采用192p BL2x220c作为硬件渲染平台 • HP SIM软件作为统一管理系统