深腾7000的系统组成

如题所述

第1个回答  2016-06-01

主要指标如下:
系统全部采用。
整机共包括3208个Intel Xeon四核处理器,384个Intel Itanium2双核处理器,共13600个CPU核心。
用于计算的处理器核心共12320个,理论性能为142Tflops(所有节点的总性能为158Tflops)。
系统内存总量为66TB,其中计算部分内存总量约60TB。
系统内部采用4x DDR infiniband连接,点对点理论带宽2GB/s(实测MPI点对点带宽1.51GB),延迟<3μs(实测MPI点对点延迟<1.5μs)。
系统的外部存储容量约1410TB,包括354TB的全光纤磁盘阵列、1PB容量的磁带库、64TB容量的虚拟带库。配备了数据迁移系统与数据备份软件,保障了数据的高效管理、使用与安全。
采用Linux操作系统、LSF HPC7.0作业管理系统。
使用四种高性能文件系统:Lustre、SNFS、IBM GPFS(厚节点专用)、SGI CXFS(胖节点专用)。
以下是各部分的具体配置与性能指标。 深腾7000共配有1288台IBM HS21SM刀片服务器,其中计算刀片节点1140个(采用无盘方案),IO节点120个,网络启动服务器12个,管理、登录等服务节点共16个。刀片节点的单机配置如下:
配置2个Intel XeonE5450四核处理器(3.0GHz,L1:32KB+32KB, L2:2x6MB,4条浮点流水线,单核心性能为12Gflops,单CPU性能为48Gflops,TDP为80W)。
内存32GB。
配备4x DDR infiniband 网卡(HCA)。
配备千兆以太网卡。
IO节点、启动节点等配备4Gbps光纤卡(HBA)。
所有刀片节点总性能为123.6Tflops,总内存41.2TB;其中计算刀片的总性能为109Tflops,总内存36.5TB。 深腾7000系统中的厚节点采用IBM X3950M2服务器,共38台,总性能28Tflops,总内存19TB。其单机配置为:
NUMA结构,节点内采用IBM专用网络连接。
配置16个Intel Xeon 四核处理器(2.93GHz,L1:32KB+32KB,L2 9MB,具体型号不详,TDP 120W?),共64个CPU核心。
内存512GB。
配备4x DDR infiniband 网卡(HCA),每节点4块。
配备千兆以太网卡。 深腾7000的胖节点采用SGI Altix4700,使用Intel Itanium2处理器,总性能5Tflops,内存总量5TB,具体配置如下:
包括2个计算节点、1个头节点、2个文件服务节点。
* 胖节点(计算节点),节点采用NUMA结构,配置94个双路刀片模块,共188颗处理器,376个CPU核心,共享内存约2.5TB,主要用于批处理作业计算。
* 头节点,由1台胖节点通过逻辑分区实现,用于用户登录、编译与调试程序、提交作业。头节点配置4个双路刀片,共16个CPU核心,64GB内存
* 文件服务节点,由1台SGI Altix450通过逻辑分区功能成为2台CXFS文件系统器使用,用户不可直接访问。
共384颗Intel Itanium2双核处理器。
* 型号9140M, 1.66GHz主频,666MHz总线。
* L1 Cache: 16KB(Data)+16KB(指令),L2 Cache: 256KB(Data)+1MB(指令),L3 Cache: 18MB。
* TDP 104W。
系统浮点峰值5Tflops。
内存总量5TB。
互连网络。
* 节点内采用NUMALink互连(双向带宽6.4GB/s,延迟1us)。
* 节点间采用千兆以太网互连,用于管理、NFS文件系统。
* 节点间采用2条20Gbps的Infiniband互连。 深腾7000共配有12台可视化节点,配有高性能图形显示卡与商业可视化软件,用于用户计算结果的可视化处理。其单机配置如下:
采用3U机架式服务器。
配置2个Intel XeonE5450四核处理器。
内存32GB。
配备4x DDR infiniband 网卡(HCA)。
配备千兆以太网卡。
配备Nvdia 9800GTS显卡。 深腾7000的内部网络分为三种:
系统网络:采用4x DDR Infiniband高速网络系统实现节点间通讯,主要用于节点间通讯与高性能文件系统。
管理网络:使用全千兆高性能以太网交换机Foundry RX16,用于系统管理、部分文件系统数据传输。
存储网络:全光纤结构,2台256口(4Gbkps)光纤交换机Brocade Silkworm48000,实现IO节点与磁盘阵列等存储设备的连接。 深腾7000的存储系统包括以下几部分:
磁盘阵列系统,采用光纤/SAS盘阵。
* 2台HDS USPv高性能磁盘阵列,总的裸容量354TB。
* 聚合I/O带宽≥50GB/s
* 使用光纤方式与主机连接,支持数据链路冗余功能
* 采用冗余电源供电,电源、风扇、控制器及硬盘等部件
可带电插拔更换,无需关机
虚拟磁带库系统Quantum DX100
* 利用SATA磁盘阵列模拟磁带库,提高数据备份的性能
* 裸容量64TB
磁带库系统
* 用于数据备份及数据的长期保存,提高盘阵空间使用效率
* 使用2套ADIC i2000智能带库,总不压缩容量1PB
* 使用LTO4磁带,不压缩容量800GB/盘
* 配有8台磁带驱动器,聚合I/O吞吐率≥800MB/s(不压缩方式)
* 磁带库采用光纤方式与主机连接,支持数据链路冗余功能
* 电源、磁带驱动器等部件可热插拔,更换这些部件不需关机。
磁带库内部关键部件采用冗余电源供电。

相似回答