|
2006-01.29 | 中国,北京
高性能计算发展与应用上海超级计算中心编印
2、曙光4000A及其作业管理系统LSF曙光4000A高性能计算机系统理论浮点峰值为每秒11万亿次。曙光4000A共有512个计算结点,16个存储结点和4个接入接点。每个计算结点采用AMD 64位Opteron(主频2.4G)处理器,拥有8GB内存和36GB硬盘。 互联网络为Myrient2000。整套存储系统有25TB盘阵,75TB SAN系统以及100GB磁带库。曙光4000A的操作系统为Turbo Linux 8.0 for AMD 64。编程语言包括C、C++、 Fortran、 OpenMP和Java。并行计算环境有MPI、PVM。 曙光4000A使用PLATFORM公司提供的LSF(Load Sharing Facility)软件来实现本地资源调度、作业管理和用户管理的功能。 2.1 资源调度、分配——作业的提交和监控;作业管理;作业调度策略 ● 作业提交和监控 提供用户和系统管理员通过bsub等命令行方式,在终端窗口以文本方式提交作业并通过bjob、bhist等命令行方式监控作业的运行情况;提供用户通过窗口方式提交 作业,并提供系统管理员通过窗口方式对系统资源、用户提交的作业进行监控和管理。 ● 作业管理和负载平衡 系统管理员可以根据每个队列的运行要求,设定每个队列不同的资源限制值(如CPU数、作业运行时间、内存占用大小等),以对提交在不同队列的作业按队列资源限制自动提交运行;根据资源结点的实时负载情况进行自动作业提交和分配,通过时间上或空间上的负载平衡,实现对所有结点的资源监控和作业调度。 ● 作业调度策略 提供先到先服务调度、公平分享式调度、抢占式调度、预约式调度、独占式调度和回填式调度等调度策略。通过对这些调度策略的组合和综合运用,可以有效控制所有作业的运行,使所有用户提交的所有作业根据策略组合的条件,自动进行调度,避免了过多的人工干预和分配。 2.2用户管理——可分别对资源结点进行分组或对用户分组 ● 结点分组 提供系统管理员根据本单位的实际主机及资源的管理需求,将所需分配的机器(所有结点)划分为多个集群(结点组),提供不同的服务。 ● 用户分组 提供系统管理员可以根据本单位对用户的管理需求将所有用户分组,并在此基础上限定每个用户所能够访问的结点。
http://www.ssc.net.cn/paper/paper_pdf/14_5.pdf
2、曙光4000A及其作业管理系统LSF曙光4000A高性能计算机系统理论浮点峰值为每秒11万亿次。曙光4000A共有512个计算结点,16个存储结点和4个接入接点。每个计算结点采用AMD 64位Opteron(主频2.4G)处理器,拥有8GB内存和36GB硬盘。
互联网络为Myrient2000。整套存储系统有25TB盘阵,75TB SAN系统以及100GB磁带库。曙光4000A的操作系统为Turbo Linux 8.0 for AMD 64。编程语言包括C、C++、 Fortran、 OpenMP和Java。并行计算环境有MPI、PVM。
曙光4000A使用PLATFORM公司提供的LSF(Load Sharing Facility)软件来实现本地资源调度、作业管理和用户管理的功能。
2.1 资源调度、分配——作业的提交和监控;作业管理;作业调度策略
● 作业提交和监控
提供用户和系统管理员通过bsub等命令行方式,在终端窗口以文本方式提交作业并通过bjob、bhist等命令行方式监控作业的运行情况;提供用户通过窗口方式提交
作业,并提供系统管理员通过窗口方式对系统资源、用户提交的作业进行监控和管理。
● 作业管理和负载平衡
系统管理员可以根据每个队列的运行要求,设定每个队列不同的资源限制值(如CPU数、作业运行时间、内存占用大小等),以对提交在不同队列的作业按队列资源限制自动提交运行;根据资源结点的实时负载情况进行自动作业提交和分配,通过时间上或空间上的负载平衡,实现对所有结点的资源监控和作业调度。
● 作业调度策略
提供先到先服务调度、公平分享式调度、抢占式调度、预约式调度、独占式调度和回填式调度等调度策略。通过对这些调度策略的组合和综合运用,可以有效控制所有作业的运行,使所有用户提交的所有作业根据策略组合的条件,自动进行调度,避免了过多的人工干预和分配。
2.2用户管理——可分别对资源结点进行分组或对用户分组
● 结点分组
提供系统管理员根据本单位的实际主机及资源的管理需求,将所需分配的机器(所有结点)划分为多个集群(结点组),提供不同的服务。
● 用户分组
提供系统管理员可以根据本单位对用户的管理需求将所有用户分组,并在此基础上限定每个用户所能够访问的结点。
http://www.ssc.net.cn/paper/paper_pdf/14_5.pdf
|
|
|


|