教育装备采购网
第七届图书馆 体育培训

遇见容器HPC 兰州大学的高性能计算应用之路

教育装备采购网 2020-08-25 15:04 围观2333次

  “当今,科学研究可分为三种:实验、理论和计算。”

  ——诺贝尔奖得主,威尔逊

  如果说,在科学的发展长河中,伽利略和牛顿奠定了实验科学和理论科学的基石。那么,计算机的发明,则把计算推上了人类科学活动的另一个前沿,此后,计算在科学活动中发挥着越来越重要的作用。

  例如,被称为“ 上帝粒子”的希格斯(Higgs)玻色子是2012年度最大的科学突破。它的发现和捕捉之路离不开欧洲核子研究中心(CERN),而对撞实验项目则离不开背后的大规模数据处理,大量的数据处理则需要依靠高性能计算(HPC)。

  不仅如此,近年来,计算在生命科学、天文物理学、医学、系统科学等各种科学中,所发挥的作用日益增大。并且,在气象、核技术、石油勘探、航空航天、装备制造研发、运输交通等国民与国防建设的很多重要领域中,计算成了必不可少的手段。

  “互联网的应用有两大驱动力,一个是商业的互联网,另一个就是科研领域,1994年中国接入互联网之后,接入的第一个科研应用就是高能物理。”兰州大学网络安全与信息化办公室主任陈文波主任在接受采访时说。

兰州大学的HPC之“难”

  兰州大学是教育部直属的全国重点综合性大学,是国家“985工程”和“211工程”重点建设高校之一,于2017年入选教育部世界一流大学建设名单,并且有4个学科入选世界一流学科建设名单。

  据了解,高性能计算作为兰州大学的科研工具扮演了极其重要的角色,“我们平台的超算能力是1200万亿,在西部高校的HPC规模应该是最大的。” 兰州大学网络安全与信息化办公室主任、超算中心主任陈文波主任说。

  学校先后在物理、化学、大气学院等学院建设了高性能计算中心,给各学院的教师和学生提供了科研支撑。“在上世纪80年代,全国开始建立计算中心,兰大就是其中之一,当时用的是日本富士通的机器,之后,又从中小型机过渡到X86服务器,2004、2015年开始采用计算集群,到了2010年后,各学院开始了自建…….”陈主任回顾了兰州大学的HPC应用之路。

  目前,虽然各学院分散建设高性能计算中心的模式在一定程度上满足了现有的科研需求,但也存在着诸多问题,难以满足学校长远的发展。主要表现在:

  1、资源浪费:各学院独立建设高性能计算集群,物理设备或部门之间的隔离导致资源无法共享,造成资源严重浪费;

  2、运维管理复杂:各学院老师需要承担各院高性能计算集群设备的运维管理工作,无法更好地聚焦科学研究;

  3、采购成本高:由于高性能计算集群建设没有做到全校一盘棋统筹,导致高性能计算相关的设备采购成本及运营成本居高不下;

  4、用户体验差:由于大多数有科学计算需求的师生都是非计算机专业出身,存在对超算系统概念不了解、环境不熟悉、使用门槛高的问题。对于一名通常只有2~3年研究时间的学生来说,基础配置和调试等工作占用了大量的研究时间;

  5、不利于交叉学科发展:学科交叉点是科学新的生长点、新的科学前沿,而校级平台是学科交叉的温床,但各院独立建设的现状无法满足高性能计算中交叉学科的发展需求;

  面对以上的种种问题,兰州大学亟需统筹规划全校的高性能计算中心建设,构建全校统一的高性能计算公共服务平台。但是统一建设仍面临着很多新的挑战,例如,如何实现计算资源的灵活调度?如何实现用户的业务隔离?如何实现作业的合理调度?

遇见容器HPC

  据兰州大学网络安全与信息化办公室超算中心高级工程师 张洋老师回忆,早在五六年前,在兰州大学跟美国圣地亚哥超算中心合作项目的时候,开始对容器HPC有初步的了解并持续关注。所以在规划建立统一的高性能计算平台的时候,优先考虑使用容器HPC。据悉,针对兰州大学在统一高性能计算平台的建设过程中面临的问题,华为利用自身大量的行业数字化转型经验和生态伙伴的整合能力,携手联科提供的基于容器的HPC解决方案在众多竞标者中脱颖而出。

  据了解,此方案运用云计算技术、前端展示以及移动计算等技术,打破了传统校园计算中心的建设模式,通过容器的隔离和镜像打包功能,将平台管理员从复杂的管理工作中解放出来,建立基于容器技术的高效公共计算云平台的管理模式和应用服务体系,让用户像使用手机一样,方便的使用高性能计算,通过移动设备随时随地的提交任务,查看结果。终,通过容器解决方案,做到计算环境快速部署和切换。

  “早期做方案调研的时候,我们找了五个学院的应用进行测试,观察其性能的损耗,因为对HPC应用来说,性能是优先需要考虑的,结果是,经过测试后,容器确实性能损耗和物理机相比基本上没有多大的区别,并且,多节点的MPI应用也都能跑起来。”张老师说。

  具体来说,容器HPC解决方案统一部署之后,给兰州大学带来了显而易见的价值:

  首先,简管理。建立统一的计算平台,通过用户管理子系统,对平台使用者的身份进行认证、审批、权限控制、配额信息管理、用户组及用户成员关系等管理,帮助学校实现计算平台的在各学院的租户化管理、运营;

  其次,降成本。通过容器隔离子系统,在同一个计算平台上同时运行不同版本的操作系统,拥有独立的网络配置(包括高速以太网以及高速IB计算网),并可访问不同的存储空间及数据集。保证虚拟化的资源性能与物理性能损失小于1%,满足科学与应用数据中心高性能计算的需求;

  再次,均资源。通过任务调度子系统,实现从多种计算资源中选择合适的节点启动容器。并通过资源监控模块、作业执行监控模块以及作业调度算法模块实现合理的作业调度,实现多个学院的用户在平台上能够均衡地获取到资源。

写在最后

  教育科研水平直接代表着国家的科技实力与能力。在过去,我国在高性能计算的应用方面,一直和欧美存在着差距,“如今,我国超算的发展是爆炸式的,我们已经慢慢从学习的阶段走向了应用阶段。”陈主任在采访结束时表示。

  当前,国内高校HPC应用迎来了一个黄金时代,而容器HPC将引领高校的超算发展,助力高校科研的繁荣之路。

来源:北国网 责任编辑:张肖 我要投稿
校体购终极页

相关阅读

  • 2024年东北教育装备展示会
    2024年东北教育装备展示会04-09
    数字赋能新时代共创教育新未来时间:2024年6月28-30日地点:沈阳国际展览中心指导单位:中国教育装备行业协会主办单位:辽宁教育学院沈阳市教育研究院承办单位:辽宁教育学院省教育装备研究与发...
  • 兰州理工大学领导深入现场调研学校基础设施建设工作
    兰州理工大学04-09
    2024年4月7日,兰州理工大学党委副书记、副校长焦树强深入彭家坪、兰工坪两校区实地调研学校基础设施建设和土地储备情况,学校党委常委、副校长彭珍瑞,基建规划处负责人等参加。基建规划处负责...
  • 东北大学开展食品安全隐患复查工作
    东北大学04-09
    为进一步加强校园食品安全管理工作,巩固食品安全专项治理成果,4月1日,由东北大学安委会办公室、安全督查组和食品安全专家组成的联合检查组,对1月份食品安全专项检查发现的安全隐患整改情况进...
  • 东北大学工会举办“指尖造景观,雅致似春来”生态微景观制作体验活动
    东北大学04-09
    4月1日中午,东北大学工会在南湖校区大成教学馆106室举办“指尖造景观,雅致似春来”生态微景观制作体验活动,帮助女教职工放松身心、缓解压力,用植物景观创造心灵花园,共享宁静美好的自然时光...
  • 陇东学院领导带队赴华东理工大学开展落实对口支援协议学习考察活动
    陇东学院04-09
    4月1日—3日陇东学院党委常委、副院长肖福赟带领陇东学院相关部门工作人员开展干部送任及专题调研学习活动。华东理工大学党委常委、副校长阎海峰主持见面会,党委常委、组织部部长、宣传部部长夏...
  • 渤海大学召开三届党委第三轮巡察工作动员部署会议
    渤海大学04-09
    4月8日,渤海大学召开三届党委第三轮巡察工作动员部署会议。党委书记、党委巡察工作领导小组组长刘洋作动员部署讲话,党委副书记、校长、巡察工作领导小组副组长赵建国宣布第三轮巡察组组长授权...
  • 安徽岳西:强化四个全覆盖 数字赋能教学 推动乡村教育高质量发展
    安徽省安庆市岳西县教育局04-08
    安徽省岳西县充分利用智慧学校功能,全面落实四个全覆盖举措,推进数字化、智能化、个性化教育,促进乡村教育高质量发展。数字化转型,拥抱新时代,开启新篇章。智慧课堂全覆盖。该县人民政府全...
  • 攀枝花学院召开2024届退役毕业生座谈会
    攀枝花学院04-08
    为进一步贯彻落实习近平强军思想,深入了解退役大学生的思想、学习及未来人生规划等情况,4月3日,攀枝花学院举行2024届退役毕业生座谈会,副校长石维富、王兵出席会议,攀枝花市退役军人事务局,...

版权与免责声明:

① 凡本网注明"来源:教育装备采购网"的所有作品,版权均属于教育装备采购网,未经本网授权不得转载、摘编或利用其它方式使用。已获本网授权的作品,应在授权范围内使用,并注明"来源:教育装备采购网"。违者本网将追究相关法律责任。

② 本网凡注明"来源:XXX(非本网)"的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,且不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。

③ 如涉及作品内容、版权等问题,请在作品发表之日起两周内与本网联系,否则视为放弃相关权利。

校体购产品