中科曙光助力“地球大数据科学工程”,用云计算“读懂”地球

北京2019年8月19日 /美通社/ -- 在科学技术不断发展的今天 , 人们通过对地观测、地表传感器网络、遥感技术等手段 , 获取了海量的地球科学数据集 , 这些数据统称为地球大数据 。

2015年 , 联合国发布了可持续发展目标议程 , 以期面向2030年解决贫困、不平等和全球变化等的挑战 。 这议程的众多目标中 , 地球大数据至少可以为实现其中八个提供不同形式的支持 , 特别是纯净的水源、低廉的能源、可持续发展的城市、全球变化、水下生命、陆上生命、健康和平等发展目标 。

2017年中科院成立了为期五年的“地球大数据科学工程”先导专项 , 其中大数据云服务平台是“地球大数据科学工程”先导专项的重要建设任务之一 , 属于综合型基础设施项目 。

构建“大数据云服务平台”的关键在于两个层面 , 一是对中科院积累的海量基础物理数据及其相互关系的建模

二是将对数据使用逻辑实现“服务化” , 以支撑各单位实现数据共享和个性化应用孵化 。

如何助力“地球大数据科学工程”构建包含资源、环境、生物、生态等多个领域的大数据云服务平台 , 将海量“地球大数据”掌握在手中并实现云化?

中科院和中科曙光

通过“院企合作”的方式 , 将中科院的科研成果注入曙光 Cloudview 云计算操作系统产品中 , 实现科研成果的工程化 。

依托专家力量 , 将其对海量数据的独特使用逻辑框架化 , 并形成对底层资源支撑要求的量化 , 曙光以此作为输入 , 在原有 Cloudview 云计算操作系统的基础上 , 扩充资源调度功能并优化 , 为地球大数据科学工程提供 IaaS 层资源支撑及资源管理与调度 , 通过灵活的调度、简便的运维 , 让“大”数据轻松一手掌握 , 推动并实现地球大数据技术创新、重大科学发现和一站式全方位宏观决策支持 。

中科曙光助力“地球大数据科学工程”,用云计算“读懂”地球

----中科曙光助力“地球大数据科学工程” , 用云计算“读懂”地球//----江 苏 龙 网 http://www.jiangsulong.com

系统总体架构图

建设国际领先的大数据云服务平台 , 需不断提高对资源层高标准的使用要求 , 如弹性、高性能的计算资源、海量的数据存储、高并发的数据访问、简便的集群运维管理等 。 针对“地球大数据科学工程”的大数据云系统建设所形成的曙光云计算 Cloudview 操作系统的优势主要体现为三个方面

第一 , 体现在大规模弹性及异构计算 , 达到更高的计算能力 。

基于数百台计算节点的调度提供计算资源的弹性扩展 , 满足大气、海洋领域科学应用对计算资源不断变化的需求 , 不会产生计算资源瓶颈 , 不同业务系统之间均衡使用 , 使资源得到充分、合理的使用 。 利用 GPU 透传、PCI 设备透传能力 , CPU 独占特性 , 为业务应用提供资源独占能力 , 避免资源的争抢、达到更高性能的计算能力 , 支撑基于 Hadoop 大数据系统及 Spark 等流式数据处理 , 帮助用户实现一键构建大数据处理环境功能 。

第二 , 支持高并发海量存储、提供更优的数据治理能力 。

中科曙光 Cloudview 云计算操作系统提供海量的存储管理 , 提供统一的存储管理与调度 。 可同时对接几十PB级文件存储系统和对象存储系统 , “文件存储系统”主要用于存储来自全国不同科研组织提交的科研数据 , 提供数据远程汇交的人机接口和功能 , 同时提供空间配额、访问权限控制、数据隔离等功能 。 “对象存储系统”主要用于将汇交的、有价值的科研数据以对象格式存储 , 便于后期的数据处理和发布共享 。 数据网络采用10Gb/40Gb网络 , 10Gb网络用于虚拟机镜像在镜像存储与计算资源池之间的传输 , “数据内网”采用40Gb高速网络 , 用于科研数据在超级计算系统、大数据云系统、数据存储系统之间的相互流转 。


推荐阅读