作者 | 夏舍予
编辑 | 漠影
随着数字化建设的开展,我国的各个行业都在向数字化和智能化转型。在行业转型的过程中,大量新技术不断涌现,例如物联网、5G、云计算、AI、大数据等。技术的进步加快了数据的产生和流动,这也造成了数据的爆发式增长。
在算力需求的驱动下,全国已有二十多个城市抢建数据中心,各大厂商也在算力领域开始“卷”了起来。
但除了计算能力,数据处理还有一个重要的维度,那就是 存储 。如果计算能力很强,但是存储性能跟不上,整体的计算效率也无法得到有效提升。
在全球范围内,有一个存储性能评测最权威的国际排行榜—— IO500 。历届冠军包括英特尔和DDN等,它们都是业内具有多年存储核心技术积累和创新能力的国际一流厂商。
今年,中科曙光获得了IO500的10节点榜单冠军,并且将世界纪录提升了146%,这标志着我国自研存储力量已经跻身世界一流阵营。
▲IO500榜单是存储性能领域的权威榜单
本次IO500全球 最新榜单角逐情况 如何?存储性能的新纪录如何影响行业 数字化转型 ?自研存储企业又是如何在全球科技巨头云集的市场中 实现突围 的?为此,智东西与曙光存储行业推广总监李国君进行了深度对话。
一、斩获IO500冠军,曙光存储刷新世界纪录
本次登上IO500榜首的是曙光ParaStor分布式统一存储系统。曙光ParaStor诞生于2009年,已有十余年的技术积累。李国君告诉智东西,ParaStor的发展可分为四个不同阶段。
▲曙光ParaStor分布式统一存储系统
1.0阶段,曙光ParaStor主要支持POSIX高性能文件协议,面向高端计算应用场景。
2.0阶段,随着行业应用发展,曙光升级为对NAS和对象协议的支持,产品面向多领域规模化部署。
3.0阶段,随着虚拟化和云计算技术的普及,曙光开始发力分布式块存储市场,完善了块的协议,解决用户上云需求。
4.0阶段,随着各行业智能化与数字化转型,应用变得更加多样,曙光ParaStor实现了对文件、块、对象以及HDFS协议的完全支持,几乎可以覆盖所有的应用场景。
在每个发展阶段,曙光ParaStor都根据业务需求特点对产品进行创新升级。比如从多协议融合、全闪性能优化到绿色节能技术,李国君说, 曙光ParaStor最大的优势就是全栈自研技术。
再来看看国际权威的存储性能测试榜单——IO500榜单,它主要包括 “全榜单” 和 “10节点榜单” 。相比全榜单可以充分利用不限客户端规模的优势,10节点榜单将客户端数量严格限制在10个节点,是对存储系统全栈技术研制、优化和创新能力的更高难度挑战。
IO500榜单不仅只是一个榜单,其背后有三重价值。
第一,对于 行业玩家 而言,它是业内存储性能测量的权威平台。
第二,对于 产业 而言,它推动数据中心逐渐从“计算密集型”向“数据密集型”演进,从存储系统层面提升数字使用效率,可以助力数字经济发展。
第三,对于 应用行业客户 而言,它具有实际参考意义。无论是对传统的高密度计算场景,还是新兴的数据分析等HPDA场景,IO500混合IO模型负载的评测,都可以为客户提供参考价值。
而曙光ParaStor获得10节点榜单的冠军,也可以说证明了国内自研存储厂商的技术已经比肩甚至超过国际巨头。
二、角逐智能化存储市场,得自研者得天下
据IT市场研究和咨询公司IDC的数据,2021年我国存储市场规模达到59亿美元(约423亿人民币),比2020年市场规模增长18%,预计未来5年存储市场将以12.6%的年复合增长率持续保持上升趋势。
相比于整个存储市场, 分布式存储市场 的增长潜力更为突出。中国信通院的数据显示,2021年分布式存储的市场规模达到178亿元,并预计将在未来三年以40%的增长率持续扩大。
▲曙光存储行业推广总监李国君
李国君谈道,纵观国内的整个存储行业,业内玩家已经分成了多个梯队。第一梯队是掌握了自研技术的存储厂家,中科曙光已成为其中的代表。
第一梯队的玩家不仅有核心软件研发能力,还有硬件制造能力,可以实现软硬协同一体化。 由于技术是自研的,这些厂家不必过多依赖外部的开源组件,能够自主进行产品的持续迭代,引领行业的发展方向。
那么聚焦曙光,公司又如何在群雄割据的第一梯队中冲出重围呢?
李国君谈道,中科曙光主要从 自研技术积累、超大规模部署实践、技术服务支撑能力 三个方面打造自身的差异化优势。
首先,曙光有专业的自研技术优势。 曙光ParaStor已经有十余年的研发历史,曙光团队从0到1做自研技术,至今已经积累了三百余项专利,存储产品在性能指标上优于别的厂家。
其次,曙光还有丰富的超大规模分布式存储部署实践 , 曙光ParaStor单套系统的存储容量可达300PB。
最后,曙光具备技术服务支撑能力。 曙光拥有完善的本地化技术支持团队,具备定制化设计、开发与落地能力。
可以预测,随着数字信息化的推进,存储领域将围绕技术与产业落地开启新的角逐,技术积累、商业应用规模、服务支撑能力都将成为角逐的主战场。
三、落地自动驾驶,解决“最后一公里”问题
随着各行各业的数字化转型推进,存储也正面临着新的时代需求。李国君告诉智东西,目前市场对分布式存储的需求主要集中在四个层面:
第一,大规模存储需求。 随着数据海量增长,数据的规模越来越大,这对数据存储系统的技术难度提出了更高的要求。
第二,性能优化需求 。 性能决定了存储好不好用,数据的读取速度决定人工智能等核心应用的生产效率。所以分布式存储不仅要装得下大规模的数据,还要提升读取数据的速度,极致优化性能。
第三,数据安全需求。 数据安全需求分为两个方面,一方面是数据本身的存储安全,厂家要保证数据不丢失、不被非法篡改。另一方面是技术安全,厂家是否有自己的核心专利和自研技术,在软件和硬件上能否不受制约。
第四,绿色节能需求。 在整个新基建中,绿色经济都是很重要的一个部分。厂家要保证数据中心的能耗降到最低水平,缓解碳排放的压力。
但是具体到不同 的行业,需求也有 侧重。 让我们以采集数据最多,对技术要求也最苛刻的自动驾驶为例。
▲曙光ParaStor已在自动驾驶行业深入应用
自动驾驶领域的特点就是 数据采集量大,训练模型丰富且差异化较大 , 不同阶段数据的IO模型读取的顺序也不一样。对于这些问题,曙光ParaStor采用的POSIX协议可以支持上万个应用节点级别的云容器平台,同时搭配多级智能缓存加速策略,最大化提升自动驾驶模型训练和模拟仿真的效率。
此外, 数据安全 在自动驾驶领域也非常重要。因为车辆采集的数据涉及到国家经济、地理信息、用户信息等隐私数据,所以保护数据的安全十分必要。李国君提到,曙光通过精细化的权限控制,支持多因子认证、WORM、快照及回收站,保障数据存取安全和访问合规。曙光可以提供从软件到硬件全自主、全流程可控的存储方案,全力保障数据存储安全。
同样,数据量大还会带来另外的问题,那就是硬盘、网络等组件发生故障的概率增加,这就涉及到运维的部分。李国君说,曙光有一套严密的监控管理方案,可以及时监测出故障组件,发出告警通知并自动化修复。
总的来说,在自动驾驶领域,曙光ParaStor主要从 性能、安全、运维 三个方面构建自身的独特竞争力。
四、结语:自研存储已有突破,仍需坚持长期主义
曙光ParaStor斩获IO500榜首,证明国内自研存储力量已经获得了巨大的进展和突破,开始在国际舞台上崭露头角。
但是,目前整个存储行业仍然面临着非结构化数据爆发式增长、极致性能待优化、技术不够绿色节能等挑战。
经过多年深耕技术,曙光已经在这些方面有所成效,解决了部分难题。但对于整个行业中的企业而言,它们该如何面对这些挑战?
一方面,企业要 预判 行业发展,为未来的存储需求 提前做好技术储备。 另一方面,企业也需要 沉下心 来踏实做技术研发,不断投入时间成本, 坚持长期主义。