浪潮分布式存储：让数据融合互通，为“云数智”应用构筑新平台

geyujia1

　分布式云存储

　　数字经济时代，云计算、大数据、人工智能等新技术快速发展，非结构化数据爆发式增长，数据类型变得愈发复杂多样。在自动驾驶、基因测序、气象预报等云数智应用场景中，一次数据处理可能会涉及文件、对象、大数据等多种协议，数据间的互通转换成为数据存储中至关重要的一环，具备平台化能力的融合存储成为数字基础设施建设的核心。

　　以基因测序场景为例，一次完整的基因测序涉及到数据采集、格式化、脱敏、压缩、分析、发布等操作，其过程可以大致分为样本采集、DNA/RNA测序、数据分析和发布四个步骤。在不同的处理阶段，需要使用不同的数据协议进行操作。其中在样本采集和DNA/RNA测序阶段采用NFS文件协议，数据分析阶段采用HDFS大数据协议，数据发布阶段则是通过公网数据共享采用S3对象协议。整个数据处理过程涉及三种协议格式，这就意味着完成一次基因的测序流程需要在NFS、HDFS和S3之间进行两次数据拷贝和数据格式的转换。传统存储仅支持单一的访问协议，这就会造成两个问题：一是数据格式转换和数据拷贝会降低整个数据处理流程的效率;二是多套存储副本增加存储空间成本。

　　基因测序应用需要使用多种数据协议

　　浪潮分布式存储平台AS13000基于对非结构化数据协议(NFS/CIFS/HDFS/S3)融合互通的研究进行技术创新，采用统一的数据管理和元数据管理、统一的增值特性服务、统一的分布式存储资源池和统一的管理软件系统，保证各种协议共享同一份数据和元数据。访问过程中无需数据转换和拷贝，并且为每种协议提供原生语义服务，每种服务均可直接访问，无需安装网关、插件或在计算侧或应用层进行改造。

　　AS13000非结构化数据融合架构

　　基于“多合一”极简架构，浪潮分布式存储得以实现四个“统一”。

　　首先，提供统一的数据管理和元数据管理。

　　数据管理和元数据管理是非结构化数据存储的关键，浪潮分布式存储平台AS13000根据NFS、CIFS、HDFS和S3的语义和元数据特点，抽象各协议的数据和元数据操作，通过一套统一的非结构化数据和元数据管理架构有效地保证各协议的原生访问。

　　其次，提供统一的增值特性服务。

　　基于统一的数据访问接口和元数据管理的架构设计，浪潮AS13000对外提供统一的增值特性服务，包括统一配额、QoS、加密、压缩、快照、回收站、分级存储、远程复制、元数据检索等等。