CCFS并行文件系统
互联网大数据时代,视频、音频、图片等非结构化数据呈爆炸式增长,传统的SAN和NAS存储架构已经无法满足巨大IO带宽和海量的并发访问需求。CCFS汇集了海量数据存储管理和并行高性能读写的优势,从架构上彻底消除了传统存储的瓶颈,能够满足高带宽、高并发的海量数据存储需求。
CCFS并行文件系统是一款针对海量数据存储应用而设计研发的大规模通用并行文件系统,它通过虚拟化技术、分布式存储技术以及集群技术将海量的通用X86架构服务器虚拟成一个容量大、性能高、扩展性强的共享硬盘,为前端大量应用提供高并发数据读写访问。
CCFS并行文件系统能够应用于广电媒体、互联网、基因测序、能源勘探、微信测绘、教育科研、政府、军工、医疗、教育科研、视频监控等行业。
1、EB级单一命名空间
- 系统可以构建单一命名空间的EB级虚拟存储池。
- 所有客户端可以共享访问存储池内所有数据。
- 可以为每个卷不同的客户端设定不同的访问权限,如读、写、删、重命名等。
2、千亿级文件管理能力
- 系统内置高效文件检索机制,最多可以有效管理千亿文件。
- 单目录包含千万文件,文件检索效率任可达到3万/每秒。
3、横向在线扩展容量&性能
- 系统支持在线横向扩展,打破传统存储的框架限制。
- 支持磁盘和节点的在线扩容,扩容对应用透明。
- 扩容后数据自动迁移,保证每个节点每个硬盘的数据载荷均衡。
- 用户开始只需搭建满足业务需求的最小容量即可,后期按需扩容,减小一次性投入。
4、高安全
- 系统支持冗余网络结构,排除单网络链路的安全风险。
- 各种冗余集群设计,保证系统无任何单节点故障。
- 纠删码N+M算法,基于真实数据的分布式故障数据重建机制,使得IT的故障数据恢复时间小于20分钟。
- 系统的任何一个架构均采用集群设计,确保系统任何组件失效时均能保持业务的连续性和正常的数据访问。
5、卓越性能
- 节点间条带化技术,将IO操作均匀的分散到多个存储节点,为数据IO提供多个并行传输通道,有效提高了系统的读写带宽和IOPS,实现最高达TB/s的吞吐量。
- 系统的聚合带宽和整体容量随着存储节点的增加而线性增长,可持续满足由于应用规模的增加带来的容量和性能的需求。
6、图形化监控管理
- 提供基于WEB的图形化管理界面,提供系统配置管理和监控告警扥功能。
- 简化了安装和维护过程,提高了管理效率。
系统规格 |
系统容量 |
单一命名空间支持EB级空间 |
||
文件数 |
单一文件系统支持超过5000亿文件数量 |
|||
客户端 |
单套系统支持10万个客户端 |
|||
元数据节点数 |
≤128台 |
|||
存储节点数 |
≤10000台 |
|||
聚合IO带宽 |
随存储节点规模增加呈线性增长,可以达到TByte/s级 |
|||
元数据性能 |
随元数据节点规模增加呈线性增长 |
|||
支持的客户端 |
Linux、Windows、UNIX、MAC、AIX等 |
|||
单存储节点 |
网络类型 |
Write |
Read |
|
10Gb/s以太网 |
1800MB/s |
1800MB/s |
||
每对元数据节点性能 |
网络类型 |
Createfile |
Statfile |
|
10Gb/s以太网 |
20000/s |
30000/s |
||
支持硬盘种类 |
SATA、SAS、SSD |
|||
最小规模 |
3台设备起部署,容量>=10TB |
|||
系统功能 |
系统架构 |
分布式架构 |
||
访问接口 |
支持NFS/CIFS/CCFS/iSCSI/CSAN/S3/Swift/HDFS/Cinder访问接口 |
|||
负载均衡 |
支持元数据节点之间基于文件数量的负载均衡 |
|||
支持存储节点之间基于容量和性能的负载均衡 |
||||
扩容后,支持新、老存储节点之间基于容量的负载均衡 |
||||
分级存储 |
在同一命名空间内支持文件的自动分级存储 |
|||
WORM |
提供WORM(Write Once Read Many)功能,确保关键文件在指定保存日期前不会被更改或是删除,同时满足数据存储需求和实现法规遵从 |
|||
远程复制 |
支持以实时异步的方式进行远程复制 |
|||
扩展性 |
硬盘 |
支持存储节点硬盘在线动态添加和安全移除 |
||
存储节点 |
支持存储节点在线动态添加和安全移除 |
|||
元数据节点 |
支持元数据节点在线扩展 |
|||
可靠性 |
数据保护模式 |
以自有的CRaid实施对数据的保护,支持4副本模式,支持N+M冗余模式 |
||
元数据节点 |
元数据节点以Active-Active集群方式运行,每两台为一组互相备份数据和服务 |
|||
存储节点 |
存储节点以集群方式运行,进行跨节点的数据冗余保护,存储节点内硬盘失效或者整个节点失效可通过剩余在线的其他存储节点进行自动数据重构,无需替换新硬件。1T故障数据恢复时间小于20分钟。 |
|||
管理 |
部署 |
支持集中式部署和配置 |
||
升级 |
支持在用户IO业务不停止的情况下在线升级,升级过程对原有数据和配置无影响 |
|||
状态监控 |
支持对系统总体状态进行监控,支持对各节点和服务状态进行监控 |
|||
性能监控 |
支持对系统总体性能、资源进行监控,以及各节点的性能、资源进行监控 |
|||
信息查询 |
支持对系统及各节点状态、性能、资源信息进行详细查询 |
|||
告警 |
支持对系统软硬件故障和系统状体阀值信息进行告警,告警方式支持以界面告警、邮件告警和短信告警等方式 |