建设服务主导型的数字档案管理,即“文件形成电子化,传播档案信息网络化,在线编研系统化,档案利用超市化,馆藏档案数字化,来馆利用趋零化”等一系列新理念和新设想,利用高科技手段塑造档案管理的新形象,努力打破过去对档案管理陈旧保守的错误观念。
数字化档案管理系统的建设突破了传统的、封闭的档案管理模式,实现了档案工作以手工管理为主向以计算机管理为主、以管理档案实体为主向以管理档案信息为主、以档案存储保管为主向利用服务为主的转变。数字化档案管理系统的开放系统包容了纸质档案、实物档案、图片档案、影视档案的各方面及档案信息的产生、收集、整理、保管、利用的全过程,将不同介质、不同类别相互独立的档案信息整合成统一的资源库,并确定其相互关联关系,增加了档案管理工作的科技含量,为各企事业单位生产、经营提供了安全、优质、高效的信息服务手段,充分发挥档案信息的经济价值和社会价值。
- 数字化档案管理通常以机房为中心,各客户端通过内部局域网或Internet发布进行访问。在多级综合网络中,内部主要包括:
- 档案收集:收集各种具有保存价值的文件、声像材料,各级机关、企事业单位公文、会议交流材料等。这一过程中需要各用户端搜集整理,并汇总到统一存储系统。
- 档案整理:主要包括分类、组卷、目录编制等工作,然后将各种档案进行数字化录入。这一过程同样可在采集数据存储系统中进行即可。
- 档案管理:利用各操作终端在专用的管理系统上对档案即时编辑管理。
- 档案利用:通过内部共享或WEB发布提供。
- 容灾备份:强有力的容灾存储系统及全面的网络安全是数据安全的重要保障。
有上述工作模式可见,整个平台需要存储系统具备以下几个特点:
- 需要存储能够支持文件全局共享:让档案的收集、整理、管理、利用等过程都有能够无缝衔接,所有业务服务器能够直接按需共享访问对应的档案文件,确保管理流程中相关档案文件不需要拷贝或者传输就能够进行无缝的访问管理。整个工作流程中的各阶段流程能够顺畅的进行,从而提高整体业务的运转效率。
- 需要存储提供较高的性能:从档案管理的业务发展方向来看,档案管理向着内容服务转变,档案文件的存储平台将会面临更多可能的访问和调用。为了能够更好的支持快速对海量的档案文件内容进行相关的编辑、管理和检索,充分利用档案的深入价值,就必须能够在海量的内容中快速的检索到需要的数据,这就要求存储系统必须具备较高的性能。如果存储系统的数据读写速度达不到需要的性能,那么档案信息平台将很难作为一个服务性的平台为更多的人和机构提供服务。
- 按需建设,在线扩展的大容量存储系统:由于档案内容的清晰度越来越高,文件越来越大,以及需要保存的档案项目也不断增多,导致整体的档案数据量非常大。如果不能将海量的档案数据进行较好的统一存储和管理,并且不能按需在线扩展施工,数据就被分散的存储到多个独立的存储系统内,导致后期信息平台管理过程浪费大量人力物力,也影响项目的进程。
- 需要高效支持海量小文件:在档案的信息化流程中,海量的档案图片文件将会给存储系统带来巨大的压力。传统存储在这种大小文件混杂的情况下,访问性能会急剧降低,导致整个档案信息化平台运转效率低下,难以提供检索访问服务。
- 需要更高的数据安全性:传统的存储只能提供硬盘级的安全性保护,像RAID5同一时间最多只能允许一块硬盘出现损坏,RAID6同一时间只允许损坏两块硬盘,但是当总数据量达到数十、上百TB,使用大容量硬盘导致RAID重建的时间远远超过8个小时,硬盘连续出现故障的频率会更高,容易出现整个盘阵数据丢失的情况。
- 方便快捷的备份系统:由于原始档案长期保存和其原始记录的特性,需要定期对档案进行备份,避免数据丢失,以保证档案数据的完整性和安全性。
- 需要遵从法律法规:电子档案的存储和管理,需要符合相关法律法规要求,实现长期安全的保存,并且需要能够防止各种可能导致档案文件被破坏的事故。那么就要求存储系统自身具备良好的档案文件长期保存和管理的能力。
解决方案
CloudCore高端集群存储系统主要由元数据集群、存储服务器集群、备份服务器集群三大部分组成。元数据服务器集群管理文件系统的元数据,管理整个存储系统的命名空间,对外提供单一的系统映像。存储服务器集群存储用户的实际数据,是整个存储系统的存储资源提供者。备份服务器集群通过FC网络将整个存储系统中的数据备份到磁盘库中。
系统架构图
CloudCore集群存储系统采用了完全的分布式架构,将存储服务器集群和元数据服务器集群通过高速以太网络构建,具备良好的扩展性和可靠性。利用纠删码技术消除集群内的单点故障,避免因为故障而导致服务中断或者数据丢失等影响,并且打破了传统存储系统容量、文件数量的种种限制。