在计算机科学中，数据指输入到计算机内的多有可以被计算机处理的符号或者符号组合的总称。存储网络工业协会（Storage Networking Industrial Association, SNIA）关于数据的定义是“数据是对任意形式的任何事物的数字表示。数据是信息的具体表现形式。根据数据结构特征，数据主要可以分为：结构化数据、半结构化数据和非结构化数据。数据存在于全球经济的每个一部门，已经是与固定资产、人力资本一样是重要的生产要素。

2024.07 摄影山东济南 山东博物馆 拿破仑特展

存储系统

IT系统

软件资源

  1. 集群软件系统
  2. 分布式文件系统
  3. 操作系统
  4. 数据库
  5. 应用软件

计算资源

  1. 服务器
  2. 服务器集群

网络资源

  1. 网络设备
  2. 网络连接
  3. 网络管理

存储资源

  1. 内部存储
  2. 外部存储

存储系统

存储层次

  1. 高速缓存
  2. 主存储器
  3. 辅助存储器

I/O访问路径

I/O访问路径是指令和数据在存储系统中传递的通道。

  1. 物理过程
    1. 文件请求
    2. 网络文件协议
    3. 驱动程序
    4. 网络接口卡
    5. 网络连接设备
    6. 远程存储设备
  2. 逻辑过程
    1. 系统调用接口
    2. 文件系统
    3. 设备驱动程序
    4. 驱动硬件
    5. 磁盘访问接口

文件系统

文件系统是操作系统用于存储文件的方法和数据结构，即存储设备上组织文件的方法。

  1. 管理和调度文件的存储空间，提供文件的逻辑结构、物理结构和存储方法
  2. 实现文件从标识到实际地址的映射，实现文件的控制操作和存储操作，实现文件信息的共享并提供可靠的文件保密和保护

存储设备

  1. 机械硬盘
  2. 固态硬盘

存储虚拟化

  1. 数据块级虚拟化
    1. RAID
    2. SAN
  2. 文件级虚拟化
    1. 分布式文件系统
      1. 命名空间
      2. 访问接口
    2. Lustre文件系统
    3. HDFS文件系统

存储组网

存储阵列系统

基本组成

  1. 存储硬件
    1. 外置存储系统，例如磁盘阵列、磁带库、光盘库
      1. 控制器
      2. 电池备份单元BBU
      3. 硬盘框
    2. 存储连接设备，例如以太网交换机、专用线缆、FC交换机
  2. 存储软件
    1. 存储管理软件，例如LVM、SMB
    2. 数据的镜像、快照及复制模块
    3. 性能监控
  3. 解决方案
    1. 容灾解决方案
    2. 备份解决方案

级联组网

级联组网规则
  1. 控制器A上级联几口连接硬盘框的级联模块A,控制器B上级联接口模块连接硬盘框的级联模块B
  2. EXP级联端口和PRI级联端口做硬盘框级联,使用miniSAS线缆连接,EXP级联端口只能与PRI端口连接
  3. 同一级级联环路上,高密硬盘框与普通硬盘框不能混接
  4. 级联两个以上硬盘框,要根据控制框上级联端口数量组建多个级联环路
  5. 硬盘框除了与控制器直连外,不连接其他硬盘框
阵列扩控组网
  1. Scale-up:传统的纵向扩展架构,增加硬盘的方式来扩容
  2. Scale-out:横向扩展,增加完整功能存储节点

高可用技术

高可靠

  1. 器件冗余
  2. 多控技术
    1. 主备模式
    2. 双主模式
  3. 多路径技术
  4. 数据保险箱
  5. RAID重构技术
  6. 硬盘预拷贝技术

高性能

  1. 分层存储
  2. Cache技术
  3. 块虚拟化

磁盘阵列

基本概念

磁盘阵列的全称是独立冗余磁盘阵列,由加州大学伯克利分校于1987年提出

  1. 将多个磁盘组合成一个逻辑盘组
  2. 将数据分割成数据块,由多个磁盘同时进行数据块的写入和读出
  3. 通过数据镜像或奇偶校验提供数据冗余保护

工作原理

RAID 0

JBOD的延申,只提供数据组织方式,不提供数据保护,磁盘利用率为100%

RAID 1

又称为镜像,是全冗余阵列模式,磁盘利用率为50%,最小磁盘数为2块

RAID 3和RAID4

RAID0的改进,RAID3是增加一块专用磁盘用于存放校验数据,即校验盘.最少需要3块盘组成阵列

RAID 5

RAID3的改进,不再使用专用校验盘,而是将校验数据分散到所有数据盘上.最少三块盘,允许单盘失效.

RAID 6

对RAID5的改进,使用双重校验,PQ校验和DP校验.允许双盘失效,最少需要4块盘.

RAID10和RAID01

取决于是先做条带再做镜像,还是先做镜像再做条带,最少需要4快盘

RAID50

至少两组RAID5做条带,具有良好的读写性能和重构性能,最少需要6块盘

数据保护

  1. 热备盘
  2. 预拷贝
  3. 失效重构

RAID状态

  1. 创建RAID组
  2. 正常工作
  3. RAID组降级
  4. RAID组失效

LUN虚拟化

将一个RAID划分成多个逻辑单元,并分别映射给多台主机使用.同时,一个主机也可以使用多个逻辑单元.逻辑单元号LUN,本身用于标记逻辑单元,后来使用LUN指代逻辑单元.多个硬盘可以构成一个LUN,也可以创建多个LUN.

  1. LVM
  2. PV
  3. VG
  4. LV

RAID 2.0+

将存储池中的磁盘划分成一个小粒度的数据块空间,基于块来构建RAID组,从而使数据均匀分不到存储池中所有的磁盘上,然后以块为单元来进行存储资源管理.

原理

  1. 存储系统支持不同类型硬盘构成硬盘域,相同类型磁盘按照规则划分为一个磁盘组,每个磁盘被划分为相同大小的逻辑块(CK)
  2. 按照传统RAID技术,将CK组成RAID组,即逻辑块组CKG
  3. 将CKG划分为更小粒度的固定大小逻辑存储空间Extent
  4. 将逻辑存储空间组成LUN映射给主机

概念

  1. 逻辑磁盘,LD
  2. 硬盘域,DD
  3. 存储池,SP
  4. 磁盘组,DG
  5. 逻辑块,Chuck
  6. 逻辑块组,CKG
  7. 逻辑存储空间,Extent
  8. 更细粒度Extent,Grain
  9. 卷,Volume&LUN

应用

  1. 负载均衡
  2. 快速重构
  3. 故障自检自愈
  4. 虚拟池化设计
  5. LUN灵活组织
  6. 空间动态分布
    1. SmartTier
    2. SmartMotion
    3. SmartVirtualization

DAS

简介

直连存储(DAS),是一种存储设备与使用存储空间的服务器通过总线适配器和SCSI/FC线缆直接相连的技术.

  1. 内部DAS
  2. 外部DAS

特点

优势

  1. 可靠性高
  2. 部署简单
  3. 系统复杂性低
  4. 成本少见效快

劣势

  1. 扩展性差
  2. 资源浪费
  3. 管理分散
  4. 异构化严重
  5. 数据备份占用资源高
  6. 维护困难,需要系统停机

SCSI协议

SCSI于1981年提出,全称是小型计算机系统接口协议,是主机与存储磁盘通信的基本协议,也是存储数据传输的通用接口标准.

通信过程

  1. 总线忙
  2. 寻址
  3. 协商
  4. 连接
  5. 断开连接

传输原理

传输方式

  1. 异步传输
  2. 同步传输

SCSI ID

  1. BUS ID 总线号,区分不同的SCSI线缆
  2. SCSI ID 设备ID,区分SCSI总线上不同的设备
  3. LUN ID 逻辑单元号,区分SCSI设备中的子设备

NAS

网络附加存储(NAS)是基于IP网络\通过文件级的数据访问和共享提供存储资源的网络存储架构.NAS本质上是存储设备而不是服务器,它专用于文件数据存储,提供文件集中存储与管理的功能,对文件服务\存储\检索\访问等功能进行了优化.

组成与部件

硬件组成

  1. NAS引擎
  2. 网络接口
  3. 工业标准存储协议

软件组成

  1. NAS操作系统
  2. 文件共享协议
  3. 网络互连协议
    1. CIFS协议
    2. NFS协议

SAN

存储区域网络是一种面向网络的,以数据存储为中心的存储架构.SAN采用可扩展的网络拓扑结构连接服务器和存储设备,并将数据的存储和管理集中在相对独立的专用网络中,向服务器提供数据存储服务.

概念

存储网络协会SNIA对SAN的标准定义是用来在计算机系统和存储单元之间,存储单元与存储单元之间进行数据传输的网络.SAN包括一个完整的通信系统基础结构,包括物理连接\管理层\存储单元和计算机系统.

  1. 具有可伸缩性
  2. 可扩展至全世界
  3. 非常可靠
  4. 提供尽可能高的传输速度
  5. 易于管理

存储组网

  1. 专用网络
  2. 总线适配器HBA

组件

  1. 网络服务器
  2. 网络存储
  3. 网络互联
  4. 网络接口
    1. FC接口
    2. ETH接口
    3. FCoE接口

FC-SAN

使用FC协议的SAN网络.

  1. FC协议
  2. FC端口
  3. FC分区

IP-SAN

基于IP协议的SAN网络

  1. iSCSI协议
  2. 连接方式
    1. NIC+Initiator
    2. TOE+initator
    3. iSCSI HBA

FCoE

备份

概念

备份通常指在数据中心内,将文件系统或者数据库系统中全部或者部分数据集合从应用主机的磁盘或者存储阵列复制到其他存储介质的过程,其目的在于防止数据永久性丢失.一个完整的备份系统通常由以下部分组成:

  1. 备份服务器:为备份软件提供运行的环境
  2. 备份介质:保存数据的载体
    1. 光盘塔
    2. 磁带库
    3. 虚拟带库
    4. 磁盘阵列
  3. 备份软件:负责备份策略管理和备份作业监控
    1. Simpana
    2. NetBackup
  4. 备份客户端:需要备份的业务主机
  5. 备份网络:备份数据通道
    1. LAN-Free
    2. LAN-Base

备份技术

  1. 重复数据删除
  2. 连续数据保护技术
  3. 网络数据管理协议技术

备份策略

  1. 备份对象
  2. 备份目的地
  3. 备份类型与备份周期
  4. 数据保留时间
  5. 备份窗口

容灾

容灾通常是指在本地或者异地,建立一套或多套具备生产主系统功能的IT系统,并实时或周期性同步生产数据.容灾系统和生产系统二者之间通过健康状态监测,在灾难发生时实现功能切换.

数据复制技术时容灾技术的核心,涉及到的主要技术包括:

  1. 基于日志的复制
  2. 基于文件的复制
  3. 基于卷的复制和镜像
  4. 基于数据块的复制和镜像

分类

  1. 数据级容灾
  2. 应用级容灾
  3. 业务级容灾

衡量指标

  1. RTO:灾难发生后,信息系统从功能停止到必须恢复运作所需要时间,反映的是业务恢复的及时性
  2. RPO:灾难发生后,信息系统和业务数据必须恢复到的时间点,反映的是恢复数据的完整性

典型方案

  1. 两地三中心