Tagged

Raid

A collection of 2 posts

minio

minio 纠删码

Minio 使用纠删码 erasure code 和校验和 checksum 来保护数据免受硬件故障和无声数据损坏。Minio 采用 Reed-Solomon code 将对象拆分成 N/2 数据和 N/2 奇偶校验块(N为磁盘总数)。 与 RAID 磁盘阵列的块级冗余不同,minio 的纠删码技术是文件级的,可以以文件为单位进行数据恢复,而RAID磁盘阵列只能以磁盘为单位进行数据恢复。 参照上一篇笔记minio 存储级别,在启用纠删码功能时,minio标准级别存储,至少需要2个磁盘保存校验信息,因此,在正常情况下,应该至少准备四个硬盘来使用这种数据保护技术。 但minio的纠删码技术是文件级别的,通过实践发现,可以将多个数据目录同时设置在一块物理硬盘上,比如有两块硬盘,在一块硬盘上设置 data1 和 data2 数据目录,在另一块硬盘上设置 data3 和 data4 数据目录。 $ sudo docker

Raid

Linux mdadm Raid 管理

Linux 下通过 mdadm 实现对软磁盘阵列的管理,所以开始前要确认已经安装了这个软件包。 创建磁盘阵列 第一步 创建并格式化分区 例如设备 /dev/sda 创建分区 /dev/sda1 格式化为 ext4 格式,这样可以清除磁盘中存在的 zfs、xfs 等旧的分区信息。 第二步 创建 raid1 ~$ sudo mdadm --create md0 --level=1 --raid-devices=2 /dev/sda1 /dev/sdb1 mdadm: /dev/sda1 appears to contain an ext2fs file system size=976761560K mtime=Thu