Tagged

minio

A collection of 3 posts

minio

minio 创建一个类似“家目录”的组策略

以下配置使用了配置变量,实现多用户家目录的功能,用户只能在与自己用户名相同的bucket里面进行完整的读写访问。PS:假设这里的对象存储服务器别名是 minio 创建配置文件 home.json { "Version": "2012-10-17", "Statement": [ { "Action": ["s3:ListBucket"], "Effect": "Allow", "Resource": ["arn:aws:s3:::*"], "Condition": {"StringLike": {"s3:prefix": ["

minio

minio 纠删码

Minio 使用纠删码 erasure code 和校验和 checksum 来保护数据免受硬件故障和无声数据损坏。Minio 采用 Reed-Solomon code 将对象拆分成 N/2 数据和 N/2 奇偶校验块(N为磁盘总数)。 与 RAID 磁盘阵列的块级冗余不同,minio 的纠删码技术是文件级的,可以以文件为单位进行数据恢复,而RAID磁盘阵列只能以磁盘为单位进行数据恢复。 参照上一篇笔记minio 存储级别,在启用纠删码功能时,minio标准级别存储,至少需要2个磁盘保存校验信息,因此,在正常情况下,应该至少准备四个硬盘来使用这种数据保护技术。 但minio的纠删码技术是文件级别的,通过实践发现,可以将多个数据目录同时设置在一块物理硬盘上,比如有两块硬盘,在一块硬盘上设置 data1 和 data2 数据目录,在另一块硬盘上设置 data3 和 data4 数据目录。 $ sudo docker

minio

minio 存储级别

minio官网 minio github 仓库 MinIO Storage Class Quickstart Guide minio支持两种存储级别:Reduced Redundancy class 冗余缩减级别和 Standard class 标准级别。这两个级别可以在启动minio实例之前,通过系统的环境变量提前定义。此后,可以通过请求元数据字段x-amz-storage-class设定对象的存储级别。 存储级别的设置会直接影响存储空间或冗余级别。 比如在16块硬盘组成的minio实例中存储100MiB数据,如果设置了8个数据盘和8个校验盘,那么文件存储就会占用双倍的空间,比如100MiB文件就会占用200MiB的存储空间。而如果是10个数据盘和6个校验盘,100MiB则会占用大概160MiB的空间。如果是14个数据盘和2个校验盘,100MiB文件则只会占用114MiB的存储空间。 下表是16块硬盘的minio实例,校验盘和数据盘各种组合搭配时的存储利用率。 存储率 = 磁盘总数 / 数据盘总数 存储空间用量 = 文件尺寸 * 存储率 磁盘总数 (N) 数据盘 (D) 校验盘 (P) 存储率 16 8 8 2.00