Wagtail

Wagtail/Django 使用 S3-like 对象存储

本地开发使用 django 自带的服务器,静态文件直接在项目目录中托管。一旦要往生产环境部署时,就会发现必须为前端静态文件和其他媒体文件配置一个单独的存储后端,Django 说它不管这事儿。 存储后端可以直接在服务器上配置一个静态服务器,也可以直接使用 AWS S3 之类的对象存储,这里主要记录对象存储后端的配置方法。 对于 wagtail 来说,使用对象存储并不能让网站程序完全减负,很多对图片和文档的操作需要先将文件从对象存储取回到服务器的内存中,处理好以后再返回给访问者。Anyway,对象存储可以分担带宽,总之利大于弊。 第一步 安装存储管理相关的包 使用 django-storages 管理存储后端,使用 boto3 实现 s3-like 对象存储的管理。

  • Herald Yu
    Herald Yu
2 min read
Backup

Restic 配置 S3 仓库

restic 是一款 go 语言开发的开源文件加密备份工具,特点是能够将文件以快照的形式增量备份到指定的存储设备,支持本地硬盘存储、也支持远程服务器或主流的对象存储。本文参考 Setting up restic with Amazon S3 编写,通过恰当的配置,将 s3 或 s3 兼容的对象存储作为默认的 restic 仓库。 安装 restic restic 已经被纳入各大主流 Linux 发行版的软件仓库,你可以试着用包管理器搜索/安装 restic,windows

  • Herald Yu
    Herald Yu
2 min read
rclone

rclone cache and mount - Best for local using

rclone 有一个 cache 类型的 remote,大概了解了一下。作用是对现存的 remote 做缓存封装,使用 mount 命令将封装的 cache remote 挂载到本地,就可以获得像使用本地磁盘一样体验。 与 s3fs-fuse 的最大不同在于,通过 rclone 挂载 cache remote 以后,拷贝文件到挂载目录时没有时延,感觉上就和把文件拷贝到本地文件夹一样。 实际上,文件先被拷贝到了本地的缓存目录中,然后在后台默默上传到对应的对象存储。默认缓存路径为 .cache/rclone,

  • Herald Yu
    Herald Yu
1 min read
S3

s3cmd with s3-compatible OSS

S3cmd 是一款免费的命令行工具和客户端,用来上传、下载和管理亚马逊 S3 对象存储以及其他兼容 S3 协议的对象存储(例如 Google Cloud Storage、DreamHost DreamObjects)上的数据。 由于它是命令行下的程序,因此更适合对命令行比较熟悉的用户使用。结合 cron 计划任务,s3cmd 也是理想的自动化备份数据到 s3 的脚本方案。 S3cmd 用 Python 语言写成,采用 GNU Public License v2

  • Herald Yu
    Herald Yu
2 min read

Subscribe to Herald's Tech Notes