我运行一个文件共享网站,这个网站正在迅速普及。
现在我的networking应用程序在AWS弹性beanstalk上,所以当然可以很好地扩展,但是我的文件目前都是从一个专用的框中提供的。 该框正在开始最大的1gbps连接,所以我试图研究如何扩展文件存储了。
注意:我也把所有的文件同步到了S3,但是由于S3的带宽收费,从那里为它们服务的成本太高了。 我的专用箱子是没有计量的。
到目前为止,我已经看到DRBD和Lsyncd的谈话,但都不觉得我在找什么。
任何有关运行多个文件存储Linux机箱的最佳设置的任何build议都将非常感激。
PS – 值得注意的是我的理想情况是它们在任何时候都是同步的,所以如果一个文件被添加到一个盒子中,它将在所有盒子中同步。 相同的文件被删除。
像Ceph一样,GlusterFS对此非常有用。 GlusterFS更易于pipe理,并且不使用节点到节点复制作为数据复制或分发的主要方法。 它可以执行2n或3n砖的镜像,其中砖只是一个节点上的文件系统。 一个完整的砖块arrays被称为一个卷,一个卷被挂载为一个NFS共享 – 除了这是写入和读取到多个节点,而不是只有一个。
Gluster精美的扩展,并没有一个主节点的概念。 所有节点平均参与他们所属的卷。 连接到GlusterFS的客户端负责将数据扇出到所有节点,而不是负责复制数据的每个节点。 这样,您不必具有巨大的,严重缩小的回程链路。
以下是一个很好的分步指导: https : //www.digitalocean.com/community/tutorials/how-to-create-a-redundant-storage-pool-using-glusterfs-on -ubuntu的服务器
gluster文档也值得一读: https ://gluster.readthedocs.io/en/latest/