我们有越来越多的数据文件(.wav文件,图像文件等)是数据,即不是应用程序代码的一部分 – 用户上传和修改。 文件数量在1000年,总大小达到GB。
我们在世界各地(美国,欧盟,缅因州)拥有多个服务器集群。 在每个集群中,重要的是数据是在本地而不是从S3(数据文件不直接提供给客户端,而是由服务器处理)提供的。 我们希望在每个位置指定一个文件服务器,通过NFS将这些文件提供给同一个群集中的其他节点。
所以底线是:
S3上结束。 我们看到几个选项:
S3进行备份/版本控制的origin文件服务器以及通过rsync (或类似)进行复制的节点。 S3使用类似S3工具或类似的东西。 origin – 应用程序代码直接上传到S3 ,奴隶复制如上。 我们想知道哪个是推荐的解决scheme,哪些工具可用于复制部分(即在文件系统到文件系统类别以及在文件系统/ S3类别中)。