完整的数据备份到Amazon S3

我有一个在Digital Ocean上托pipe的Ubuntu服务器，已经超过了现有的备份解决scheme。

我使用的堆栈的相关部分是Node.js，MongoDB和Elasticsearch。

到目前为止，已经通过转储整个MongoDB数据库，保存ESconfiguration，并将所有其他文件（日志，代码本身等）复制到应用程序目录中来完成备份。 如果是本月的第一个，所有的用户文件也被复制，否则只有从第一个月开始才添加文件。 所有这些都被压缩成一个文件并上传到Amazon S3。

数据大小已达到这个过程需要太多的磁盘空间，文件不能一次上传到S3。

• 转换为HTML Powershell的输出
• 备份后的Hyper-V快照（StorageCraft ShadowProtect）
• Samba服务器上的SMB Windows备份的只读模式，以防止encryption/操作
• 混合文件服务器和可移动存储备份NAS
• 如何将一些Mac备份到Linux服务器？

什么是这个大小的应用程序的下一个级别（8 GB的用户文件，125,000用户，3,000其他文档，所有searchES）？

我明白基于意见的问题是不正确的服务器故障。 我不是在征求意见，只是一个正常的，具有成本效益的解决scheme是适用于这种规模的应用程序。

更新：这是我试图使用Duplicity与脚本和configuration的相关部分。 我使用Node来pipe理备份，因为它适合我现有的日志logging解决scheme，已经计划在低活动时间与其他所有内容保持一致，并且可以在各个操作系统之间移植。

节点脚本，日志logging当然需要改进：

// Walks a directory recursively and returns a flat list of files function walkDir() {}; // Node based rm -rf function rmrf() {}; exec("mongodump --out dump", { cwd: process.cwd() }, function(err, dta) { if (err) return log("Error backing up: couldn't dump MongoDB!"); exec("sudo duply ats backup", function(err) { if (err) log("Error running Duplicity"); else rmrf("dump"); log("Exiting."); process.exit(); }); }); 

Duplicityconfiguration：

 GPG_PW='GPG password' TARGET='s3://s3-us-east-1.amazonaws.com/bucket' TARGET_USER='Known working AWS credentials' TARGET_PASS='AWS secret key' SOURCE='/var/appdir' MAX_AGE=6M DUPL_PARAMS="$DUPL_PARAMS --exclude "/var/appdir/elasticsearch/data/**" " 

我已经尝试过--s3-use-new-style ，使用s3+http:// ，并设置S3_USE_SIGV4但没有运气。

这是我从Duplicity获得的日志：

 Start duply v1.5.10, time is 2015-07-05 09:30:13. Using profile '/root/.duply/ats'. Using installed duplicity version 0.6.23, python 2.7.6, gpg 1.4.16 (Home: ~/.gnu pg), awk 'GNU Awk 4.0.1', bash '4.3.11(1)-release (x86_64-pc-linux-gnu)'. Signing disabled. Not GPG_KEY entries in config. Test - Encryption with passphrase (OK) Test - Decryption with passphrase (OK) Test - Compare (OK) Cleanup - Delete '/tmp/duply.25562.1436103014_*'(OK) --- Start running command PRE at 09:30:14.155 --- Skipping n/a script '/root/.duply/ats/pre'. --- Finished state OK at 09:30:14.183 - Runtime 00:00:00.027 --- --- Start running command BKP at 09:30:14.208 --- Reading globbing filelist /root/.duply/ats/exclude BackendException: No connection to backend 09:31:27.427 Task 'BKP' failed with exit code '23'. --- Finished state FAILED 'code 23' at 09:31:27.427 - Runtime 00:01:13.218 --- --- Start running command POST at 09:31:27.465 --- Skipping n/a script '/root/.duply/ats/post'. --- Finished state OK at 09:31:27.491 - Runtime 00:00:00.026 --- 

 #!/bin/bash BACKUP_BASE="/data/backups/" DIRNAME="mongo" BUCKET="mybackups" ARCHIVE_DIR="/data/backups_duplicity_archives/${DIRNAME}" VERBOSE="-v 4" S3_PARAMS="--s3-use-new-style" # --s3-use-multiprocessing" # --s3-use-rrs" export PASSPHRASE="something" export AWS_ACCESS_KEY_ID="AN_ID" export AWS_SECRET_ACCESS_KEY="A_KEY" cd ${BACKUP_BASE} rm -rf ${BACKUP_BASE}/${DIRNAME} /usr/bin/mongodump -h 10.0.0.1 -o ${BACKUP_BASE}/${DIRNAME}/databasename --oplog /usr/bin/duplicity $S3_PARAMS --asynchronous-upload ${VERBOSE} --archive-dir=${ARCHIVE_DIR} incr --full-if-older-than 14D ${BACKUP_BASE}/${DIRNAME} "s3+http://${BUCKET}/${DIRNAME}" if [ ! $! ]; then /usr/bin/duplicity $S3_PARAMS ${VERBOSE} --archive-dir=${ARCHIVE_DIR} remove-all-but-n-full 12 --force "s3+http://${BUCKET}/${DIRNAME}" /usr/bin/duplicity $S3_PARAMS ${VERBOSE} --archive-dir=${ARCHIVE_DIR} remove-all-inc-of-but-n-full 4 --force "s3+http://${BUCKET}/${DIRNAME}" fi