我试图同步一个文件夹与2M +文件到S3，一切正常，但然后40,000文件没有上传（服务器随机崩溃），当我试图做一个同步命令再次，它从0开始，即使我们有2M-在S3上的40K图像，它重新上传2M图像，具有“重复”。
为什么我说“重复”？ 因为当我在S3重新同步之前做了一个列表，它说我有一个-40K的文件差异，当我几分钟后做了重新同步，说它有+ 80K的差异，它怎么可能+ 80K文件比起源？ 重复/版本/历史
所以我想上传只有缺less的40K文件，因为thoose文件在文件夹的末尾，所以如果重新开始，它必须等待另一天上传相同的2M文件…
我希望我解释正确。
TL; DR：针对S3的2M文件中断同步命令没有上传40K文件，我怎样才能上传40k文件而不是2M？
你的scheme听起来像s3同步工具应该用于什么。 我会认为“aws s3 sync local_directory s3：// your_bucket_location”应该像你问的一样工作。
您是否使用AWS CLI工具？ 如果是这样，你可以试试 – 干运行，让我们知道，如果它认为差异是〜40K，或者它实际上是所有2M +文件？
编辑：S3同步文档，以防万一。 http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html
您可以使用Minio客户端又名mc ，它是开源的，与AWS S3兼容。
你可以使用Minio client“mirror command to do the upload. Minio client also has command to do the upload. Minio client also has恢复会话命令，它将上传最后一次断开连接的对象。
例：
$ mc cp myminio92 / atul / yEd-3.15.0.2_with-JRE8.dmg play / kline ... 0.2_with-JRE8.dmg：7.13 MB / 96.19 MB┃▓▓▓▓█░░░░░░░░░░░░░░░░░░░░░░░░░░░░ ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░┃7.42％3.00 MB29s MC：Session安全终止。 恢复会话'MC会话恢复KBIJTOtQ' minio @ minio2：〜/ atul $ mc session resume KBIJTOtQ ... 0.2_with-JRE8.dmg：96.19 MB / 96.19 MB┃▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓┃100.00％2.75 MB34s
希望能帮助到你。 免责声明：我为Minio工作