我需要在7天内下载100 GB的文件(大约150个文件),然后才能过期。 下载速度受到主机的限制,因此比基于正常的Internet速度的理论传输速率要长得多。 我有一个curl脚本http://curl.haxx.se/docs/manpage.html命令 – 每个文件一行。
我想到了自动旋转n个EC2实例,执行命令并将文件传输到中央位置,然后closures机器。 我将如何做到这一点?
我不在乎它是Linux还是Windows。
我build议使用Canonical的AMI与cloud-init结合使用
https://help.ubuntu.com/community/CloudInit
查找关于“用户数据脚本”的部分,您可以在其中使用–user-data-file在启动时自动启动脚本。 因此,您可以将所有要运行的命令放在脚本中,并在脚本末尾加上“shutdown -h now”。
以前我用boto来编写这样的东西。 最简单的启动linux映像然后ssh到他们让他们的工作。
不确定最好的解决scheme。 但是,如果您定期进行此操作并需要自动启动和停止计算机,则可能需要查看以下产品: http : //LabSlice.com (声明是我是CTO)。
与AWS提供商的 stream浪 者很容易做到,而且是多平台的。
一旦Vagrantfile被创build,然后你启动实例vagrant up ,login到它与vagrant ssh ,并用vagrant destroy它。 超级简单。