从快照创build卷(AWS)后IOPS超低

我正在使用EC2 p2.xlarge实例来训练image processing模型。 我的预测任务的目标类是相当多的(20),并得到最好的准确性,我要训练一个模型每个目标。

所以我做了我的主卷的快照,并创build了4个重复卷(通用SSD),以便我可以同时运行4个更多的p2实例。 问题是,除了主卷,我正在经历一个非常低的IO性能。 举个例子来说,一个主要实例需要200秒的训练时间是“估计”的,重复实例需要10000秒。

我错过了什么?

EBS快照存储在S3中。 从快照创build卷时,首先在FIRST读取操作中将块从S3逐步拉到EBS,然后从该点开始针对EBS的低延迟基础结构执行针对该特定块的所有后续读取。

要在从快照创build卷之后授予最佳的EBS性能,应该通过运行所有卷块的完整读取来“预热”卷,以确保没有其他IO操作需要对S3的缓慢请求。

新的,新鲜的EBS卷不会受到这种行为的影响,因为它们在EBS中是“天生的”,不需要从S3中获取数据。