使用AWS Data Pipeline删除/截断DynamoDB表

根据预定义的示例,我已经设置了一个数据pipe道,可以将文件从S3存储桶导入到DynamoDB表中。 每次导入作业开始时,我想截断表(或者删除并创build一个新表)。 当然,这可以通过AWS SDK来实现,但是我只想使用数据pipe道。

有可能这样做吗?

谢谢你的帮助

我不确定自从你在几个月前问过这个问题,是否仍然需要执行这个操作,但由于缺乏关于这个主题的互联网信息,我决定创build一个教程,并在这里发布,以帮助其他人面临同样的情况。

这是为我工作。

基本上你需要以下几点:

  • S3存储桶(你将上传一个shell脚本来执行)
  • AMI EC2(这将执行上面的脚本)
  • pipe道(已经将DynamoDB数据导入S3存储桶)

如果你已经拥有了所有这些,那么我们很好走!

按着这些次序:

  1. 添加一个活动并将其命名为“CleanTableJob”

在这里输入图像说明

  1. 在CleanTableJob设置相应的设置:(在运行 – >select新的资源,并将其命名为CleanDynamodbTableResource)

在这里输入图像说明

  1. 在CleanDynamodbTableResource上设置相应的设置:

在这里输入图像说明

  1. 在您的S3存储桶中,您可以提供处理在DynamoDB上删除数据的任何内容:

    java -jar /home/ec2-user/downloads/dynamodb_truncate_table-1.0-SNAPSHOT.jar

  2. 而已:

在这里输入图像说明

希望它可以帮助你们