有没有更好的方法来处理100-200 +文件/秒？

这听起来像是一个AWS Architect Pro考试问题。 解决规模和价格问题似乎相当简单。 有很多select，这是第一个来找我。

如果你说了你使用的云，你可能会得到更好的build议。 大多数云提供类似的function，所以你可能会确定使用哪一个。 无论您使用的是哪种云，都可以使用AWS S3和SQS，但是您应该使用云本地的function来降低成本。 带宽可能很昂贵，延迟可能会有所不同。

1. 让写入应用程序将文件存储在私有S3存储桶中。 S3会根据您的需要进行扩展。 小心你的文件命名 – 如果你做错了，你会瓶颈自己。 阅读这个 。
2. 把一条消息放到一个SQS消息队列中，并在S3上加上其他的命令
3. 如果您需要数据库，请设置RDS数据库。
4. 有一个从队列中读取并处理文件的自动扩展的专题实例组。 让它根据队列大小进行扩展，这是一个内置的度量标准。 如果您的应用程序不是线程化的，并且每个服务器只能运行一个实例，则使用许多小型实例
5. 您可以有第二组自动扩展按需实例，这些实例在比现场实例组更高的阈值上扩展。 这可能有点棘手，我不是100％确定该怎么做。

使用现货实例和S3而不是随需应变的实例和文件系统我希望你的账单能够显着下降。 使用SQS和S3需要一点点的开发工作，但并不多，API是好的，并且有很多例子。

也许您可以将这些数据块发送到一个进程（或一个群集），然后将它们串行写入某种归档文件，而不是写入多个文件。 也许tar可能是合适的。 即使在硬盘上写入300MB / sec到单个文件的负载也不是很大。

另外，看看远程文件安装以外的东西。 大量networking文件系统的读写用户build议locking问题，特别是在目录节点上。 可能你会更好地在源计算机上找一些工作，获取文件并将它们发送到某种服务器进程。 例如HTTP PUT直接写入到数据库的进程。

看看工作队列产品。 如RabbitMQ。 这听起来像你可能正在做一些适合这种架构的东西。