什么是video转换网站最好的EC2实例架构?

对于一个video转换器[在Linux [ubuntu]上使用FFMPEG],以及媒体文件抓取器[从YouTube和其他video托pipe网站] ..什么是EC2中使用最好的体系结构?

按照体系结构,我的意思是,要使用的实例types/数量。我应该在多个小实例上托pipe应用程序逻辑,还是使用一个特大的实例? 应该将数据发送到RDS实例还是我可以使用应用程序逻辑来托pipe它?

如果这是第一个选项,如何做到这一点,实例之间的通信..等等?

这个架构应该从小规模开始,并根据需要进行扩展

请帮忙!

可伸缩性是一个很难提供最佳实践的文档。 每个应用程序都不同。 有些工作stream程适合大规模并行处理,其他工作stream程有不可避免的单点处理能力,从而减慢整个设置。 为了推荐这样一个“最佳”解决scheme,需要知道以下内容:

  • 以下是处理阶段数据的高级概述。
    • stream程中的每个阶段都需要进行分析:
      • Parallization
      • 容错
      • 与其他阶段的依赖关系
  • 对正常运行时间要求有深刻的理解,能承受多长时间,能承受多less数据丢失(如果有的话)。
  • 深入理解系统中如何发生故障以及如何响应
    • 出现问题时会丢失多less数据?
    • 重新处理发生故障的数据需要多长时间?
  • 如何容忍你的成本。 对于EC2,variables:
    • 在处理的生命周期中,有多less数据传入和传出EC2系统。
    • 需要多个可用区域或多个区域
      • 地区之间需要数据传输
    • 每单位数据处理需要多less个实例小时。
    • 任何专门的基础设施(负载均衡器,弹性search等)的成本

等等。 这些我们都不能告诉你。 或者甚至给你提供指导,因为它们对于你正在构build的系统是独一无二的,而揭示上面的大部分需要揭示你系统的秘密(我认为你不应该这么做)。