Amazon EBS卷上的PostgresQL,逼真的性能,还是移动到更轻量级的东西?

我正在研究一个小型的研究项目,目前在ec2上作为一个实例运行,我希望弄清楚我是否正在走上正确的道路。 我们像其他一千人一样,正在利用一些推特stream媒体饲料来收集一些数据,以获得乐趣,我的分贝似乎有问题保持和查询采取什么似乎是一个很长的时间。 我不是一个交易DBA,所以我只是倾倒一些信息在这里,如果需要添加更多。

系统规格:

ec2 xl,15演唱会

ebs:4个100GB驱动器,raid 0。

我们正在看的stream量是每分钟10K左右。

3个主要表格,当前用户正在跟踪26M行附近的用户。

在这个硬件上插入这么多的数据是不是问得出来? 应该看一些像MongoDB一样less开销的东西?


@ Gnanam的链接指向一些很好的build议,特别是对工作设置的描述 。 我没有理由避免使用EBS,而是像处理真实服务器中的单个硬盘一样处理EBS卷:容易出现故障。 因此,您需要一个具有良好抗失效性能的RAID级别,所以不要使用 RAID 0.在您满足您的要求的情况下,您需要一个写入速度也很快的RAID级别。 因此,6-10卷的RAID 10似乎是最好的开始。

至于实际的性能,这将取决于您的索引要求和您插入的数据的大小和types。 关于AWS的好处是,找出某个特定configuration的执行情况相对便宜。 因此,您需要做的是提供一些示例数据和方法来模拟您正在尝试处理的传入Feed(一次插入logging的脚本,每写入一个带有时间戳的日志语句例如行数)。 如果样本数据为了您的目的而重复一次,可能会好起来,但要确保您的脚本至less可以运行一个小时或更长时间。

现在,通过使用快照或Amazon新的Cloud Formation服务来设置在各种EBSconfiguration上设置的postgresql数据库来运行该脚本,以产生一些可靠的重现起点,并在更改configuration时衡量性能变化(随着时间的推移,好)。 您可能想要折腾单卷和RAID5configuration只是为了比较。

这对您在Amazon EC2 / EBS基础架构上的PostgreSQL的性能可能会有所帮助: EC2 / EBS上的Postgresql性能