Google数据存储备份导致错误

我们正在通过cron执行我们的Google Datastore文档的备份。 该数据库包括索引大约55GB,我们每24小时做一次完整的备份。 我们保存的桶属于另一个项目。

备份成功,我们可以将它们还原到我们的临时环境中,而不会出现任何问题!

尽pipe如此,我们发现备份运行时会出现很多错误。 这些错误来自于ah-builtin-python-bundle模块,错误消息是Request was aborted after waiting too long to attempt to service your request. 这导致我们的监测提醒我们(我们在3分钟内每秒钟有1.5次错误的阈值)。

显然,我们想要摆脱这些错误,在我们的监控中没有误报。

备份启动了一个MapReduce作业,这个作业被粉丝运用到推送任务中。 这些任务之一偶尔会在暂挂队列中等待时间超时并重试,这会导致在日志中出现“ Request was aborted after waiting too long to attempt to service your requestRequest was aborted after waiting too long to attempt to service your request的情况。

如果看到这些错误是一个问题,您可以尝试通过调整您的队列或缩放参数来消除它们。