服务器 Gind.cn

服务器问题集锦,包括 Linux(Ubuntu, Centos,Debian等)和Windows Server服务器

如何configurationAWS Kinesis Firehose以便能够复制到Redshift?

问题 我已经build立了一个Firehose,并select了一些看起来会导致stream式数据以Redshift结尾的选项。 我在Redshift有一个Firehose和一个目标表。 数据在中间S3存储桶中正确显示,但未进行Redshift。 我已经允许Firehose地区的CIDR通过Redshift安全组访问集群[1]。 我给了Firehose Redshift集群的凭据,并且已经testing了证书。 该群集可公开访问。 STL_LOAD_ERRORS表是空的,这是我期望看到的任何复制语句尝试和失败产生的错误。 CloudWatch中也没有DeliveryToRedshift事件。 这使我相信,甚至没有尝试使它红移。 我正在使用Redshift COPY选项来指定副本的jsonpath文件。 我目前有: json "s3://app-event-data/_jsonpaths/_bigtable.jsonpath.json" 。 该文件存在于该位置的s3中,看起来像jsonpath文件[3]。 我也尝试添加凭据到该框,但我不这是必要的。 更新1 我启用了Redshift的日志loggingfunction,告诉我Firehose有成功的身份validation。 然后,我创build了一个新的参数组,并启用了用户活动日志logging并重新启动了群集。 现在正在等待下一个日志批处理。 参考 http://docs.aws.amazon.com/firehose/latest/dev/firehose-dg.pdf https://aws.amazon.com/kinesis/firehose/ http://docs.aws.amazon.com/redshift/latest/dg/copy-usage_notes-copy-from-json.html 为什么selectServerFault? 提问Amazon AWS的最佳StackExchange站点 我会标记这个问题:amazon-kinesis amazon-firehose amazon-redshift