Akamai日志处理

我正在挖掘Akamai日志,下载Excel表格,然后手动join,以便我可以对数据进行sorting以查找顶级video和引荐。 你知道有什么工具可以帮助你进行这种处理吗? 我正在寻找像Urchin曾经是Apache日志,但Akamai日志。

您可以configuration日志传送选项,以“组合”格式发送日志。 所以你可以使用你select的任何标准工具(比如awstats或类似的)。

这个问题可能有帮助。 我认为Splunk和Epylog似乎在做你正在寻找的东西。

其他工具被引用那里和其他地方,也可能是有帮助的:)

查看Sumo Logic,它提供了云与Akamai的云集成,具有丰富的开箱即用内容,利用云监视器。 安装是一件轻而易举的事,你不必关心批量下载/处理任何事情。

https://www.sumologic.com/2013/10/09/akamai-and-sumo-logic-integrate-for-real-time-application-insights/

免责声明 – 我是相扑员工。

做这样的事情时,我只是使用uniq -c awksortuniq -c

Perl对于可重复性来说是非常棒的,但是在处理大型数据集(我最近一直在使用DFZ路由器的BGP转储)时要小心,如果泄漏任何内存,那么即使是大型机器也可以容易地进入交换。

像Splunk等工具似乎可能是一个简单的Unixpipe道可能无法正常工作,但似乎不是一个很好的解决scheme,更永久性的报告。

您可以简单地使用Awstats或类似的,大多数networking日志处理工具可以告诉使用不同的input格式。