我正在挖掘Akamai日志,下载Excel表格,然后手动join,以便我可以对数据进行sorting以查找顶级video和引荐。 你知道有什么工具可以帮助你进行这种处理吗? 我正在寻找像Urchin曾经是Apache日志,但Akamai日志。
您可以configuration日志传送选项,以“组合”格式发送日志。 所以你可以使用你select的任何标准工具(比如awstats或类似的)。
这个问题可能有帮助。 我认为Splunk和Epylog似乎在做你正在寻找的东西。
其他工具被引用那里和其他地方,也可能是有帮助的:)
查看Sumo Logic,它提供了云与Akamai的云集成,具有丰富的开箱即用内容,利用云监视器。 安装是一件轻而易举的事,你不必关心批量下载/处理任何事情。
免责声明 – 我是相扑员工。
做这样的事情时,我只是使用uniq -c awk , sort和uniq -c 。
Perl对于可重复性来说是非常棒的,但是在处理大型数据集(我最近一直在使用DFZ路由器的BGP转储)时要小心,如果泄漏任何内存,那么即使是大型机器也可以很容易地进入交换。
像Splunk等工具似乎可能是一个简单的Unixpipe道可能无法正常工作,但似乎不是一个很好的解决scheme,更永久性的报告。
您可以简单地使用Awstats或类似的,大多数networking日志处理工具可以告诉使用不同的input格式。