在我的Windows服务器上,我使用模拟parsing我的日志文件并分析它们。 日志是每天和命名为exYYMMDD.log如何设置模拟cfg文件来parsing只有一个星期的日志?
我刚开始使用analog和reportmagic自己。
我从文档中的howto中抓住了这一点:
您还可以使用以下代码在LOGFILE名称中包含date。
%Ddate
%m月份名称,英文
%M月号
%y两位数年份
%Y四位数年份
%H小时
%n分钟
%w星期,英文所以例如,
LOGFILE access_log%Y%M.log将查找日志文件access_log200109.log(如果是2001年9月)。使用的date实际上是TOdate(如果指定了date),否则是程序启动的时间。 例如,你可以用命令查看上个月的所有日志文件
哪个应该给你一点帮助,以确定你想要parsing的日志文件。 此外还有相应的条目,详细说明“到”和“从”date:
还有一对属于这个类别的命令,即FROM>和TO命令。 这些指定了一个时间段来限制分析。 这些命令的最简单的用法是FROM yyMMdd或FROM yyMMdd:hhmm,其中yy表示年份的最后>两位数字(模拟假设年份在1970年和2069年之间),MM代表月份,dd代表date,hh小时,分钟。 因此,例如,要>从1999年7月1日到2000年6月15日下午1点的分析请求我将使用configuration
从990701
TO 000615:1300或者,每个组件都可以加上+或 – 以代表相对于调用该程序的时间的时间。 在这种情况下,date可以有两个以上的数字。 这允许build设像
从去年的明天起-01-00 + 01#
TO-00-0131#到上个月底(即使上个月没有31天也可以)
从-00-00-112
TO -00-00-01#过去16个星期的统计数据
从-00-00-00:-06 + 01#过去6小时的统计数据FROM和TO命令有命令行缩写+ F和+ T; 例如,+ T-00-00-01:1800直到昨天下午6点统计。 -F和-T将OFF和OFFclosures。
有了这些,你可能会得到你所需要的。 我会冒险猜测你的答案在“FROM”和“TO”.cfg条目中。
作为另一种select,你可以跳过上面的这些,只需写一个批处理脚本来移动/归档或删除上一周的日志文件-out_默认的“\ LogFiles \ W3SVC1”位置来说,像“D:\ IIS-Logfiles-Archive“, 然后运行当天的模拟分析器。 一些可能帮助你开始并朝着正确的方向前进的伪代码是:
(再一次,这是PSEUDO代码,粗糙,丑陋,适合像湿羊毛衫,可能没有必要删除目录,但我从另一个脚本,我用cribbing,mmmkay?:)
净停止all_your_webservices_here
cd C:\ WINDOWS \ system32 \ LogFiles \ W3SVC1
del / f / q 。
cd c:\
rd / s / q C:\ WINDOWS \ system32 \ LogFiles \ W3SVC1
mkdir C:\ WINDOWS \ system32 \ LogFiles \ W3SVC1
networking启动all_your_webservices_here
“C:\ Program Files \ analog 6.0 \ analog.exe”&& rmagic
对不起,最后一点是,如果你已经安装并运行reportmagic。 如果你不这样做,我强烈推荐它。 使模拟漂亮,令人印象深刻的pipe理。 嗯,嗯好。 像汤什么的。 🙂
话虽如此,但我猜测你只是希望将分析限制在一周之内,因为分析你的日志是类比的事情。 (这是一个完全随机的猜测,并根据我的意见着色,因为我最初设置时看到了相同的东西:)
请注意,一旦你parsing了一组日志文件(比如说几天或者一周的时间),可能需要一段时间,但是重新运行模拟来检查任何下面的日志文件是非常快的。 总结 创build一个模拟任务,每天运行一次,而初始运行需要一些时间,每次连续运行将比第一次快得多。
HTH,伙计
伙计,我只是在发布后想到这个。 也许这会有所帮助,因为大部分的链接都是这样的,“ 鲍勃是如何configuration的,而杰里是如何在这里做的,这很好,等等。 不再有效。
希望它可以帮助你多一点,这里是我的analog.cfg文件:
“#”以下的WAS生产,并成为考验。
“#”
“#”LOGFILE C:\ WINDOWS \ system32 \ LogFiles \ W3SVC1 \ ex%y%M%D *
“#”
“#”它工作,但一次只给我们一个日志文件。
“#”
“#”下面是一个testing。
“#”
“#”LOGFILE C:\ WINDOWS \ system32 \ LogFiles \ W3SVC1 * .log
“#”
“#”上面的工作,因为我们要parsing所有的日志文件,
“#”按顺序。 现在坚持这一点。
“#”“#”
“#”这行logging生成报告需要多长时间。
“#”运行时开启
“#”
“#”这行重新设置日志文件为本地时间。 花了一段时间
“#”也是一样。
“#”LOGTIMEOFFSET -360
日志文件C:\ WINDOWS \ system32 \ LogFiles \ W3SVC1 * .log“#”
“#”这行告诉“模拟”将其输出转储为“计算机可读”
“#”格式,供报告使用。 如果我们不使用这个,我们会的
“#”告诉它输出为html格式的人或浏览器可读
“#”格式。
“#”输出计算机
“#”
“#”这行告诉模拟具体在哪里转储它的输出。
“#”OUTFILE D:\ inetpub \ wwwroot \ stats \ report.dat
“#”
“#”这些行告诉模拟图表的位置。
“#”LOCALCHARTDIR“D:\ inetpub \ wwwroot \ stats \ charts \%Y.%M”。
CHARTDIR“图表/%Y.%M”。“#”
“#”这些行在html中设置漂亮的文本
“#”HOSTNAME“[我公司的内联网]”
HOSTURL http:// mycompany_intranet“#”
“#”这些行告诉模拟如何解决它的主机名。 我们
“#”需要在这些工作,因为“dnscache.txt”文件
“#”只是继续增长,因为这运行,并导致我们有
“#”进行一些维护。 我无法解决
“#”直接从networking上,但是我确信这是可能的
。 “#”DNS写入
DNSFILE dnscache.txt
DNSLOCKFILE dnslock.txt
DNSGOODHOURS 8“#”
“#”下面是一些预先设定的模块加载前的选项,我们需要在开始时进行设置。
“#”他们有点像上面的那些,但是你可以把它们看成元标签或元variables。
“#”REQLINKINCLUDE页面
REFLINKINCLUDE *
REDIRREFLINKINCLUDE *
FAILREFLINKINCLUDE *
SUBBROW /
SUBTYPE .gz, .Z“#”将这些types的页面添加到服务器或其他页面上。
PAGEINCLUDE * .shtml
PAGEINCLUDE * .html
PAGEINCLUDE * .asp
PAGEINCLUDE * .jsp
PAGEINCLUDE * .js
PAGEINCLUDE * .cfm
PAGEINCLUDE * .css
PAGEINCLUDE * .pl
PAGEINCLUDE * .php
PAGEINCLUDE * .swfTYPEALIAS .html“.html [超文本标记语言]”
TYPEALIAS .htm“.htm [超文本标记语言]”
TYPEALIAS .shtml“.shtml [服务器parsing的HTML]”
TYPEALIAS .ps“.ps [PostScript]”
TYPEALIAS .gz“.gz [Gzip压缩文件]”
TYPEALIAS .tar.gz“.tar.gz [压缩档案]”
TYPEALIAS .jpg“.jpg [JPEGgraphics]”
TYPEALIAS .jpeg“.jpeg [JPEGgraphics]”
TYPEALIAS .gif“.gif [GIFgraphics]”
TYPEALIAS .png“.png [PNGgraphics]”
TYPEALIAS .txt“.txt [纯文本]”
TYPEALIAS .cgi“.cgi [CGI脚本]”
TYPEALIAS .pl“.pl [Perl脚本]”
TYPEALIAS .css“.css [级联样式表]”
TYPEALIAS .class“.class [Java类文件]”
TYPEALIAS .pdf“.pdf [Adobe Portable Document Format]”
TYPEALIAS .zip“.zip [Zip档案]”
TYPEALIAS .hqx“.hqx [Macintosh BinHex files]”
TYPEALIAS .exe“.exe [可执行文件]”
TYPEALIAS .wav“.wav [WAV声音文件]”
TYPEALIAS .avi“.avi [AVI电影]”
TYPEALIAS .arc“.arc [压缩存档]”
TYPEALIAS.mid“.mid [MIDI声音文件]”
TYPEALIAS .mp3“.mp3 [MP3声音文件]”
TYPEALIAS .doc“.doc [Microsoft Word文档]”
TYPEALIAS .rtf“.rtf [Rich Text Format]”
TYPEALIAS .mov“.mov [快速时间电影]”
TYPEALIAS .mpg“.mpg [MPEG电影]”
TYPEALIAS .mpeg“.mpeg [MPEG电影]”
TYPEALIAS .asp“.asp [Active Server Pages]”
TYPEALIAS .jsp“.jsp [Java Server Pages]”
TYPEALIAS .cfm“.cfm [Cold Fusion]”
TYPEALIAS .php“.php [PHP]”
TYPEALIAS .js“.js [JavaScript代码]”“#”x =常规
“#”1 =每年Q =每季度m =每月W =每周D =每日d = DailySum
“#”H =每小时h =每小时w =每小时的周数4 = 15分钟6 = 15分钟5分钟= 5分钟
“#”7 = 5minlySum
“#”o =域Z = Organisat。 S =主机s = RefSite f = ReferrerURL
“#”n = SearchWord N = SearchQuery B =浏览器b = BrowserSum p = OS
“#”i = Dir。 r =文件t =文件typesz =文件大小c =状态
“#”I =失败L = FailHost K = FailRef E = Redir 1 = RedirHost k = RedirRef
“#”v = VHost R = RedirVHost M = FailVHost u =用户j = RedirUser J = FailUser
“#”y = IntSearchWord Y = IntSearchQuery P = ProcTimeWEEKBEGINSON星期一
MARKCHAR +
REPSEPCHAR没有
COMPSEP“”
RAWBYTESclosures
BYTESDP 2
NOROBOTS ON
SEARCHCHARCONVERT ON
BARSTYLE i
PNGIMAGES ON
HTMLPAGEWIDTH 65
ASCIIPAGEWIDTH 76
MINGRAPHWIDTH 15
ALLCHART ON
ALLGRAPH P“#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”,“# “” # “” # “” # “” # “” # “” # “” # “” # “” # “” # “” #”
“#”服务报告 – 我们如何提供页面“#”
“#”“#”
“#”状态 – 页面传送是否正常,或者“#”
“#”Proctime – 发送文件的时间“#”
“#”失败 – 人们请求这些页面,并且失败“#”
“#”Failhost,Failref – 故障来自这些主机上的链接,在这些URL“#”
“#”Redir – 人们请求这些文件,但redirect“#”
“#”Redirhost,redirref – redirect来自这些主机上的链接和URL“#”
“#”“#”
“#”COLS,CHART,SORTBY,FLOOR,SUB,ARGS,LINKINCLUDE – 如上面的“#”
“#”304ISSUCCESS – 304没有修改意味着用户看到一个caching的副本:即成功! “#”
“#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”, “#”,“# “” # “” # “” # “” # “” # “” # “” # “” # “” # “” # “” #”记者x1QmWDdHwh4657oZSlLujJkKfsNnBbpvRMcPztiEIYyr
DOMAIN ON
DOMCHART ON
DOMCOLS PQ
DOMSORTBY页面
DOMFLOOR -500p
SUBDOMAIN 。 。 。
SUBDOMSORTBY页面
SUBDOMFLOOR 1.5%p目录
DIRCHART ON
DIRCOLS PQc
“#”
“#”不包括所有的“本地”和“图像”目录,根据Web团队
“#”请求。
“#”
DIREXCLUDE * / local
DIREXCLUDE /图像
“#”
DIRSORTBY页面7
SUBDIRSORTBY页面7
DIRFLOOR 0q
SUBDIRFLOOR 0q
SUBDIR // / / / /FILETYPE ON
TYPECHART ON
TYPECOLS Rb
TYPESORTBY BYTES
SUBTYPE .gz, .ZSIZE ON
SIZECHART ON
SIZECOLS ScR组织
ORGCHART ON
ORGCOLS Pb
ORGSORTBY页面
ORGFLOOR -500p
SUBORGSORTBY页面
SUBORG 。 。 。 .COM
亚博会25.0%p主机开启
HOSTCHART ON
HOSTCOLS Pb
HOSTSORTBY页面
HOSTFLOOR -500pBROWSERREP ON
BROWREPCHART ON
BROWREPCOLS Rb
BROWREPSORTBY请求
BROWREFFLOOR -400rBROWSERSUM ON
BROWSUMCHART ON
BROWSUMCOLS PQq
浏览页面7
BROWSUMFLOOR -200q
SUBBROW // /
SUBBROWSORTBY页面7
SUBBROWFLOOR -400q状态开启
STATUSCHART ON
STATUSCOLS R
STATUSSORTBY ALPHABETICAL
STATUSFLOOR -200r
304ISSUCCESS ONOSREP ON
开启OSCHART
OSCHARTEXPAND Windows
OSCOLS PQq
个人主页7
OSFLOOR -200q
SUBOSSORTBY页面7
SUBOSFLOOR -500qPROCTIME ON
PROCTIMECOLS R
PROCTIMECHART ONUSER ON
USERCOLS Rb
USERCHART ON
用户请求
USERFLOOR -500r请求
重新打开
REQCOLS RSc
REQSORTBY要求7
REQFLOOR 0.5%s
REQARGSSORTBY REQUESTS7
REQARGSFLOOR 0.5%s
REQEXCLUDE *
REQINCLUDE * .html
REQINCLUDE * .htm
REQINCLUDE * .zip
REQINCLUDE * .gz
REQINCLUDE * .Z
REQINCLUDE .pdf
REQLINKEXCLUDE / cgi-bin /
REQLINKEXCLUDE / scripts / *
REQLINKINCLUDE *
REQLINKINCLUDE * .zip
REQLINKINCLUDE * .pdf失败
FAILCHART ON
FAILCOLS RS
失败请求7
失败者-300s
失败请求7
FAILARGSFLOOR 10s
FAILLINKEXCLUDE *失败
FAILHOSTCHART开启
FAILHOSTCOLS RS
FAILHOSTSORTBY REQUESTS7
FAILHOSTFLOOR -500sFAILUSER ON
FAILUSERCOLS R
FAILUSERCHART ON
请求失败
FAILUSERFLOOR -400r失败
FAILREFCHART ON
FAILREFCOLS RS
失败请求7
FAILREFFLOOR -300s
FAILREFARGSSORTBY REQUESTS7
FAILREFARGSFLOOR 10s
FAILREFLINKINCLUDE *REDIR ON
REDIRCHART ON
REDIRCOLS SR
REDIRSORTBY REQUESTS7
REDIRFLOOR -300s
REDIRARGSSORTBY请求7
REDIRARGSFLOOR 500sREDIRHOST ON
REDIRHOSTCHART开启
REDIRHOSTCOLS SR
REDIRHOSTSORTBY REQUESTS7
REDIRHOSTFLOOR -500s重新打开
打开REDIRREFCHART
REDIRREFCOLS RS
REDIRREFSORTBY REQUESTS7
REDIRREFFLOOR -300s
REDIRREFARGSSORTBY请求7
REDIRREFARGSFLOOR 500s
REDIRREFLINKINCLUDE *参考
REFSITECHART ON
REFSITECOLS PQ
REFSITESORTBY页面7
REFSITEFLOOR -500q
REFDIRSORTBY页面7
REFDIRFLOOR 50.5%q参考
REFCHART ON
REFCOLS PQ
REFSORTBY页面7
REFLINKINCLUDE *
REFFLOOR -500q
REFARGSSORTBY页面7
REFARGSFLOOR 50.5%qVHOST ON
VHOSTCHART ON
VHOSTCOLS Rb
VHOSTFLOOR -200b
VHOSTSORTBY BYTESREDIRVHOST开启
REDIRVHOSTCHART开启
REDIRVHOSTCOLS R
REDIRVHOSTFLOOR -200r
REDIRVHOSTSORTBY请求REDIRUSER ON
REDIRUSERCOLS R
REDIRUSERCHART ON
REDIRUSERSORTBY请求
REDIRUSERFLOOR -200rsearch字词
SEARCHWORDCHART ON
SEARCHWORDCOLS PQq
SEARCHWORDSORTBY页面7
SEARCHWORDFLOOR 1.5%qSEARCHQUERY ON
SEARCHQUERYCHART ON
SEARCHQUERYCOLS Q
SEARCHQUERYSORTBY页面7
SEARCHQUERYFLOOR -500qINTSEARCHQUERY在
INTSEARCHQUERYCOLS R
INTSEARCHQUERYCHART ON
INTSEARCHQUERYFLOOR -300r
INTSEARCHQUERYSORTBY请求search字词
INTSEARCHWORDCOLS R
INTSEARCHWORDCHART ON
INTSEARCHWORDFLOOR -400r
INTSEARCHWORDSORTBY请求
再次,希望这也有所帮助,祝你好运,交配!
为了自定义parsing日志文件,在http://www.biterscripting.com/SS_WebLogParser.html上有一个很好的脚本。 它是为Web服务器日志编写的,但是您可以将其用作编写任何types日志的自己的日志parsing器的起点。
帕特里克