Jeffrey’s Blog

8.直接分析gunzip压过的log
查了一下,如果是gz格式的压缩包，可以在配置文件中参考如下格式修改：
LogFile=”gzip -d </日志的绝对路径/wwwlog%YYYY-24%MM-24%DD-24.log.gz |”

附: 其它说明

++按天统计
perl awstats.pl -config=www.my_site.com -update -databasebreak=day
http://www.internetofficer.com/cgi-bin/awstats.pl?config=blog.zhangjianfeng.com&databasebreak=day&day=22&month=12&year=2008

++不统计指定IP的访问量
SkipHosts=”x.x.x.x.”

++不统计指定URL
SkipFiles=”/badpage.php /page.php?param=x REGEX[^\/excludedirectory]”

#数据源日志格式和按天的截断规则
对于Apache：日志格式好设置：设置成combined格式即可，日志截断麻烦一点：需要安装cronolog工具，
将日志设置成按天截断：
CustomLog “|/usr/local/sbin/cronolog /path/to/apache/logs/access_log.%Y%m%d” combined 比如：logs/access_log.20061126
日志是压缩格式，可以使用gzip -d < /home/apache/logs/access_log.%YYYY-24%MM-24%DD-24.gz | 动态解压缩统计。

#多站点日志统计
AWStats自带了一个批处理工具：tools/awstats_updateall.pl，可以批量地遍历一个目录下所有地配置文件并运行统 计。针对多个站点，很多配置选项是重复的，如果每个配置文件都修改维护起来会很麻烦，所以我们可 以配置一个通用配置，比如：common.conf
然后其他站点的配置设置可以通过后面的选项覆盖和缺省不一致的配置。
awstats.blog.zhangjianfeng.com.conf
Include “common.conf”
LogFile “/path/to/access_log”
SiteName “blog.zhangjianfeng.com”
HostAliases=”zhangjianfeng.com”

#统计指标说明
参观者：按来访者不重复的IP统计，一个IP代表一个参观者；
参观次数：一个参观者可能1天之内参观多次（比如：上午一次，下午一次），所以按一定时间内（比如：1个小时），不重复的IP数统计，参观者 的访问次数；
网页数：不包括图片，CSS, JavaScript文件等的纯页面访问总数，但如果一个页面使用了多个帧，每个帧都算一个页面请求；
文件数：来自浏览器客户端的文件请求总数，包括图片，CSS，JavaScript等，用户请求一个页面是，如果页面中包含图片等，所以对服 务器会发出多次文件请求，文件数一般远远大于文件数；
字节：传给客户端的数据总流量；
来自REFERER中的数据：日志中的参考（REFERER）字段，记录了访问相应网页之前地址，因此如果用户是通过搜索引擎的搜索结果点击 进入网站的，日志中就会有用户在相应搜索引擎的查询地址，这个地址中就可以通过解析将用户查询使用的关键词提取出来：

##plugin

安装GeoIP
先下载安装C库：下载地址:http://www.maxmind.com/download/geoip/api/c/
# ./configure && make && make install
然后下载Perl库：下载地址:http://www.maxmind.com/download/geoip/api/perl/
# perl MakeFile.PL && make && make install
# 然后
# perl -MCPAN -e ‘install “Geo::IP”‘
# perl -MCPAN -e ‘install “Geo::IPfree”‘

更新GeoIP库
wget http://www.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
wget http://www.maxmind.com/download/geoip/database/GeoIP.dat.gz
# 将上面的文件解压后,放至/usr/local/share/GeoIP/
#定时更新GeoIP库
#0 0 * * * root /usr/local/bin/geoipupdate -v

修改/usr/local/etc/awstats/awstats.www.test.com.conf，取消下面这行的注释，启用此插件
LoadPlugin=”decodeutfkeys”
LoadPlugin=”hashfiles”
LoadPlugin=”geoip GEOIP_STANDARD /usr/local/share/GeoIP/GeoIP.dat”
LoadPlugin=”geoip_city_maxmind GEOIP_STANDARD /usr/local/share/GeoIP/GeoLiteCity.dat”

安装XWhois
# perl -MCPAN -e shell
cpan> install Net::XWhois
修改/usr/local/etc/awstats/awstats.www.test.com.conf，取消下面这行的注释，启用此插件
LoadPlugin=”hostinfo”

安装decodeutfkeys,解决搜索搜索关键词乱码问题(不管是utf8,gb2312…)
# perl -MCPAN -e shell
cpan> install URI::Escape
修改/usr/local/etc/awstats/awstats.www.test.com.conf，取消下面这行的注释，启用此插件
LoadPlugin=”decodeutfkeys”

更新日志
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=blog.zhangjianfeng.com -update -lang=cn

++仅统计分析指定URL
OnlyFiles=”REGEX[/abc/abc]” #URL中包括/abc/abc/，如/abc/abc/xxxx

++Update statistics when I use a load balancing system that splits my logs?
LogFile=”/pathto/logresolvemerge.pl file*.log |” #在配置文件中指定
logresolvemerge.pl file1.log file2.log … filen.log > newfiletoprocess.log #先用工具把所有LOG合并,再配置LogFile

++多台缓存服务器的日志合并处理
多服务器的日志合并统计 http://blog.zhangjianfeng.com/article/522

++如果调用月度速度很慢的时候，可以考虑把输出文件静态化
$path/awstats/tools/awstats_buildstaticpages.pl -update -config=blog.zhangjianfeng.com -lang=cn -dir=$path/data/www/mgr1/test/awstats/blog.zhangjianfeng.com/ -awstatsprog=$path/app/tools/awstats/wwwroot/cgi-bin/awstats.pl -DatabaseBreak=month
#-month=mm 使用月份的两位数
#-builddate=%04%02%01% 以某一日期为文件名输出页面

++提高些处理速度(unique url reach flush limit of 5000)
在awstats.pl中修改. 默认值是5000,如果内存较大,可以适当加大,比如50000