Python解析nginx日志文件
作者:hebedich 发布时间:2023-09-07 18:22:09
项目的一个需求是解析nginx的日志文件。
简单的整理如下:
日志规则描述
首先要明确自己的Nginx的日志格式,这里采用默认Nginx日志格式:
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
其中一条真实记录样例如下:
172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0"
其中,客户端型号信息用XXXXXXX代替。
项目中已经按照业务规则对Nginx日志文件进行了处理命名规则如下:
ID-ID-YYMMDD-hhmmss
并且所有的日志文件存放在统一路径下。
解决思路
获取所有日志文件path
这里使用Python的glob模块来获取日志文件path
import glob
def readfile(path):
return glob.glob(path + '*-*-*-*')
获取日志文件中每一行的内容
使用Python的linecache模块来获取文件行的内容
import linecache
def readline(path):
return linecache.getlines(path)
注意:linecache模块使用了缓存,所以存在以下问题:
在使用linecache模块读取文件内容以后,如果文件发生了变化,那么需要使用linecache.updatecache(filename)来更新缓存,以获取最新变化。
linecache模块使用缓存,所以会耗费内存,耗费量与要解析的文件相关。最好在使用完毕后执行linecache.clearcache()清空一下缓存。
当然,作为优化,这里可以利用生成器来进行优化。暂且按下不表。
处理日志条目
一条日志信息就是一个特定格式的字符串,因此使用正则表达式来解析,这里使用Python的re模块。
下面,一条一条建立规则:
规则
ip = r"?P<ip>[\d.]*"
date = r"?P<date>\d+"
month = r"?P<month>\w+"
year = r"?P<year>\d+"
log_time = r"?P<time>\S+"
method = r"?P<method>\S+"
request = r"?P<request>\S+"
status = r"?P<status>\d+"
bodyBytesSent = r"?P<bodyBytesSent>\d+"
refer = r"""?P<refer>
[^\"]*
"""
userAgent=r"""?P<userAgent>
.*
"""
解析
p = re.compile(r"(%s)\ -\ -\ \[(%s)/(%s)/(%s)\:(%s)\ [\S]+\]\ \"(%s)?[\s]?(%s)?.*?\"\ (%s)\ (%s)\ \"(%s)\"\ \"(%s).*?\"" %( ip, date, month, year, log_time, method, request, status, bodyBytesSent, refer, userAgent ), re.VERBOSE)
m = re.findall(p, logline)
这样,就可以得到日志条目中各个要素的原始数据。
格式及内容转化
得到日志原始数据之后,需要根据业务要求,对原始数据进行格式及内容转化。
这里需要处理的内容包括:时间,request,userAgent
时间格式转化
在日志信息原始数据中存在Dec这样的信息,利用Python的time模块可以方便的进行解析
import time
def parsetime(date, month, year, log_time):
time_str = '%s%s%s %s' %(year, month, date, log_time)
return time.strptime(time_str, '%Y%b%d %H:%M:%S')
解析request
在日志信息原始数据中得到的request的内容格式为:
/report?XXXXXX
这里只需要根据协议取出XXXXXX即可。
这里仍然采用Python的re模块
import re
def parserequest(rqst):
param = r"?P<param>.*"
p = re.compile(r"/report\?(%s)" %param, re.VERBOSE)
return re.findall(p, rqst)
接下来需要根据业务协议解析参数内容。这里需要先利用base64模块解码,然后再利用struct模块解构内容:
import struct
import base64
def parseparam(param):
decodeinfo = base64.b64decode(param)
s = struct.Struct('!x' + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + 'xii12x')
return s.unpack(decodeinfo)
解析userAgent
在日志信息原始数据中userAgent数据的格式为:
XXX; XXX; XXX; XXX
根据业务要求,只需要取出最后一项即可。
这里采用re模块来解析。
import re
def parseuseragent(useragent):
agent = r"?P<agent>.*"
p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE)
return re.findall(p, useragent)
至此,nginx日志文件解析基本完成。
剩下的工作就是根据业务需要,对获得的基本信息进行处理。
以上所述就是本文的全部内容了,希望大家能够喜欢。
猜你喜欢
- 1,模块命名(1)模块推荐使用小写命名,(2)除非有很多字母,尽量不要用下划线因为很多模块文件存与模块名称一致的类,模块采用小写,类采用首字
- Django实现内容缓存:1、内存缓存settings.py文件配置CACHES = { 'default':
- 即使在urlencode之前str.decode(“cp936″).encode(“utf-8″)做了编码转换也是没用的。后来查询手册查到一
- 首先确保已安装jupyter notebook,而且添加到了环境变量再找到保存ipynb文件的文件夹,在路径处直接输入cmd,然后回车进入命
- ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。E
- 现状≠将来?程序员做设计本身就很悲哀,纠结于客户与坚持之间就更是如此。无论我今后的路会怎么走,我想始终不变的事情就是与客户博弈了。无论是放弃
- 从照片里面获取GPS信息。可交换图像文件常被简称为EXIF(Exchangeable
- 在linux服务器部署thinkphp5的时候PHP报了Warning: require(): open_basedir restricti
- Python使用贪婪算法解决问题集合覆盖问题假设你办了个广播节目,要让全美50个州的听众都收听到。为此,你需要决定在哪些广播台播出。在每个广
- System.Data.OleDb.OleDbDataAdapter与System.Data.OleDb.OleDbDataReader的区
- 本文介绍了10个asp网页制作的常用到的技巧,有asp的也有javascript。如asp如何获取系统时间,如何取得IP,及浏览
- 目标函数编码方式本程序采用的是二进制编码精确到小数点后五位,经过计算可知对于 其编码长度为18,对于 其编码长度为15,因此每个基于的长
- 文中涉及的示例代码,已同步更新到HelloGitHub-Team 仓库在上一篇教程中,我们通过手工方式将代码部署到了服务器。整个过程涉及到十
- 我们怎么让一个 Python 程序里边实现多任务呢?实现多任务可以有多种方式,这里我们先了解使用线程的方式实现多任务。线程是实现多任务的一种
- 前言在很多网站中,基本上的都会有一个开头和一个结尾,在每一个网页中都会显示。相对于这种的来说,在Django中,最好的方法就是使用inclu
- 打开VS2013 —> 工具 —> 选项 —> 环境 —> 字体和颜色 —> 纯文本(显示项中) —>
- 本文为大家分享了python实现彩票系统的具体代码,供大家参考,具体内容如下功能:1、注册 2、登录 3、充钱&nb
- 本文实例讲述了django框架使用模板。分享给大家供大家参考,具体如下:models.py:from django.db import mo
- 平行坐标图,一种数据可视化的方式。以多个垂直平行的坐标轴表示多个维度,以维度上的刻度表示在该属性上对应值,相连而得的一个折线表示一个样本,以
- 应用正则表达式的全局匹配,可以匹配出字符出现的次数,比较这些次数,将最大的保存并返回。代码如下: var countMost = funct