服务器日志分析与流量统计_直观快捷分析每个网站的日志
本帖最后由 软程科技 于 2019-9-9 19:13 编辑应用名称：日志分析与流量统计
价格：1元
作者：软程科技
版本: 2.1.9
提示(使用前必读):
1. 此插件未在超大(超过1G)的日志文件上测试过, 大日志用户慎用.
2. 日志量大的用户推荐使用数据库模式, 每隔5~10分钟将日志转存到数据库中, 在数据库中读取日志记录效率要高很多.
3. 使用数据库模式之前, 请将之前的日志备份,然后使用官方的系统工具中"日志清理工具"清空日志.
3. 数据库模式下,每次同步完成会将日志文件的内容清空,尽量保持日志文件最小化,提升同步效率, 对此功能不接受的请慎用此模式.
常见问题解决办法:
一. 安装插件之后没有数据问题排查:
1. 检查有没有设置同步的计划任务;
2. 检查是否更新到版本 2.1.7以上 ,如果在软件列表没有看到版本更新, 点击软件列表右上角的"更新软件列表"按钮即可看到版本更新;
3. 执行一下同步日志, 查看同步日志中是否有报错信息, 如果没有报错信息,但同步数量为0条, 则可能是网站没有开启日志记录;
4. 如果网站配置中已开启日志记录,但仍未有日志, 重启一下nginx或者apache服务,然后再执一下同步日志的计任任务,看看是否已有记录;
5. 以上4步都无法解决问题, 请加我QQ: 511561588, (备注: 服务器日志分析插件)
二. 插件使用一段时间之后, 打开非常慢 (以下方法只能算是一个临时办法,没办法治本): *流量大的网站打开插件分析访问慢, 这个问题暂时没更好的办法解决, 现在sqlite的查询效率确实有点慢,建议使用mysql试试
在插件的"设置"中重新设置一个新的数据库文件
三. 使用CDN之后不显示真实IP解决方法:
以下方法我自己没有试过, 不过根据其它朋友反馈是有效的.
解决方法: https://rcwap.com/newsdetail_135.html
功能介绍：
1. 统计服务器上每个网站的流量, IP访问量, IP流量等数据;
2. 对异常IP一键拉黑 (加入防火墙黑名单), 可在面板防火墙中查看并删除;
3. 根据天/周/月/自定义时间统计并绘制出流量及访问量趋势图表
4. 根据IP访问量排序, 访问量最高的IP排在前面;
5. 根据网站页面流量排序, 网站中流量最大的页面排在前面;
6. 日志原始数据解析, 将日志中的数据分割成表格, 并且支持根据IP和页面关键词筛选记录;
7. 数据库模式, 通过面板的"计划任务"功能,定时将日志转存到面板自带的数据库中, 然后从数据库中解析日志, 提升解析效率.
版本2.1.8 更新:
1. 修复了部分由于日志格式造成的同步报错; 2. IP统计选项卡中新增了 "拉黑" 功能
支持版本：
Centos6到Centos7全版本(64位系统)，Ubuntu 16.04到 Ubuntu 18.04 全版本(64位系统)
安装方法：
在第三方插件列表中可以找到
数据库模式日志同步设置步骤:
1. 面板"计划任务";
2. 任务类型选择"Shell脚本"
3. 任务名称自己随便定
4. 执行周期: 建议选择"N分钟" (代表每N分钟执行一次),
流量小的服务器可以设置每30分钟执行一次;
流量大的服务器可以设置每5分钟执行一次;
5. 脚本内容:
python /www/server/panel/plugin/liuliangtongji/sync.py
把上面脚本复制进去即可
6. 点击"添加任务"按钮保存.
定时自动清理日志设置步骤:
1. 面板"计划任务";
2. 任务类型选择"Shell脚本"
3. 任务名称自己随便定
4. 执行周期: 建议选择"每天" (代表每天指定时间执行一次),
建议每天 0 点 1分执行
5. 脚本内容:
python /www/server/panel/plugin/liuliangtongji/cleanlog.py把上面脚本复制进去即可6. 点击"添加任务"按钮保存.
插件界面及功能介绍:
1. 欢迎界面(新增) : 用户选择解析模式,
文件模式: 直接读取服务器日志文件解析,当日志文件很大时,可能会造成面板卡死;
数据库模式: 利用面板的"计划任务"功能,定时将日志转存到面板自带的数据库中, 然后从数据库中读取数据解析.
2. 主界面 (概况): 主要用于统计指定站点, 在某段时间区间内的流量及IP访问情况, 可以一键拉黑异常IP
3. 流量趋势图:昨天/今天是以小时为单位统计, 超过1天的时间间区都是以天为单位统计
4. IP统计: 统计指定站点在某个时间段内的访问IP列表, 按照访问的流量最大到小排序
5. 页面URL统计:统计指定站点在某个时间区间内流量最大的页面, 此功能有助于优化网站页面
6. 日志原始明细: 将日志数据解析成表格, 更直观查询日志, 同时支持根据IP或访问URL筛选记录
关于此插件有任何建议, 欢迎留言讨论!!!!
真的找不到插件了，刚刚装好台服务器，准备装插件找了半天没找到，真下架了吗，挺好用的插件，我十几台服务器都装有，一直在用。。。可惜可惜，呼唤作者放回来啊！！！！ 现在无法查看日志了，打开一直加载中 骗子 花了钱完全不能用， 宝塔联合诈骗，报警 我要报警 宝塔用户_fxsxyv 发表于 2019-11-12 06:06
蛋疼，设置好数据库后，再打开，站点选择那里，一直显示加载中。。。。。。。。。。。。。。。。
确定不是 ...
我也是付了钱用不了！！！！！！ 软程科技 发表于 2019-6-5 19:45
是同步的时候卡死, 还是打开插件的时候卡死?
打开软件 一直显示日志数据正在努力分析中 这个拉黑的IP在哪看呢！:funk: 宝塔用户_enamyo 发表于 2019-5-31 13:19
脚本运行过后，日志清空了，显示同步完成。然而并没有数据，首页提示加载失败。抱歉，出错了：File plugin/ ...
加我QQ 511561588, 我帮你看一下原因 24h 32G 文件过大直接宕机 更新的软件列表，没有发现这个插件 安装方法： 在第三方插件列表中可以找到；更新的软件列表，没有发现这个插件 您好，宝塔没有在Ubuntu14.04 上面做过深度测试，仅在Ubuntu 16.04----18.04做过深度测试，因此14.04 有可能不兼容。 loloto 发表于 2019-5-28 12:25
更新的软件列表，没有发现这个插件
官方还在审核中,等待官方发布. 八斗 发表于 2019-5-28 12:32
安装方法： 在第三方插件列表中可以找到；更新的软件列表，没有发现这个插件 ...
官方还在审核中,等待官方发布. 选择站点 加载中..........
一直加载不出来，很久了。 wensha 发表于 2019-5-29 09:42
选择站点 加载中..........
一直加载不出来，很久了。
一样，卡死了，宝塔面板也不能访问，只能通过重启面板，而且负载状态会增加很多 wensha 发表于 2019-5-29 09:42
选择站点 加载中..........
一直加载不出来，很久了。
日志文件大时, 加载是有点慢, 我现在在尝试将日志记录定时同步到面板数据库中, 然后再从数据库中读取, 这样应该会快很多. 宝塔用户_uftpgq 发表于 2019-5-29 09:56
一样，卡死了，宝塔面板也不能访问，只能通过重启面板，而且负载状态会增加很多 ...
我的服务器是双核CPU, 1GB内存的配置, 挂了40个网站,打开插件的时候需要等10秒左右. 但没有卡死啊,
当日志文件很大时, 打开是有点慢, 我在尝试将日志定期写到面板数据库中, 然后再从数据库中读取, 做好之后更新版本. 本帖最后由 流氓凡 于 2019-5-29 10:48 编辑
16H 32G文件过大直接宕机只能重启面板
这是宝塔官方统计插件的数据，根本无法分析成功
安装后页面都空白 没什么数据显示 没用啊？ Daver 发表于 2019-5-29 15:51
安装后页面都空白 没什么数据显示 没用啊？
由于apache的日志文件名格式和Nginx不一样, 这个版本会造成部分用户解析出错, 我会更新一个版本 软程科技 发表于 2019-5-29 16:27
由于apache的日志文件名格式和Nginx不一样, 这个版本会造成部分用户解析出错, 我会更新一个版本 ...
我们相当于做你的小白鼠。不过这软件很好。比第三方好。期待完善。