服务器日志分析与流量统计_直观快捷分析每个网站的日志

应用名称：日志分析与流量统计

价格：1元

作者：软程科技

版本: 2.1.9



提示(使用前必读):
    1. 此插件未在超大(超过1G)的日志文件上测试过, 大日志用户慎用.
    2. 日志量大的用户推荐使用数据库模式, 每隔5~10分钟将日志转存到数据库中, 在数据库中读取日志记录效率要高很多.
    3. 使用数据库模式之前, 请将之前的日志备份,然后使用官方的系统工具中"日志清理工具"清空日志.
    3. 数据库模式下,每次同步完成会将日志文件的内容清空,尽量保持日志文件最小化,提升同步效率, 对此功能不接受的请慎用此模式.


常见问题解决办法:
一. 安装插件之后没有数据问题排查:
      1. 检查有没有设置同步的计划任务;
      2. 检查是否更新到版本 2.1.7以上 ,如果在软件列表没有看到版本更新, 点击软件列表右上角的"更新软件列表"按钮即可看到版本更新;
      3. 执行一下同步日志, 查看同步日志中是否有报错信息, 如果没有报错信息,但同步数量为0条, 则可能是网站没有开启日志记录;
      4. 如果网站配置中已开启日志记录,但仍未有日志, 重启一下nginx或者apache服务,然后再执一下同步日志的计任任务,看看是否已有记录;
      5. 以上4步都无法解决问题, 请加我QQ: 511561588, (备注: 服务器日志分析插件)

二. 插件使用一段时间之后, 打开非常慢 (以下方法只能算是一个临时办法,没办法治本):      *流量大的网站打开插件分析访问慢, 这个问题暂时没更好的办法解决, 现在sqlite的查询效率确实有点慢,建议使用mysql试试

      在插件的"设置"中重新设置一个新的数据库文件
      

三. 使用CDN之后不显示真实IP解决方法:

     以下方法我自己没有试过, 不过根据其它朋友反馈是有效的.
     解决方法: https://rcwap.com/newsdetail_135.html



功能介绍：

       1. 统计服务器上每个网站的流量, IP访问量, IP流量等数据;
       2. 对异常IP一键拉黑 (加入防火墙黑名单), 可在面板防火墙中查看并删除;
       3. 根据天/周/月/自定义时间统计并绘制出流量及访问量趋势图表
       4. 根据IP访问量排序, 访问量最高的IP排在前面;
       5. 根据网站页面流量排序, 网站中流量最大的页面排在前面;
       6. 日志原始数据解析, 将日志中的数据分割成表格, 并且支持根据IP和页面关键词筛选记录;
       7. 数据库模式, 通过面板的"计划任务"功能,定时将日志转存到面板自带的数据库中, 然后从数据库中解析日志, 提升解析效率.


版本2.1.8 更新:

      1. 修复了部分由于日志格式造成的同步报错;      2. IP统计选项卡中新增了 "拉黑" 功能



支持版本：

      Centos6到Centos7  全版本(64位系统)，Ubuntu 16.04  到 Ubuntu 18.04 全版本(64位系统)


安装方法：

     在第三方插件列表中可以找到



数据库模式日志同步设置步骤:

1. 面板"计划任务";
2. 任务类型选择"Shell脚本"
3. 任务名称自己随便定
4. 执行周期: 建议选择"N分钟" (代表每N分钟执行一次),
    流量小的服务器可以设置每30分钟执行一次;
    流量大的服务器可以设置每5分钟执行一次;
5. 脚本内容:

1. python /www/server/panel/plugin/liuliangtongji/sync.py

复制代码

    把上面脚本复制进去即可
6. 点击"添加任务"按钮保存.



定时自动清理日志设置步骤:

1. 面板"计划任务";
2. 任务类型选择"Shell脚本"
3. 任务名称自己随便定
4. 执行周期: 建议选择"每天" (代表每天指定时间执行一次),
    建议每天 0 点 1分执行
5. 脚本内容:

1. python /www/server/panel/plugin/liuliangtongji/cleanlog.py

复制代码

把上面脚本复制进去即可6. 点击"添加任务"按钮保存.



插件界面及功能介绍:

1. 欢迎界面(新增) : 用户选择解析模式,
    文件模式: 直接读取服务器日志文件解析,当日志文件很大时,可能会造成面板卡死;
    数据库模式: 利用面板的"计划任务"功能,定时将日志转存到面板自带的数据库中, 然后从数据库中读取数据解析.


2. 主界面 (概况): 主要用于统计指定站点, 在某段时间区间内的流量及IP访问情况, 可以一键拉黑异常IP





3. 流量趋势图:  昨天/今天是以小时为单位统计, 超过1天的时间间区都是以天为单位统计



4. IP统计: 统计指定站点在某个时间段内的访问IP列表, 按照访问的流量最大到小排序


5. 页面URL统计:  统计指定站点在某个时间区间内流量最大的页面, 此功能有助于优化网站页面


6. 日志原始明细: 将日志数据解析成表格, 更直观查询日志, 同时支持根据IP或访问URL筛选记录



关于此插件有任何建议, 欢迎留言讨论!!!!

真的找不到插件了，刚刚装好台服务器，准备装插件找了半天没找到，真下架了吗，挺好用的插件，我十几台服务器都装有，一直在用。。。可惜可惜，呼唤作者放回来啊！！！！

现在无法查看日志了，打开一直加载中

骗子 花了钱  完全不能用， 宝塔联合诈骗，报警 我要报警

宝塔用户_fxsxyv 发表于 2019-11-12 06:06
蛋疼，设置好数据库后，再打开，站点选择那里，一直显示加载中。。。。。。。。。。。。。。。。
确定不是 ...

我也是付了钱用不了！！！！！！

软程科技 发表于 2019-6-5 19:45
是同步的时候卡死, 还是打开插件的时候卡死?

打开软件 一直显示日志数据正在努力分析中

这个拉黑的IP在哪看呢！

宝塔用户_enamyo 发表于 2019-5-31 13:19
脚本运行过后，日志清空了，显示同步完成。然而并没有数据，首页提示加载失败。抱歉，出错了：File plugin/ ...

加我QQ 511561588, 我帮你看一下原因

24h 32G 文件过大直接宕机

更新的软件列表，没有发现这个插件

安装方法： 在第三方插件列表中可以找到；更新的软件列表，没有发现这个插件

您好，宝塔没有在Ubuntu14.04 上面做过深度测试，仅在Ubuntu 16.04----18.04做过深度测试，因此14.04 有可能不兼容。

loloto 发表于 2019-5-28 12:25
更新的软件列表，没有发现这个插件

官方还在审核中,等待官方发布.

八斗 发表于 2019-5-28 12:32
安装方法： 在第三方插件列表中可以找到；更新的软件列表，没有发现这个插件 ...

官方还在审核中,等待官方发布.

选择站点   加载中..........

一直加载不出来，很久了。

wensha 发表于 2019-5-29 09:42
选择站点   加载中..........

一直加载不出来，很久了。

一样，卡死了，宝塔面板也不能访问，只能通过重启面板，而且负载状态会增加很多

wensha 发表于 2019-5-29 09:42
选择站点   加载中..........

一直加载不出来，很久了。

日志文件大时, 加载是有点慢, 我现在在尝试将日志记录定时同步到面板数据库中, 然后再从数据库中读取, 这样应该会快很多.

宝塔用户_uftpgq 发表于 2019-5-29 09:56
一样，卡死了，宝塔面板也不能访问，只能通过重启面板，而且负载状态会增加很多 ...

我的服务器是双核CPU, 1GB内存的配置, 挂了40个网站,  打开插件的时候需要等10秒左右. 但没有卡死啊,

当日志文件很大时, 打开是有点慢, 我在尝试将日志定期写到面板数据库中, 然后再从数据库中读取, 做好之后更新版本.

16H 32G文件过大直接宕机  只能重启面板
这是宝塔官方统计插件的数据，根本无法分析成功

安装后页面都空白 没什么数据显示 没用啊？

Daver 发表于 2019-5-29 15:51
安装后页面都空白 没什么数据显示 没用啊？

由于apache的日志文件名格式和Nginx不一样, 这个版本会造成部分用户解析出错, 我会更新一个版本

软程科技 发表于 2019-5-29 16:27
由于apache的日志文件名格式和Nginx不一样, 这个版本会造成部分用户解析出错, 我会更新一个版本 ...

我们相当于做你的小白鼠。不过这软件很好。比第三方好。期待完善。