dbcache mysql数据库加速插件

DbCache
## 版本
1.0## BT插件交流QQ群:913143887
## 开发语言
    golang+python
## 功能描述
用于加速Mysql数据库缓存加速，通过synbench压力测试结果，*均耗费时间是未加速的0.01
极大减少数据库并发压力
## 已经支持功能
- 数据库加速
- 数据库连接优化
- 自定义包大小，不同业务缓存时长控制,是否缓存控制
- 多服务器集群支持

## 待开发功能
- SQL注入拦截
- 脚本支持
## 优势
使用dbcache 可以快速解决高并发，及复杂SQL语句查询来来的数据库层面压力，提升动态业务响应能力
您配置好服务后，对于业务使用只需要修改下端口即可获得能力提升

## 后续发展
有一定用户保有量后,考虑开源,现行服务提供方式 宝塔面板插件 搜索 "dbcache"
## 更新
### dbcache 1.1.1
- 增加多端口支持，避免同数据库服务器异库同结构发生数据交叉
- 增加永久缓存支持，针对伪静态用户提供快捷静态化方案，大量长期不需要更新数据提供永久缓存支持
- 优化CPU资源占用，解决WIN版本系统偶发缓存无法更新问题
- 优化缓存存储结构，通过数据离散存储，防止单一目录缓存文件数据过多降低数据处理能力




## 配置文件说明

1. 
   
2. ;指定过期时间如在指定SQL 中添加
   
3. ; -- [EXPIRE:10] -- 表示缓存10s
   
4. ; -- [EXPIRE:-1] -- 表示不缓存
   
5. ; -- [EXPIRE:0] -- 表示永不过期
   
6. [src]
   
7. ; 监听IP 设置为 127.0.0.1只允许本机访问
   
8. ip=0.0.0.0
   
9. ; 监听端口多个端口请使用,分割 如:33060,33061,33062  当服务器上 有多个库且同结构时开启避免缓存交叉,在应用连接串中使用不同端口进行连接
   
10. port=33063,33064
    
11. 
    
12. [desc]
    
13. ; 数据库IP
    
14. ip=127.0.0.1
    
15. ; 数据库端口
    
16. port=3306
    
17. 
    
18. [connect]
    
19. ;超时时间 建议设置为应用中查询需要的最大时间单位为秒
    
20. timeout=2
    
21. ;是否启用集群
    
22. enablepool=0
    
23. ; 是否启用白名单过滤
    
24. enablefilter=0
    
25. [lua]
    
26. ; LUA脚本路径
    
27. file=./luascript/script.lua
    
28. ; 是否启用LUA
    
29. enable=1
    
30. ;脚本出错后是否禁用标本
    
31. errorbreak=0
    
32. 
    
33. ; 集群数据库，一行一台服务器 支持 IPV4/6 格式为 -=服务器ip:端口 优先级
    
34. [pools]
    
35. -=127.0.0.1:3306 1
    
36. 
    
37. ; 允许访问白名单 all允许全部 支持 192.168.0.* 表示一个24网段
    
38. [whitelist]
    
39. -=127.0.0.1
    
40. ;-=all
    
41. 
    
42. [log]
    
43. ; 日志存储路径
    
44. path=./logs
    
45. ; 是否启用日志
    
46. enable=1
    
47. ;日志级别 1 INFO 2 DEBUG 3 WARN 4 ERROR
    
48. level=3
    
49. 
    
50. [cache]
    
51. ;缓存目录层级，建议为2
    
52. path_levels=2
    
53. ; 过期时间单位为秒
    
54. expire=0
    
55. ; 忽略SQL语句大小写
    
56. ignorecase=1
    
57. ; 数据包大小,建议在1024-10240之间
    
58. packet_size=4096
    
59. ;最大SQL大小，按字节计算
    
60. max_sql_size=4096
    
61. ;缓存目录
    
62. path=./cache
    
63. ;缓存数据后缀
    
64. ext=frm
    
65. ;缓存数据前缀
    
66. prefix=rach
    
67. ; 缓存方式 1 slices并发模式,2 once  1方式效率更高
    
68. mode=2
    
69. ;数据库包头长度,请不要轻易修改
    
70. header_size=4
    
71. ; 启用后支持
    
72. 
    
73. ;此SQL语句时间根据此设定超期
    
74. flag=1
    
75. ; 开启调试
    
76. debug=1
    
77. ; 输出信息
    
78. print=1
    

复制代码

无限循环执行 复杂SQL like联表查询 30000条数据效果


单表1000万数据查询20万数据效果




相关配置界面

DbCache 1.0.1已发布新增特性

-支持LUA脚本
-集群支持
-白名单支持
-优化连接数量，提高缓存性能

针对 CentOS7无法安装服务情况  可以 用以下方法修复在命令行中运行以下脚本

1. 
   
2. ln -s /usr/lib64/liblua-5.1.so /usr/lib64/liblua5.1.so.0
   

复制代码

针对 CentOS8无法安装服务情况  可以 用以下方法修复在命令行中运行以下脚本

1. yum install lua5.1 -y&ln -s /usr/lib64/liblua-5.1.so /usr/lib64/liblua5.1.so.0

复制代码

再次安装即可

针对 ThinkPHP,YII,FastAdmin等  出现

1. HY000
   
2. 1243
   
3. Unknown prepared statement handler (3) given to mysqld_stmt_execute

复制代码

错误，修改PDO属性

1. $dbh->setAttribute(PDO::ATTR_EMULATE_PREPARES, true);

复制代码

即可

ThinkPhp  

1. 在config/database.php  文件中 修改 ，params中调整为
   
2. // 数据库连接参数
   
3. 'params' => [PDO::ATTR_EMULATE_PREPARES=>true],

复制代码

FastAdmin

1. 在application/database.php  文件中 修改 ，params中调整为
   
2. // 数据库连接参数
   
3. 'params' => [PDO::ATTR_EMULATE_PREPARES=>true],

复制代码

Laravel

1. 在config/database.php  文件中 修改 ，options中调整为
   
2. // 数据库连接参数
   
3. 'options' => [PDO::ATTR_EMULATE_PREPARES=>true],

复制代码

如果框架或代码无法找到 ，可先搜索代码中 PDO::ATTR_EMULATE_PREPARES 位置，再将值 false修改为true解决

1. 1、ATTR_EMULATE_PREPARES=true(默认)
   
2. 含义：本地prepare
   
3. 详细：prepare不发送，execute时发送完整的sql
   
4. 优点：当代码里频繁prepare，prepare放在本地，减轻mysql服务器压力
   
5. 缺点：sql注入需要自己防范
   
6. 注意：会把数据库数据由int类型转成string，如果php跟object-c合作，可能有问题。需慎重！！！
   
7. 
   
8. 
   
9. 2、ATTR_EMULATE_PREPARES=false
   
10. 含义：服务端(mysql)prepare
    
11. 详细：prepare时「query+占位符」发给服务端
    
12. 优点：1、防sql注入；2、当代码里prepare少时性能更好
    
13. 缺点：1、高并发，频繁prepare，会有性能问题；2、慢日志里是占位符
    

复制代码

感谢 小桑子 对此错误提供的测试报告！

host连接连接本机请使用 127.0.0.1

修改应用连接串 需要注意 localhost与127.0.0.1的区别

localhot的原理是不经网卡传输，不会受到网卡协议的限制。设置程序时本地服务用localhost，localhost不会解析成IP


使用localhost无法到达指定的dbcache端口  具体业务是否生效可以查看 /www/server/dbcache/logs/目录下日志  如：tial -f /www/server/dbcache/ 日志文件名 跟进查看

### dbcache 1.1.1 已更新上线
- 增加多端口支持，避免同数据库服务器异库同结构发生数据交叉
- 增加永久缓存支持，针对伪静态用户提供快捷静态化方案，大量长期不需要更新数据提供永久缓存支持
- 优化CPU资源占用，解决WIN版本系统偶发缓存无法更新问题
- 优化缓存存储结构，通过数据离散存储，防止单一目录缓存文件数据过多降低数据处理能力

如是老版本升级 ，新功能请参考文章配置文件进行配置

搜索不到啊 没这个插件

宝塔用户_fydezo 发表于 2023-1-5 15:23
搜索不到啊 没这个插件

还未提交市场，提交了会更新插件截图

宝塔用户_fydezo 发表于 2023-1-5 15:23
搜索不到啊 没这个插件

已经提交版本 官方正在审核中

插件已上架，需要的朋友请支持 ，使用中有问题可以 添加 交流群 913143887 解决问题

centos8安装不到

Eden99 发表于 2023-2-22 10:16
centos8安装不到

yum install lua5.1 -y&ln -s /usr/lib64/liblua-5.1.so /usr/lib64/liblua5.1.so.0

安装后打开就死机， 什么都不动了，系统是阿里云的系统操作系统
Alibaba Cloud Linux 2.1903 LTS 64位 ， 我的联系方式  QQ  3397699698

我有一个40多万的表，我模糊查询在未使用这个插件 查询是差不多4S ，但是我使用了这个插件 查询时间也是一样的，感觉没有效果，我是使用TP的框架  按照文档说的设置了'params' => [PDO::ATTR_EMULATE_PREPARES=>true],   配置文件没改动，启动之后 没有想象中的效果，

徐先森丶 发表于 2023-8-3 11:17
我有一个40多万的表，我模糊查询在未使用这个插件 查询是差不多4S ，但是我使用了这个插件 查询时间也是一 ...

插件的作用是缓存，不是优化查询时间