序言

反向解析Sql的几种方式进行梳理学习cuiyaonan2000@163.com

参考信息:

1. https://github.com/alibaba/druid/wiki/SQL-Parser

druid 的 sql parser

SQL Parser是Druid的一个重要组成部分，Druid内置使用SQL Parser来实现防御SQL注入（WallFilter）、合并统计没有参数化的SQL(StatFilter的mergeSql)、SQL格式化、分库分表。

和Antlr生成的SQL有很大不同的是，Druid SQL Parser性能非常好，可以用于生产环境直接对SQL进行分析处理。

Druid SQL Parser的使用场景

• MySql SQL全量统计

• Hive/ODPS SQL执行安全审计

• 分库分表SQL解析引擎

• 数据库引擎的SQL Parser

• SQL翻译 ----即将mysql的方言的sql 转换为 oracle方言的sql

语法支持

druid还缺省支持sql-92标准的语法，所以也部分支持其他数据库的sql语法。

性能

Druid的SQL Parser是手工编写，性能非常好，目标就是在生产环境运行时使用的SQL Parser，性能比antlr、javacc之类工具生成的Parser快10倍甚至100倍以上。

SELECT ID, NAME, AGE FROM USER WHERE ID = ?

这样的SQL，druid parser处理大约是600纳秒，也就是说单线程每秒可以处理1500万次以上。在1.1.3~1.1.4版本中，SQL Parser的性能有极大提升，完全可以适用于生产环境中对SQL进行处理。

--------最简单的sql是每秒1500万次的解析处理cuiyaonan2000@163.com

方言

SQL-92、SQL-99等都是标准SQL，mysql/oracle/pg/sqlserver/odps等都是方言，也就是dialect。parser/ast/visitor都需要针对不同的方言进行特别处理。

SchemaRepository

Druid SQL Parser内置了一个SchemaRepository，在内存中缓存SQL Schema信息，用于SQL语义解析中的ColumnResolve等操作。 https://github.com/alibaba/druid/wiki/SQL_Schema_Repository

SQL翻译

可以基于Druid SQL Parser之上构造Oracle SQL到其他数据的SQL翻译。比如Aliyun提供的Oracle到MySql的SQL翻译功能，就是基于Druid基础上实现的。https://rainbow-expert.aliyun.com/sqltransform.htm

Druid SQL Parser的代码结构

Druid SQL Parser分三个模块：

• Parser

• AST

• Visitor

parser

parser是将输入文本转换为ast（抽象语法树），

parser有包括两个部分，Parser和Lexer，其中Lexer实现词法分析，Parser实现语法分析。

AST

AST是Abstract Syntax Tree的缩写，也就是抽象语法树。AST是parser输出的结果。下面是获得抽象语法树的一个例子：

finalStringdbType = JdbcConstants.MYSQL; // 可以是ORACLE、POSTGRESQL、SQLSERVER、ODPS等Stringsql = "select * from t";
List stmtList = SQLUtils.parseStatements(sql, dbType);

• Druid SQL AST介绍 https://github.com/alibaba/druid/wiki/Druid_SQL_AST

Visitor

Visitor是遍历AST的手段，是处理AST最方便的模式，Visitor是一个接口，有缺省什么都没做的实现VistorAdapter。

我们可以实现不同的Visitor来满足不同的需求，Druid内置提供了如下Visitor:

• OutputVisitor用来把AST输出为字符串

• WallVisitor 来分析SQL语意来防御SQL注入攻击

• ParameterizedOutputVisitor用来合并未参数化的SQL进行统计

• EvalVisitor 用来对SQL表达式求值

• ExportParameterVisitor用来提取SQL中的变量参数

• SchemaStatVisitor 用来统计SQL中使用的表、字段、过滤条件、排序表达式、分组表达式

• SQL格式化 Druid内置了基于语义的SQL格式化功能

自定义Visitor---这里是重点,默认提供的可能不能满足我们的要求,实际就是自己解析AST

每种方言的Visitor都有一个缺省的VisitorAdapter，使得编写自定义的Visitor更方便。 https://github.com/alibaba/druid/wiki/SQL_Parser_Demo_visitor

示例

package nan.yao.cui.others;import com.alibaba.druid.sql.SQLUtils;
import com.alibaba.druid.sql.ast.SQLStatement;
import com.alibaba.druid.sql.ast.statement.*;
import com.alibaba.druid.sql.visitor.SQLASTVisitorAdapter;
import com.alibaba.druid.sql.visitor.SchemaStatVisitor;
import com.alibaba.druid.util.JdbcConstants;import java.util.List;/*** @Author: cuiyaonan2000@163.com* @Description: todo* @Date: Created at 2022-11-23  17:03*/
public class Test3 {public static void main(String[] args){String sql = "select age as student_age, " +
"(select name from class c where c.id = t.class_id )from student t" +
" where t.age <10 ";String sql1 = "select t.*, " +
"(select name from class c where c.id = t.class_id )from student t" +
" where t.age <10 ";String sql2 = "select t.*, " +
"(select name from class c where c.id = t.class_id )from student t" +
" left join address d on d.id = t.address_id" +
" where t.age <10 ";List stmtList = SQLUtils.parseStatements(sql2, JdbcConstants.MYSQL);for(int i = 0 ; i< stmtList.size();i++){SQLStatement sqlStatement = stmtList.get(i);if( sqlStatement instanceof SQLSelectStatement){SQLSelectStatement a = (SQLSelectStatement)sqlStatement;//如下的访问相当于把 sql解析的非常细,但是不方便弄清里面的所有结构SchemaStatVisitor statVisitor = SQLUtils.createSchemaStatVisitor(JdbcConstants.MYSQL);sqlStatement.accept(statVisitor);MyVisitorAdapter myVisitorAdapter = new MyVisitorAdapter();sqlStatement.accept(myVisitorAdapter);System.out.println(myVisitorAdapter);}if( sqlStatement instanceof SQLUpdateStatement){}if( sqlStatement instanceof SQLDeleteStatement){}if( sqlStatement instanceof SQLInsertStatement){}}}public static class  MyVisitorAdapter extends SQLASTVisitorAdapter{@Overridepublic boolean visit(SQLSelectQueryBlock x) {System.out.println();List selectItemList = x.getSelectList();
/*           selectItemList.forEach(selectItem -> {System.out.println("attr:" + selectItem.getAttributes());System.out.println("expr:" + SQLUtils.toMySqlString(selectItem.getExpr()));});
*///            System.out.println("返回字段"+ x.getSelectList());x.getSelectList().forEach(e->{System.out.println("返回字段:"+e.getExpr() + "返回字段的别名:"+e.getAlias());});System.out.println("from:" + SQLUtils.toMySqlString(x.getFrom()));System.out.println("where:" + SQLUtils.toMySqlString(x.getWhere()));x.getSelectList();
return true;}public void endVisit(SQLSelect select) {
//            System.out.println(select);}}}