没想到你是这样的JDBC

栏目: Java · 发布时间: 6年前

内容简介:没想到你是这样的JDBC

本文将介绍 MySQL Client 与 Server 的通信原理,以及 Java JDBC 的工作原理等。什么是JDBC 的 Type4,什么又是 Type 3?

一、 MySQL Client & Server

我们在进行数据库的操作时,总是通过 GUI 数据管理工具,或者命令行连接到 MySQL 的 Server 上,然后进行一系列数据库的创建、表与表内数据的操作等。

这个时候,这一系列 GUI管理工具,或者命令行,都是一个 MySQL 的 Client, 然后将 Client 的一系列操作命令,发送给 Server。 这里在发送时,Client 的命令都是根据 MySQL 规范,生成的一个个packet进行发送。

更直观的理解, MySQL 的 Client 和 Server 相当于是 Socket 通信中的一个 Client 与 Server, 彼此按照约定的协议格式进行通信。

二、 JDBC 是什么?

什么是 JDBC 呢? 你一定会脱口而出,不就是通过它连库嘛。 这么理解只是其中的一小部分,「洒洒水的啦」。

JDBC 全称:The Java Database Connectivity,要从两个方面来理解。

  • API
  • Driver

API , 首先是一个标准,并不针对特定的数据库,做为一个高层抽象,提供 Java 语言与众多数据库之间的连通。 通过JDBC API,我们不再需要根据不同的数据库使用不同的操作方式,而是以一种标准的操作,实现『Write Once, Run anywhere』。

既然 API 是个标准,就需要有相对应的实现, 这里的 Driver 就是各个数据库厂商根据标准进行的针对实现。这也是为什么在应用开发时,连MySQL 使用 MySQL 的 connector,连接 Oracle 使用 Oracle 的驱动的原因。

毕竟如何和自己厂家的数据库交互,只有各个厂商自己清楚,所以根据标准,各个厂商开发自己的 Connector。

下图来自官方文档,来描述 JDBC 的作用以及请求中所处的位置。

没想到你是这样的JDBC

图的左侧,也称为Type4, 是通过Driver 直接连接数据库 Server。这种也是最常用的,通过Driver ,将JDBC 的请求转成数据库服务器可以识别的协议格式。

图的右侧, 称为Type 3 是通过Driver,将JDBC 的请求转成 中间件的协议格式。

以MySQL为例,看到这里我们发现,其实 JDBC 的操作,本质上相当于是一个 MySQL 的 Client,通过 Driver,把应用里的查询、删除等操作「翻译」成了 MySQL Server 可识别的协议格式,再传递过去执行。

所以,整个JDBC 做的事情可以归结为以下三件:

  1. 创建数据库连接
  2. 发送 SQL statement
  3. 处理请求结果

JDBC 总结起来的两个部分,数据库服务提供方,开发XXXDriver, 应用开发者使用Driver 连接数据库,进行数据库操作。

这样应用开发者就不需要关心底层与数据库交互时的协议实现,如何进行请求连接,交互等,可以更专心到自己的业务。 否则,每个开发者都需要处理一次和数据交互的协议,繁琐而且不易,重复劳动。

三、MySQL connector-J 部分源码

有了上述的「理论」知识后,我们来看点干的。 MySQL 的驱动包是开源的,我们可以很方便的进行下载了解实现。

最传统的 JDBC 使用,一般都是通过以下这种方式:

  • Connection c = DriverManager.getConnection(url, user,pwd);
  • Statement stmt = c.createStatment
  • stmt.executeQuery 拿结果

getConnection的时候一般都需要提供一个URL,这个URL也都是固定写法,比如mysql的是 jdbc:mysql://,这一部分是按照规范,同时在Driver的代码里,通过解析URL获取要连接到的主机,端口,以及其他的连接参数。

public Properties parseURL(String url, Properties defaults) throws java.sql.SQLException { 
        Properties urlProps = (defaults != null) ? new Properties(defaults) : new Properties(); 
        if (url == null) { 
            return null; 
        } 
        if (!StringUtils.startsWithIgnoreCase(url, URL_PREFIX) && !StringUtils.startsWithIgnoreCase(url, MXJ_URL_PREFIX) 
                && !StringUtils.startsWithIgnoreCase(url, LOADBALANCE_URL_PREFIX) && !StringUtils.startsWithIgnoreCase(url, REPLICATION_URL_PREFIX)) { 
            return null; 
        } 
        int beginningOfSlashes = url.indexOf("//"); 
        if (StringUtils.startsWithIgnoreCase(url, MXJ_URL_PREFIX)) { 
            urlProps.setProperty("socketFactory", "com.mysql.management.driverlaunched.ServerLauncherSocketFactory"); 
        } 

看这一部分源码可以发现,除了我们常用的url配置,还可以在其中进行loadbalance的配置等等。长了见识。

DriverManager.getConnection(xx,xx,xx) 这个方法最终会调用 Service Provider 已经加载的 Driver中可用的driver,调用driver的getConnection方法,对应到Mysql的源码,就是下方这个,重点是`com.mysql.jdbc.ConnectionImpl.getInstance` 
 
public java.sql.Connection connect(String url, Properties info) { 
        if (url == null) { 
            throw SQLError.createSQLException(Messages.getString("NonRegisteringDriver.1"), SQLError.SQL_STATE_UNABLE_TO_CONNECT_TO_DATASOURCE, null); 
        } 
        if (StringUtils.startsWithIgnoreCase(url, LOADBALANCE_URL_PREFIX)) { 
            return connectLoadBalanced(url, info); 
        } else if (StringUtils.startsWithIgnoreCase(url, REPLICATION_URL_PREFIX)) { 
            return connectReplicationConnection(url, info); 
        } 
        Properties props = null; 
        if ((props = parseURL(url, info)) == null) { 
            return null; 
        } 
        if (!"1".equals(props.getProperty(NUM_HOSTS_PROPERTY_KEY))) { 
            return connectFailover(url, info); 
        } 
        try { 
            Connection newConn = com.mysql.jdbc.ConnectionImpl.getInstance(host(props), port(props), props, database(props), url); 
            return newConn; 
} 

再来看 getInstance具体做了啥?

protected static Connection getInstance(String hostToConnectTo, int portToConnectTo, Properties info, String databaseToConnectTo, String url) 
            throws SQLException { 
        if (!Util.isJdbc4()) { 
            return new ConnectionImpl(hostToConnectTo, portToConnectTo, info, databaseToConnectTo, url); 
        } 
        return (Connection) Util.handleNewInstance(JDBC_4_CONNECTION_CTOR, 
                new Object[] { hostToConnectTo, Integer.valueOf(portToConnectTo), info, databaseToConnectTo, url }, null); 
    } 
this.io = new MysqlIO(newHost, newPort, mergedProps, getSocketFactoryClassName(), getProxy(), getSocketTimeout(), 
                this.largeRowSizeThreshold.getValueAsInt()); 
this.io.doHandshake(this.user, this.password, this.database); 

我们看,先通过MysqlIO创建了一个IO连接,然后进行握手

// save last exception to propagate to caller if connection fails 
                SocketException lastException = null; 
                // Need to loop through all possible addresses. Name lookup may return multiple addresses including IPv4 and IPv6 addresses. Some versions of 
                // MySQL don't listen on the IPv6 address so we try all addresses. 
                for (int i = 0; i < possibleAddresses.length; i++) { 
                    try { 
                        this.rawSocket = createSocket(props); // 这里创建了一个空的Socket对象 
                        configureSocket(this.rawSocket, props); //将一些超时之类的属性设置到socket中 
                        InetSocketAddress sockAddr = new InetSocketAddress(possibleAddresses[i], this.port); //获取host对应的ip地址等,再加上端口,组成一个Address 
                        // bind to the local port if not using the ephemeral port 
                        if (localSockAddr != null) { 
                            this.rawSocket.bind(localSockAddr); 
                        } 
                        this.rawSocket.connect(sockAddr, getRealTimeout(connectTimeout)); //实际连接到服务器 

连接Mysql的url中,可以分成好几类,例如可以连接到mysql进行loadbalanner, jdbc:mysql:loadbalancer//xxx 还有进行replicated

我们在使用JDBC连接时,一定会常使用PreparedStatement, 这个称为预编译sql,其中可以设置一些占位符

那这些占位符是啥时候填充进去的呢?

查看Mysql Connector 的源码,我们发现,实际前面的createPreparedStatment,setXX之类的时候,

只是设置到对应的变量里记录了下来,

在执行executeQuery的时候,会再从前面记录下来的变理中提取出来,做为值填充到原来的 sql 占位中去

整个sql做为一个packet发送过去。

这个时候也就更容易理解为啥预编译不容易被SQL 注入,而拼接SQL容易。 因为预编译在替换占位符时,即使你的值里有类似于 「--」 这一类的危险内容,或者 1==1, 都是做为一个column的value 来使用,而拼接SQL,则会放到完整的语句中,在执行时被全部解析,导致问题。

以下就是 MySQL Connector 在执行 sql 时的调用栈。

java.lang.Thread.State: RUNNABLE 
  at com.mysql.jdbc.MysqlIO.send(MysqlIO.java:3633) 
  at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2460) 
  at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2625) 
  at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2551) 
  - locked <0x5a3> (a com.mysql.jdbc.JDBC4Connection) 
  at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1861) 
  at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:1962) 

整个背后其实原理也和我们前面说的一样,比较简单,是通过一个TCP Socket 方式,在获取到OutputStream,接装好的SQL,

在执行的时候,是写到这个Output里,发送到 Mysql的服务器。

返回值是怎么获取的呢? 是将返回的Buffer转换成ResultSet

ResultSetInternalMethods rs = readAllResults(callingStatement, maxRows, resultSetType, resultSetConcurrency, streamResults, catalog, resultPacket, 
                  false, -1L, cachedMetadata); 

此外,在实际的业务开发中,对于在代码中拿到的一个Connection,可能会遇到网络抖动,数据库服务异常等情况。有连接问题之前,我们可以先检测连接是否可用,来避免继续使用有问题的Connection,导致问题一直存在。

检测一个连接是否可用,可以通过执行一条最简单的 `select 1` 来判断是否有异常,当然,在JDBC的标准里,也包含一个检查连接是否可用的方法 isValid

实现原理,对于MySQL 的Connctor-J客户端,是通过向Server发送一条ping的命令,来检测连接的状态。

总结一下,我们通过几个部分来介绍了 MySQL Client 与 Server 的交互原理,以及JDBC 是什么,是通过什么方式来和 Server 进行交互的。

顺道再分享下最近遇到的一个和数据库连接有关的小插曲。在处理一个问题,增加数据库连接检查之后,功能正确就上线了。上线不久,接到另一个服务提供方报警,说我们发送了其不能处理的数据库指令。 黑人问号脸。我只是通过获取数据库状态的一个getAttribute的方式来检查下连接啊。 据说他们收到的是show xxx status之类的指令。 那为啥不能识别呢?

仔细问了一下,是由于他们提供的特殊 Proxy 服务,只实现了MySQL 的部分指令解析,所以对应show xxx 不支持,而我们项目里默认以为全部的client 都支持全集指令,导致问题。之后改了一个检查方式解决了报警问题。

所以,在开发时,也需要再考虑下接入的服务,是否会按照规范,把全部内容实现了。

【本文为51CTO专栏作者“侯树成”的原创稿件,转载请通过作者微信公众号『Tomcat那些事儿』获取授权】

戳这里,看该作者更多好文


以上所述就是小编给大家介绍的《没想到你是这样的JDBC》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

阿里巴巴正传:我们与马云的“一步之遥”

阿里巴巴正传:我们与马云的“一步之遥”

方兴东、刘伟 / 江苏凤凰文艺出版社 / 2015-1 / 45.00

十几年来,方兴东与马云每年一次,老友聚首,开怀畅谈,阿里上市前,作者再次与马云深度对话,阿里上市前的布局,深入探讨了一系列人们关心的话题。 本书忠实记录了阿里壮大、马云封圣的历史。作者通过细致梳理和盘点,对阿里巴巴的15年成长史进行了忠实回顾。从海博翻译社到淘宝网,从淘宝商城到天猫,从支付宝到阿里云计算,从拉来软银的第一笔投资到纽交所上市,作者对其中涉及到的人物、细节都有生动展现;对于马云、......一起来看看 《阿里巴巴正传:我们与马云的“一步之遥”》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

随机密码生成器
随机密码生成器

多种字符组合密码

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具