MySql协议详解-HandShake握手篇
各位有没有对Cobar、MyCat这些MySqlProxy感到新奇。反正笔者在遇到这些proxy时，感受到其对代码的无侵入兴感到大为惊奇。于是走上了研究MySql协议的不归路。现在我就在博客里面将其中所得分享出来，以飨大家。
HandShake协议
下图是笔者整理的HandShake协议交互流程 
Step1:客户端向DB发起TCP握手。
Step2:三次握手成功。与通常流程不同的是，由DB发送HandShake信息。这个Packet里面包含了MySql的能力、加密seed等信息。
Step3:客户端根据HandShake包里面的加密seed对MySql登录密码进行摘要后，构造Auth认证包发送给DB。
Step4:DB接收到客户端发过来的Auth包后会对密码摘要进行比对，从而确认是否能够登录。如果能，则发送Okay包返回。
Step5:客户端与DB的连接至此完毕。
MySql报文图解
MySql协议与众多基于TCP的应用层一样，为了解决"粘包"问题，自定义了自己的帧格式。其主要通过Packet头部的length字段来确定整个报文的大小。
MySql报文的分层
MySql报文分为两层，一层是解决"粘包"的length-body.然后body中对应不同的格式有不同的字段含义。 
MySql报文外层
如上图所示:
(1)前面3字节描述了整个报文中Body的长度。
(2)第四个字节比较特殊，是为了防止串包用。机制是每收到一个报文都在其sequenceId上加1，并随着需要返回的信息返回回去。如果DB检测到sequenceId连续，则表明没有串包。如果不连续，则串包，DB会直接丢弃这个连接。
(3)Body则是最终传递信息的地方，如上图中的handshake包。
以下代码就是MySql报文的外层解包过程(基于Netty):
1 @Override 2 protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception { 3 // 4 bytes:3 length + 1 packetId 4 if (in.readableBytes() < packetHeaderSize) { 5 return; 6 } 7 in.markReaderIndex(); 8 int packetLength = ByteUtil.readUB3(in); 9 // 过载保护 10 if (packetLength > maxPacketSize) { 11 throw new IllegalArgumentException("Packet size over the limit " + maxPacketSize); 12 } 13 byte packetId = in.readByte(); 14 if (in.readableBytes() < packetLength) { 15 // 半包回溯 16 in.resetReaderIndex(); 17 return; 18 } 19 BinaryPacket packet = new BinaryPacket(); 20 packet.packetLength = packetLength; 21 packet.packetId = packetId; 22 // data will not be accessed any more,so we can use this array safely 23 packet.data = in.readBytes(packetLength).array(); 24 if (packet.data == null || packet.data.length == 0) { 25 logger.error("get data errorMessage,packetLength=" + packet.packetLength); 26 } 27 out.add(packet); 28 }
详情请见lancelot中的alchemystar.lancelot.common.net.codec.MySqlPacketDecoder类。
MySql报文内层-Body中的HandShake
HandShake类比较复杂，在此为了简便就写出其代码定义:
1public class HandshakePacket { 2 private static final byte[] FILLER_13 = new byte[] {0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0}; 3 4 public byte protocolVersion; 5 public byte[] serverVersion; 6 public long threadId; 7 public byte[] seed; 8 public int serverCapabilities; 9 public byte serverCharsetIndex; 10 public int serverStatus; 11 public byte[] restOfScrambleBuff; 12 }
其中包含了协议版本号、服务器版本号、当前线程ID、加密种子等等。其都是通过对BodyDecode而来，Decode部分繁琐而无味,详情请看: alchemystar.lancelot.common.net.proto.mysql.HandshakePacket;
客户端的认证报文-AuthPacket
1public class AuthPacket extends MySQLPacket{ 2 private static final byte[] FILLER = new byte[23]; 3 4 public long clientFlags; 5 public long maxPacketSize; 6 public int charsetIndex; 7 public byte[] extra;// from FILLER(23) 8 public String user; 9 public byte[] password; 10 public String database; 11}
其构造必须按照MySql协议一个一个填写。其中最重要的字段位user和password。
password的摘要方式
AuthPacket的password是对原密码摘要后的byte流，其根据MySql协议版本的不同分为411和322两个大版本。即4.1.1版本协议和3.2.2版本协议所采用的加密方法。
411-password摘要
1 public static final byte[] scramble411(byte[] pass, byte[] seed) throws NoSuchAlgorithmException { 2 MessageDigest md = MessageDigest.getInstance("SHA-1"); 3 byte[] pass1 = md.digest(pass); 4 md.reset(); 5 byte[] pass2 = md.digest(pass1); 6 md.reset(); 7 md.update(seed); 8 byte[] pass3 = md.digest(pass2); 9 for (int i = 0; i < pass3.length; i++) { 10 pass3[i] = (byte) (pass3[i] ^ pass1[i]); 11 } 12 return pass3; 13 }
322-password摘要
1 public static final String scramble323(String pass, String seed) { 2 if ((pass == null) || (pass.length() == 0)) { 3 return pass; 4 } 5 byte b; 6 double d; 7 long[] pw = hash(seed); 8 long[] msg = hash(pass); 9 long max = 0x3fffffffL; 10 long seed1 = (pw[0] ^ msg[0]) % max; 11 long seed2 = (pw[1] ^ msg[1]) % max; 12 char[] chars = new char[seed.length()]; 13 for (int i = 0; i < seed.length(); i++) { 14 seed1 = ((seed1 * 3) + seed2) % max; 15 seed2 = (seed1 + seed2 + 33) % max; 16 d = (double) seed1 / (double) max; 17 b = (byte) java.lang.Math.floor((d * 31) + 64); 18 chars[i] = (char) b; 19 } 20 seed1 = ((seed1 * 3) + seed2) % max; 21 seed2 = (seed1 + seed2 + 33) % max; 22 d = (double) seed1 / (double) max; 23 b = (byte) java.lang.Math.floor(d * 31); 24 for (int i = 0; i < seed.length(); i++) { 25 chars[i] ^= (char) b; 26 } 27 return new String(chars); 28 }
最后的Okay报文
Okay报文很简单，现在直接将其代码结构放出:
1public class OkPacket extends MySQLPacket { 2 public static final byte FIELD_COUNT = 0x00; 3 public static final byte[] OK = new byte[] { 7, 0, 0, 1, 0, 0, 0, 2, 0, 0, 0 }; 4 public static final byte[] AUTH_OK = new byte[] { 7, 0, 0, 2, 0, 0, 0, 2, 0, 0, 0 }; 5 public byte fieldCount = FIELD_COUNT; 6 public long affectedRows; 7 public long insertId; 8 public int serverStatus; 9 public int warningCount; 10 public byte[] message; 11}
MySql-HandShake Server端代码:
由于最终的代码是以Netty的形式呈现，所以不是很直观。读者可以慢慢分析
1 @Override 2 public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception { 3 switch (state) { 4 case (BackendConnState.BACKEND_NOT_AUTHED): 5 // init source's ctx here 6 source.setCtx(ctx); 7 // 处理握手包并发送auth包 8 auth(ctx, msg); 9 // 推进连接状态 10 state = BackendConnState.BACKEND_AUTHED; 11 break; 12 case (BackendConnState.BACKEND_AUTHED): 13 authOk(ctx, msg); 14 break; 15 default: 16 break; 17 } 18 } 19 20 private void authOk(ChannelHandlerContext ctx, Object msg) { 21 BinaryPacket bin = (BinaryPacket) msg; 22 switch (bin.data[0]) { 23 case OkPacket.FIELD_COUNT: 24 afterSuccess(); 25 break; 26 case ErrorPacket.FIELD_COUNT: 27 ErrorPacket err = new ErrorPacket(); 28 err.read(bin); 29 throw new ErrorPacketException("Auth not Okay"); 30 default: 31 throw new UnknownPacketException(bin.toString()); 32 } 33 // to wake up the start up thread 34 source.countDown(); 35 // replace the commandHandler of Authenticator 36 ctx.pipeline().replace(this, "BackendCommandHandler", new BackendCommandHandler(source)); 37 38 }
公众号
关注笔者公众号，获取更多干货文章:
Github链接
https://github.com/alchemystar/Lancelot.git