使用dubbo-go搭建dubbo接口测试平台

背景

http接口测试只需要一个curl命令,但dubbo协议没有这样的现成接口测试工具。通常公司内的dubbo控制台或其他平台会集成一个dubbo接口测试工具。

调用一个dubbo接口,需要知道服务名service、方法名method和参数args

正常的调用,调用方需引入服务提供方定义的接口jar包。

作为接口测试平台,没办法引入所有提供方定义的接口jar包,可以有以下方案来解决:

  1. dubbo支持telnet协议调用dubbo接口
  2. dubbo的泛化调用可以在不引入提供方接口定义jar包的情况下对接口进行调用

对于方案1,实现成本很低,甚至可以在服务器上直接用telnet测试

它也有缺点

  • 调用无法经过filter
  • 无法携带隐式参数attachment

刚好我们把方案1的优缺点都踩了,我们的dubbo控制台是go语言编写,短时间快速实现,就采用了telnet的方式。

随着业务的发展,流量染色,或标签路由等需要携带隐式参数。

没有走自定义filter,导致业务接口执行不符合预期等都迫使我们升级为泛化调用。

dubbo接口泛化调用在控制台是go编写的情况下也有两个方案可选:

  1. 单独起一个java进程,暴露http端口,与go进程进行交互,泛化调用使用dubbo的java sdk进行编写
  2. 控制台引入dubbo-go,使用dubbo-go进行泛化调用

出于对dubbo java版本的了解,方案1肯定可行,只是架构变得复杂。

而方案2由于dubbo-go还是比较新的项目,并不是很了解,所以不确定其可行性和兼容性,但如果能实现,会大大降低架构的复杂度。

dubbo-go介绍

dubbo-go是dubbo的golang实现版本,它出现的初衷是为了让golang和java的dubbo生态互通。

如今dubbo-go支持provider和consumer端,可以作为一个独立的rpc框架使用,同时社区也是dubbo生态中最火的一个。

如果要说它的意义,我觉得除了和java互通外还有一点非常重要,那就是它能发挥golang协程的巨大作用,这一点可以用在dubbo网关上,如果用dubbo-go实现dubbo网关,就无需纠结线程池、异步等问题。

泛化调用的使用

首先provider端提供一个接口,这个不再赘述,非常简单,接口定义如下

1package org.newboo.basic.api; 2 3import org.newboo.basic.model.RpcResult; 4import org.newboo.basic.model.User; 5 6public interface MyDemoService { 7 RpcResult<String> call(User user); 8}
1package org.newboo.basic.model; 2 3import java.io.Serializable; 4 5public class User implements Serializable { 6 private String uid; 7 private String name; 8 private String remoteServiceTag; 9 ... 10}

再来编写java版的泛化调用代码,不引入provider方的jar包:

1ReferenceConfig<GenericService> reference = new ReferenceConfig<>(); 2// ①引用服务名 3reference.setInterface("org.newboo.basic.api.MyDemoService"); 4// ②设置泛化调用标志 5reference.setGeneric("true"); 6 7DubboBootstrap bootstrap = DubboBootstrap.getInstance(); 8bootstrap.application(new ApplicationConfig("dubbo-demo-api-consumer")) 9 .registry(new RegistryConfig("zookeeper://127.0.0.1:2181")) 10 .reference(reference) 11 .start(); 12 13GenericService genericService = ReferenceConfigCache.getCache().get(reference); 14String[] ps = new String[1]; 15// ③参数类型 16ps[0] = "org.newboo.basic.model.User"; 17Object[] ags = new Object[1]; 18// ④pojo参数使用map构造 19Map<String, String> user = new HashMap<>(); 20user.put("uid", "1"); 21user.put("name", "roshi"); 22user.put("remoteServiceTag", "tag"); 23ags[0] = user; 24// ⑤发起调用 25Object res = genericService.$invoke("call", ps, ags); 26System.out.println(res);

关键的步骤已在代码注释中标明

golang版本

直接修改的dubbo-go-samples代码,参考https://github.com/apache/dubbo-go-samples 启动时需要设置配置文件路径ENV

1var ( 2 appName = "UserConsumer" 3 referenceConfig = config.ReferenceConfig{ 4 InterfaceName: "org.newboo.basic.api.MyDemoService", 5 Cluster: "failover", 6 // registry需要配置文件 7 Registry: "demoZk", 8 Protocol: dubbo.DUBBO, 9 Generic: true, 10 } 11) 12 13func init() { 14 referenceConfig.GenericLoad(appName) //appName is the unique identification of RPCService 15 time.Sleep(1 * time.Second) 16} 17 18// need to setup environment variable "CONF_CONSUMER_FILE_PATH" to "conf/client.yml" before run 19func main() { 20 call() 21} 22 23func call() { 24 // 设置attachment 25 ctx := context.WithValue(context.TODO(), constant.AttachmentKey, map[string]string{"tag":"test"}) 26 27 resp, err := referenceConfig.GetRPCService().(*config.GenericService).Invoke( 28 ctx, 29 []interface{}{ 30 "call", 31 []string{"org.newboo.basic.model.User"}, 32 []interface{}{map[string]string{"uid":"111","name":"roshi","remoteServiceTag":"hello"}}, 33 }, 34 ) 35 if err != nil { 36 panic(err) 37 } 38 gxlog.CInfo("success called res: %+v\n", resp) 39}

这里我设置了一个attachment,也能正常被provider识别

泛化调用原理

泛化调用GenericService是dubbo默认提供的一个服务。

其提供了一个名为$invoke的方法,该方法参数有三个,第一个参数是真实要调用的方法名,第二个是参数类型数组,第三个是真实的参数数组,其定义为

1public interface GenericService { 2 Object $invoke(String method, String[] parameterTypes, Object[] args) throws GenericException; 3 ... 4}

有了这三个参数,利用反射就能调用到真实的接口了。

java版实现细节

实现这种泛化调用主要涉及到两个filter:

  • consumer端的GenericImplFilter
  • provider端的GenericFilter

consumer端的filter将generic标志设置到attachment中,并封装调用为GenericService.$invoke

provider端filter判断请求是generic时进行拦截,获取调用方法名、参数、参数值,先序列化为pojo对象,再进行反射调用真实接口。

dubbo-go版细节

与java实现基本一致,其中generic_filter充当consumer端的filter,也是将调用封装为GenericService.$invoke,其中还涉及到一个参数类型的转换,将map转换为dubbo-go-hessian2.Object,这样provider端就可以将其反序列化为Object对象。

与其相关的版本变更如下

  • v1.3.0开始支持泛化调用
  • v1.4.0开始支持用户设置attachement
  • v.15.1开始支持动态tag路由
  • v1.5.7-rc1修复了直连provider时无法走filter的bug

踩坑:v1.5.7-rc1 之前如果使用直连provider的方式,不会走filter,导致参数序列化出错,provider端会报类型转换异常

结论

dubbo-go的泛化调用推荐使用>=v1.5.7-rc1版本,其功能几乎已和java版打平,甚至其实现都与java类似。

使用dubbo-go构建网关、接口测试平台、或者打通golang与java技术生态,不失为一个好的选择。


搜索关注微信公众号"捉虫大师",后端技术分享,架构设计、性能优化、源码阅读、问题排查、踩坑实践。

点赞
收藏

评论区

加载中...

相关推荐

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

升级dubbo,小心default.version

上周遇到个关于升级dubbo2.6到2.7的兼容性问题,差点造成线上故障,这里记录下,也给大家提个醒。问题回放有一个接口的提供方(dubbo2.6.6)这么配置接口的版本号xml<dubbo:providerversion"1.0.0"/消费方(也是dubbo2.6.6)的reference这么配置xml<dubbo:

排查dubbo接口重复注销问题,我发现了一个巧妙的设计

背景我在公司内负责自研的dubbo注册中心相关工作,群里经常接到业务方反馈dubbo接口注销报错。经排查,确定是同一个接口调用了两次注销接口导致,由于我们的注册中心注销接口不能重复调用,调用第二次会因为实例已经注销而报实例找不到的错误。虽然这个报错仅会打印一条错误日志,不影响业务,但本着followthrough的精神,我决定还是一探究竟,更何况重复注销

RPC接口测试(三) RPC接口测试

RPC接口测试接口测试主要分HTTP和RPC两类,RPC类型里面以Dubbo较为知名。互联网微服务架构,两种接口都需要做接口测试的,不管是业务测试还是回归测试;Dubbo:Java栈的互联网公司比如阿里、美团、58、滴滴、京东等等都是差不多的服务端架构,所以这些公司,两类接口测试也是必不可少的工作部分;Dubbo是一

Dubbo

  Dubbo中的一个关键接口LoadBalance,dubbo是按照其中的规则来调用多台provider的服务的。  先看一下接口的实现类图:  !(https://img2018.cnblogs.com/blog/1643369/201908/164336920190807154202043591634982.png)  从上图中我们

JavaWeb 调用接口

JavaWeb 如何调用接口CreateTime2018年4月2日19:04:29Author:Marydon1.所需jar包!(https://oscimg.oschina.net/oscnet/0f139