Apache Kudu 不能删除不存在的数据

使用Apache Kudu客户端,对KafkaConnect Sink 进行扩展。

使用的Apache Kudu 的Java 客户端。突然有天发现作业无法提交,一直报错。

后来才发现这是Kudu自身的一种校验机制。为了忽略这种校验机制,更符合我们的SQL习惯,我对代码做了改造。

而在Kudu的提交配置上,使用了手动提交的配置。而且我也建议使用手动提交的配置,这样效率更好,提交后对于异常数据的处理更加完整。

配置方式如下:

session.setFlushMode(SessionConfiguration.FlushMode.MANUAL_FLUSH);

1public void flush() throws KuduException { 2 final List<OperationResponse> responses = session.flush(); 3 for (OperationResponse response : responses) { 4 if(!response.hasRowError()){ // 没错误 继续运行 5 continue; 6 } 7 8 String errorStr = response.getRowError().toString(); 9 if(errorStr.contains("key not found")){ 10 log.warn("encounter key not found error.More details =>" 11 + " table: " + response.getRowError().getOperation().getTable().getName() 12 + " row:" + response.getRowError().getOperation().getRow().stringifyRowKey()); 13 continue; 14 } 15 throw new ConnectException("Failed to flush one or more changes. " + 16 "Transaction rolled back: " 17 + response.getRowError().toString() + " oper info ->" 18 + " table: " + response.getRowError().getOperation().getTable().getName() 19 + " row:" + response.getRowError().getOperation().getRow().stringifyRowKey() 20 ); 21 } 22}
点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

MySQL部分从库上面因为大量的临时表tmp_table造成慢查询

背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_

皕杰报表之UUID

​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

java将前端的json数组字符串转换为列表

记录下在前端通过ajax提交了一个json数组的字符串,在后端如何转换为列表。前端数据转化与请求varcontracts{id:'1',name:'yanggb合同1'},{id:'2',name:'yanggb合同2'},{id:'3',name:'yang