Schedulis 0.6.0 版本发布

Schedulis

0.6.0 版本发布

Schedulis****0.6.0

Schedulis 是一个基于LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。

开源链接:

https://github.com/WeBankFinTech/Schedulis

Schedulis 0.6.0新版本特性

01

特性增强

调度策略/功能扩展

  • 新增工作流循环执行调度策略,支持工作流串行循环执行,同时支持丰富的失败和告警策略,适用于需要一直不间断跑批的工作流。

  • 新增历史批次重跑的调度策略,支持工作流基于历史日期或者历史的某一时间段进行重跑,同时提供了丰富的时间配置方式,高效的并发能力,以及告警方式。

  • 新增多个维度的调度开关,系统级别的开关可关闭整个系统的调度功能,工作流级别的调度开关可对某一个工作流关闭调度。

工作流参数

  • 支持在工作流运行时将某一个运行时的参数展示在页面上的执行历史表格内,方便区分同名工作流的不同批次。

  • 系统内置变量定义方式支持在properties中定义和使用。

UI交互优化

  • 支持快速检索用户日志中的LinkisJobId和YARNId。

  • 支持对工作流结构图进行一键放大,优化对工作流进行编排,显示时间信息。

02

Bug修复

  • 修复在使用email告警的时候,页面配置告警邮箱不生效的问题。

  • 修复opendj 相关包在打包的时候无法打入依赖的问题。

03

未来展望

Schedulis0.6.0版本,重点解决了现有版本在工作流调度策略上的不完善,提供了历史重跑,循环执行两种调度策略,同时在参数定义展示上、调度功能上更加方便灵活,优化了现有UI在工作流中作业比较多的情况比较拥挤的情况; 在后续的版本中,我们将会提供事件驱动,动态任务分片等高级特性,同时在架构上对现有系统进行优化,在易用性,故障转移,弹性伸缩等能力上推出更多的容器化特性,丰富云原生场景,希望可以和社区同学们一道共同努力,共同为Schedulis贡献。

04

云资源

项目jobtype插件的依赖和配置,打包下载链接: https://pan.baidu.com/s/1V0pyhzwRCNdVgDhkNYWUhQ

提取码: hcnk (由于文件较大,所以放在网盘进行管理)

扫码或点击“阅读原文”进入GitHub

WeDataSphere,BIG DATA MADE EASY.

用心做一个有温度的开源社区

欢迎关注

扫码关注我们

微信号公众号 : WeDataSphere

GitHub:WeDataSphere

如果喜欢我们的产品或文章,请给我们的GitHub点上你宝贵的star和fork哦~~

本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

MySQL部分从库上面因为大量的临时表tmp_table造成慢查询

背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_

皕杰报表之UUID

​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

java将前端的json数组字符串转换为列表

记录下在前端通过ajax提交了一个json数组的字符串,在后端如何转换为列表。前端数据转化与请求varcontracts{id:'1',name:'yanggb合同1'},{id:'2',name:'yanggb合同2'},{id:'3',name:'yang