本次共找到 3785etl工具 相关的文章

4年前
【工具篇】使用concurrentHashMap实现缓存工具类
📢📢📢📣📣📣哈喽!大家好,今天给大家带来一个使用concurrentHashMap封装的缓存工具类,并提供了常用的方法:存入缓存、查找缓存、删除缓存、获取缓存大小等等;✨个人博客:✨✨公众号:【SimpleMemory】✨❤️❤️❤️如果有对【后端技术】感兴趣的大佬们,欢迎关注!!!❤️❤️❤️ 示例代码:importlombok.extern.slf4j.Slf4j;importjava.util.;importjava.util.concurrent.;/@authorxxkfz
4年前
FinaShell工具 xshell替代的ssh工具
FinaShell介绍主要特性:FinaShell介绍FinalShell是一体化的的服务器,网络管理软件,不仅是ssh客户端,还是功能强大的开发,运维工具,充分满足开发,运维需求.官网http://www.hostbuf.com/(https://www.oschina.net/ac
4年前
Neo4j 导入 Nebula Graph 的实践总结
摘要:主要介绍如何通过官方ETL工具Exchange将业务线上数据从Neo4j直接导入到NebulaGraph以及在导入过程中遇到的问题和优化方法。本文首发于Nebula论坛:https://discuss.nebulagraph.com.cn/t/topic/2044(https://www.oschina.net/a
4年前
ETL工具datax任务构建可视化管理datax
一登录datax可视化管理系统dataxweb网址:http://127.0.0.1:8080/index.html(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2F127.0.0.
4年前
Hive SQL使用过程中的奇怪现象
hive是基于Hadoop的一个数据仓库工具,用来进行数据的ETL,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能。HiveSQL是一种类SQL语言,与关系型数据库所支持的SQL语法存在微小的差异。本文对比MySQL和Hive所支持的SQL语法,发现相同的SQL语句在
4年前
Apache Hudi:说出来你可能不信,你的ETL任务慢如狗
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/771be910f34647eba7e47c2baa02652c.jpg)!(https://oscimg.oschina.net/oscnet/957ddc56657b48c8
4年前
Golang处理大数据时使用高效的Pipeline(流水线)执行模型
Golang被证明非常适合并发编程,goroutine比异步编程更易读、优雅、高效。本文提出一个适合由Golang实现的Pipeline执行模型,适合批量处理大量数据(ETL)的情景。想象这样的应用情景:(1)从数据库A(Cassandra)加载用户评论(量巨大,例如10亿条);(2)根据每条评论的用户ID、从数据库B(MySQL)关联用户资
4年前
PostgreSQL的SQL语句中的双引号引发的问题
最近开发一个WEB的ETL工具需要用到不同的数据源。第一次用POSTGRESQL发现一个双引号引发的问题:标准的SQL是不区分大小写的。但是PostgreSQL对于数据库中对象的名字允许使用支持大小写区分的定义和引用方法。方式就是在DDL中用双引号把希望支持大小的对象名括起来。比如希望创建一个叫AAA的表。如果用CREATETABLEAAA(
4年前
mysql 工具
mysql增加慢日志vim my.conf\超过1s的查询会记录到日志文件中long\_query\_time1logslowqueries/data/var/mysql\_slow.log\记录没用索引的查询logqueriesnotusinginde
4年前
Sqlserver 计算两坐标距离函数
markifexists(selectfromdbo.sysobjectswhereidobject_id(N'UF_ETL_GetDistance')andxtypein(N'FN',N'IF',N'TF'))dropfunctionUF_ETL_GetDistanceGO
4年前
Flink 中定时加载外部数据
社区中有好几个同学问过这样的场景:  flink任务中,source进来的数据,需要连接数据库里面的字段,再做后面的处理这里假设一个ETL的场景,输入数据包含两个字段“type,userid....”,需要根据type,连接一张mysql的配置表,关联type对应的具体内容。相对于输入数据的数量,type的值是很少的
4年前
DevOps工具
来源文章:http://www.infoq.com/cn/news/2016/09/learndevopsfromreports?utm\_sourceinfoq&utm\_mediumpopular\_widget&utm\_campaignpopular\_content\_list&utm\_contenthomepage(http
4年前
Kettle构建Hadoop ETL实践(一):ETL与Kettle
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/c89e158d10cd4b32aa814d82441219a9.jpg)!(https://oscimg.oschina.net/oscnet/5e8f53277a9c4e51
4年前
Kafka实战解惑
一、Kafka简介Kafka是LinkedIn使用Scala开发的一个分布式消息中间件,它以水平扩展能力和高吞吐率著称,被广泛用于日志处理、ETL等应用场景。Kafka具有以下主要特点:\\消息的发布、订阅均具有高吞吐量:\\据统计数字表明,Kafka每秒可以生产约25万消息(50MB),每秒处理55万消息(110MB)。
4年前
Java获取系统信息
/  @version 1.0  @author 勋辉  @createDate 2014年3月15日 上午10:02:18  @since JDK1.6      /package com.topwalk.moc.etl.util;
4年前
Serverless对日志服务中的数据进行ETL处理
云栖号最佳实践:【点击查看更多上云最佳实践(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fyqh.aliyun.com%2F%3Fspm%3D5176.13955521.J_1633660880.6.24de2d32k5DR39%26aly_as%3DvV1mo4E9%26cate
4年前
SmartCode.ETL 这不是先有鸡还是蛋的问题!
!SmartCode(https://img2018.cnblogs.com/blog/457833/201811/45783320181106095554083468048996.png)继国庆节SmartCode正式版(SmartCode.Generator)发布之后,SmartCode迎来了新的能力SmartCode.ETL!
4年前
Kettle构建Hadoop ETL实践(二):安装与配置
点击上方蓝色字体,选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/bab3ab8729664e4292cd3d91cf2b98fb.jpg)!(https://oscimg.oschina.net/oscnet/1c9db90b4b05450e
4年前
ETL基础知识,看完这一篇应该够了!
!(https://oscimg.oschina.net/oscnet/4da9087f2f994a9cb1b1820c220432e7.gif)点击箭头处“JAVA日知录”,关注并星标哟!!ETL基础概念ETL基础概念背景随着企业的发展,各业务线、产品线、部