HIVE之UDF函数开发

1

为什么要写UDF函数

       有时候hive自带的函数不能满足当前需要，需要自定义函数来解决问题

2

UDF，UDAF，UDTF的比较

• UDF操作作用于单个数据行，并且产生一个数据行作为输出。大多数函数都属于这一类（比如数学函数和字符串函数）。

• UDAF 接受多个输入数据行，并产生一个输出数据行。像COUNT和MAX这样的函数就是聚集函数。

• UDTF 操作作用于单个数据行，并且产生多个数据行，一个表作为输出。lateral view explore()

简单来说：

UDF:返回对应值，一对一

UDAF：返回聚类值，多对一

UDTF：返回拆分值，一对多

3

UDF函数开发

1

代码

pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

base64加密函数

package com.wedoctor;

base64解密函数

package com.wedoctor;

2

打包上传到运行hive所在的服务器

hive> add jar /usr/local/udf_demo.jar;

3

创建临时函数

hive> create temporary function test_en as 'com.wedoctor.Base64Encrypt';

4

加解密临时函数测试

hive> select test_en('1234');

hive> select test_de('MTIzNA==');

2020大数据面试题真题总结(附答案)

微信交流群

如何优化整个数仓的执行时长(比如7点所有任务跑完，如何优化到5点)

从0-1建设数仓遇到什么问题？怎么解决的？

多值维度及交叉维度最佳解决方案

深入探究order by,sort by,distribute by,cluster by

Hive调优，数据工程师成神之路

数据质量那点事

简述元数据管理

你真的了解全量表,增量表及拉链表吗？

缓慢变化维(SCD)常见解决方案

全方位解读星型模型,雪花模型及星座模型

Sqoop or Datax

left join(on&where)

ID-Mapping

你们公司还在用SparkOnYan吗？

大厂高频面试题-连续登录问题

朋友面试数据研发岗遇到的面试题

数据仓库分层架构

简单聊一聊大数据学习之路

朋友面试数据专家岗遇到的面试题

HADOOP快速入门

数仓工程师的利器-HIVE详解

本文分享自微信公众号 - 大数据私房菜（datagogogo）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。