hive – 码蚁编程

Hive实现返回MAP的UDF

如果只是返回String，那么直接继承UDF即可，如果想要返回MAP/LIST/STRUCT，则需要继承GenericUDF；如下代码示例，将URL中的参数进行了解析成了一个MAP返回：

import java.util.LinkedHashMap;

import java.util.Map;

import org.apache.commons.lang.StringUtils;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;

import org.apache.hadoop.hive.ql.metadata.HiveException;

import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;

import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;

import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;

import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import org.apache.hadoop.hive.serde2.objectinspector.primitive.StringObjectInspector;

import org.apache.hadoop.io.Text;

public class UrlParamsToMap extends GenericUDF {

private final Map<Text, Text> sortMap = new LinkedHashMap<Text, Text>();

private StringObjectInspector urlOI;

@Override

public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {

if (arguments.length != 1) {

throw new UDFArgumentException("UrlParamsToMap param must be 1 argu.");

}

urlOI = (StringObjectInspector) arguments[0];

return ObjectInspectorFactory.getStandardMapObjectInspector(

PrimitiveObjectInspectorFactory.writableStringObjectInspector,

PrimitiveObjectInspectorFactory.writableStringObjectInspector);

}

@Override

public Object evaluate(DeferredObject[] deferredObjects) throws HiveException {

Object urlObj = deferredObjects[0].get();

Text url = (Text) urlOI.getPrimitiveWritableObject(urlObj);

getParamsMap(url.toString(), sortMap);

return sortMap;

}

public Map<Text, Text> getParamsMap(String url, Map<Text, Text> sortMap) {

Map<Text, Text> defaultMap = new LinkedHashMap<Text, Text>();

if (StringUtils.isBlank(url)) {

return defaultMap;

}

String[] urlSplits = url.split("\\?");

if (null == urlSplits || urlSplits.length != 2) {

return defaultMap;

}

String urlParamStr = urlSplits[1];

if (StringUtils.isBlank(urlParamStr)) {

return defaultMap;

}

String[] paramSplits = urlParamStr.split("&");

if (null == paramSplits || paramSplits.length == 0) {

return defaultMap;

}

for (String kvStr : paramSplits) {

if (StringUtils.isBlank(kvStr)) {

continue;

}

String[] kvs = kvStr.split("=");

if (null != kvs && kvs.length == 2) {

if (StringUtils.isNotBlank(kvs[0]) && StringUtils.isNotBlank(kvs[1])) {

sortMap.put(new Text(kvs[0]), new Text(kvs[1]));

}

return sortMap;

}

@Override

public String getDisplayString(String[] strings) {

return "map(" + strings[0] + ")";

}

转载请注明来自：疯狂的蚂蚁www.crazyant.net

Hive开发经验问答式总结

本文对Hive开发中遇到的问题进行了问答式总结，通过代码实例讲解了hive传参、优化方法、使用HIVE技巧、Streaming扩展等特性。

Hive取非Group by字段数据的方法

遇到这么一个需求，输入数据为一个ID对应多个name，要求输出数据为ID是唯一的，name随便取一个就可以。执行以下hive ql语句：

SELECT

sid,

class_id

FROM

table2

GROUP BY sid ;

会报错：

1	FAILED: Error in semantic analysis: Line 1:18 Expression not in GROUP BY key 'class_id'

查了一下，HIVE有这么一个函数collect_set，类似于mysql的group_concat函数，把每个分组的其 … 继续阅读Hive取非Group by字段数据的方法

Hive的left join、left outer join和left semi join三者的区别

Hive的Join的文档说明地址： https://cwiki.apache.org/confluence/display/Hive/LanguageManual%2BJoins 以下为两个测试数据表建表语句：

use test;

DROP TABLE IF EXISTS table1;

create table table1(

student_no bigint comment '学号',

student_name string comment '姓名'

)

COMMENT 'test 学生信息'

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t'

LINES TERMINATED BY '\n'

STORED AS TEXTFILE;

DROP TABLE IF EXISTS table2;

create table table2(

student_no bigint comment '学号',

class_no bigint comment '课程号'

)

COMMENT 'test 学生选课信息'

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t'

LINES TERMINATED BY '\n'

STORED AS TEXTFILE;

load data local inpath 'data_table1.txt' overwrite into table table1;

load data local inpath 'data_table2.txt' overwrite into table table2;

测试数据为： hive left join测试数据测试1：left join 语句： select * from tab … 继续阅读Hive的left join、left outer join和left semi join三者的区别

Hive基于HADOOP来执行分布式程序的，和普通单机程序不同的一个特点就是最终的数据会产生多个子文件，每个reducer节点都会处理partition给自己的那份数据产生结果文件，这导致了在HADOOP环境下很难对数据进行全局排序，如果在HADOOP上进行order by全排序，会导致所有的数据集中在一台reducer节点上，然后进行排序，这样很可能会超过单个节点的磁盘和内存存储能力导致任务失败 … 继续阅读Hive中Order by和Sort by的区别是什么?

向Hive程序传递变量的三种方法

图 1 外部向Hive程序中传递变量的方法使用Hive编写程序最常用的方法是将Hive语句写到文件中，然后使用hive -f filename.hql来批量执行查询语句。经常需要将外部参数传入到hql语句中替换其中的变量来动态执行任务，比如动态设定数据库名、表名、时间值、字段序列等变量，以达到脚本泛化执行的目的。 1) 方法1：字符串、正则、模板引擎等暴力方式替换最简单也最暴力的方式，是在hq … 继续阅读向Hive程序传递变量的三种方法

把HIVE程序优化30倍的经验

今天遇到一个HIVE需求，输入只有4列，大概160MB，需要引用一些字典文件，然后输出70列数据；典型的复杂计算，由于HIVE无法单独实现，采用TRANSFORM写了PYTHON脚本实现；刚开始写完，map.tasks被设置为7个，结果运行了40分钟还没结束；以下是一些改进的过程： 1、修改mapred.map.tasks无法实现修改map.tasks数目的目的，迂回的办法是将 … 继续阅读把HIVE程序优化30倍的经验

Hive使用TRANSFORM运行Python脚本总结

1、Python环境设置可以使用add cachearchive的方法把tar.gz添加到分布式缓存，Hive会自动解压压缩包，但是目录名是和压缩包名称一样的； add cachearchive ${env:my_workbench}/share/python2.7.tar.gz; –这样使用 using 'python2.7.tar.gz/bin/python my.py& … 继续阅读Hive使用TRANSFORM运行Python脚本总结

[转]Hive中对group结果分组取limit N值的实现

转载引言：数据处理中遇到了取全国各个省份的效果数据先排序后limit 100的需求，HIVE自带功能无法实现，网上搜了下该文章的方法直接拷贝过来就能实现。将其中的代码复制过来后可以用maven打成Jar包，然后在hive中即可使用。观察代码可以看出，由于是取各个分组的top数据，因此可以先用distribute和sort进行数据分区并排序，在各个reduce节点上，由于运行的是单个JVM虚拟机 … 继续阅读[转]Hive中对group结果分组取limit N值的实现

HIVE的几个使用技巧

1.小表在前，大表在后，如果表很小就用mapjoin 写JOIN的时候，将小表写在JOIN的前面，这样HIVE就会将小表载入内存，然后扫描大表。如果表足够的小，就使用map join。 2.设定map的并发数，保证一次map结束；根据输入数据量估计reduce的tasks数目，并根据运行中间数据情况修正； http://superlxw1234.iteye.com/blog/1582880 3. … 继续阅读HIVE的几个使用技巧