Skip to content

蚂蚁学Python

博学之、审问之、慎思之、明辨之、笃行之

  • 视频课程
  • 关于我

hive

Categories hive

Hive实现返回MAP的UDF

2023-03-122018-01-26 Leave a comment by crazyant

如果只是返回String,那么直接继承UDF即可,如果想要返回MAP/LIST/STRUCT,则需要继承Gen … Read more Hive实现返回MAP的UDF


Categories hive

Hive开发经验问答式总结

2023-03-122014-11-01 2 Comments by crazyant

本文对Hive开发中遇到的问题进行了问答式总结,通过代码实例讲解了hive传参、优化方法、使用HIVE技巧、Streaming扩展等特性。


Categories hive

Hive取非Group by字段数据的方法

2023-03-122014-07-31 1 Comment by crazyant

遇到这么一个需求,输入数据为一个ID对应多个name,要求输出数据为ID是唯一的,name随便取一个就可以。 … Read more Hive取非Group by字段数据的方法


Categories hive

Hive的left join、left outer join和left semi join三者的区别

2023-03-122014-06-30 6 Comments by crazyant

Hive的Join的文档说明地址: https://cwiki.apache.org/confluence/d … Read more Hive的left join、left outer join和left semi join三者的区别


Categories hive

Hive中Order by和Sort by的区别是什么?

2023-03-122014-06-19 Leave a comment by crazyant

Hive基于HADOOP来执行分布式程序的,和普通单机程序不同的一个特点就是最终的数据会产生多个子文件,每个r … Read more Hive中Order by和Sort by的区别是什么?


Categories hive

向Hive程序传递变量的三种方法

2023-03-122014-06-19 Leave a comment by crazyant

图 1 外部向Hive程序中传递变量的方法 使用Hive编写程序最常用的方法是将Hive语句写到文件中,然后使 … Read more 向Hive程序传递变量的三种方法


Categories hive

把HIVE程序优化30倍的经验

2023-03-122014-05-28 Leave a comment by crazyant

今天遇到一个HIVE需求,输入只有4列,大概160MB,需要引用一些字典文件,然后输出70列数据; 典型的复杂 … Read more 把HIVE程序优化30倍的经验


Categories hive

Hive使用TRANSFORM运行Python脚本总结

2023-03-122014-05-07 1 Comment by crazyant

1、Python环境设置 可以使用add cachearchive的方法把tar.gz添加到分布式缓存,Hiv … Read more Hive使用TRANSFORM运行Python脚本总结


Post navigation
Older posts
1 2 Next →

文章分类

  • C++ (8)
  • chatgpt (3)
  • django (16)
  • docker (4)
  • fastapi (3)
  • flask (11)
  • hadoop (5)
  • hive (14)
  • java (20)
  • javascript (1)
  • kafka (1)
  • linux (18)
  • mac (4)
  • mysql (26)
  • numpy (2)
  • paddlepaddle (1)
  • pandas (42)
  • php (39)
  • pyecharts (1)
  • pyqt (6)
  • python (34)
  • python环境 (30)
  • python趣味小程序 (3)
  • redis (4)
  • sklearn (1)
  • spark (6)
  • tensorflow (3)
  • zookeeper (1)
  • 产品想法 (1)
  • 办公自动化 (10)
  • 大数据 (1)
  • 大模型 (3)
  • 推荐系统 (7)
  • 数据科学 (1)
  • 数据结构与算法 (1)
  • 机器学习 (4)
  • 爬虫 (24)
  • 电商 (2)
  • 程序人生 (26)
  • 程序员自媒体 (12)
  • 腾讯课堂 (1)
  • 自动化测试 (1)
  • 读书心得 (8)
  • 软件工具 (9)
  • 量化投资 (6)
© 2025 蚂蚁学Python • Theme Xena