Skip to content

蚂蚁学Python

你有没有为写代码拼过命?那你知不知道 人生苦短,我用Python?

  • 关于我

hive

Categories hive

Hive实现返回MAP的UDF

2023-03-122018-01-26 Leave a comment by crazyant

如果只是返回String,那么直接继承UDF即可,如果想要返回MAP/LIST/STRUCT,则需要继承Gen … Read more Hive实现返回MAP的UDF


Categories hive

Hive开发经验问答式总结

2023-03-122014-11-01 2 Comments by crazyant

本文对Hive开发中遇到的问题进行了问答式总结,通过代码实例讲解了hive传参、优化方法、使用HIVE技巧、Streaming扩展等特性。


Categories hive

Hive取非Group by字段数据的方法

2023-03-122014-07-31 1 Comment by crazyant

遇到这么一个需求,输入数据为一个ID对应多个name,要求输出数据为ID是唯一的,name随便取一个就可以。 … Read more Hive取非Group by字段数据的方法


Categories hive

Hive的left join、left outer join和left semi join三者的区别

2023-03-122014-06-30 6 Comments by crazyant

Hive的Join的文档说明地址: https://cwiki.apache.org/confluence/d … Read more Hive的left join、left outer join和left semi join三者的区别


Categories hive

Hive中Order by和Sort by的区别是什么?

2023-03-122014-06-19 Leave a comment by crazyant

Hive基于HADOOP来执行分布式程序的,和普通单机程序不同的一个特点就是最终的数据会产生多个子文件,每个r … Read more Hive中Order by和Sort by的区别是什么?


Categories hive

向Hive程序传递变量的三种方法

2023-03-122014-06-19 Leave a comment by crazyant

图 1 外部向Hive程序中传递变量的方法 使用Hive编写程序最常用的方法是将Hive语句写到文件中,然后使 … Read more 向Hive程序传递变量的三种方法


Categories hive

把HIVE程序优化30倍的经验

2023-03-122014-05-28 Leave a comment by crazyant

今天遇到一个HIVE需求,输入只有4列,大概160MB,需要引用一些字典文件,然后输出70列数据; 典型的复杂 … Read more 把HIVE程序优化30倍的经验


Categories hive

Hive使用TRANSFORM运行Python脚本总结

2023-03-122014-05-07 1 Comment by crazyant

1、Python环境设置 可以使用add cachearchive的方法把tar.gz添加到分布式缓存,Hiv … Read more Hive使用TRANSFORM运行Python脚本总结


Post navigation
Older posts
1 2 Next →

文章分类

  • C++ (8)
  • django (12)
  • flask (6)
  • hadoop (5)
  • hive (14)
  • java (20)
  • javascript (1)
  • linux (16)
  • mac (2)
  • mysql (22)
  • numpy (1)
  • paddlepaddle (1)
  • pandas (33)
  • php (39)
  • python (31)
  • python环境 (10)
  • python趣味小程序 (3)
  • redis (3)
  • spark (6)
  • tensorflow (3)
  • zookeeper (1)
  • 产品想法 (1)
  • 办公自动化 (8)
  • 推荐系统 (5)
  • 数据科学 (1)
  • 数据结构与算法 (1)
  • 机器学习 (4)
  • 爬虫 (16)
  • 程序人生 (25)
  • 程序员自媒体 (12)
  • 腾讯课堂 (1)
  • 自动化测试 (1)
  • 读书心得 (8)
  • 软件工具 (7)
  • 量化投资 (6)
© 2023 蚂蚁学Python • Theme Xena