Skip to content

蚂蚁学Python

分享Python干货知识的个人博客

  • 首页
  • pandas
  • 爬虫
  • 推荐系统
  • 关于我
    • 留言小本
    • 冥想资料
    • 编程笔记
    • 常用资源
    • 个人书单
    • 个人箴言

hive

Categories 未分类

Hive实现返回MAP的UDF

2019-07-282018-01-26 Leave a comment by crazyant

如果只是返回String,那么直接继承UDF即可,如果想要返回MAP/LIST/STRUCT,则需要继承Gen … Read more Hive实现返回MAP的UDF


Categories 未分类

Hive开发经验问答式总结

2014-11-022014-11-01 2 Comments by crazyant

本文对Hive开发中遇到的问题进行了问答式总结,通过代码实例讲解了hive传参、优化方法、使用HIVE技巧、Streaming扩展等特性。


Categories 未分类

Hive取非Group by字段数据的方法

2019-07-282014-07-31 1 Comment by crazyant

遇到这么一个需求,输入数据为一个ID对应多个name,要求输出数据为ID是唯一的,name随便取一个就可以。 … Read more Hive取非Group by字段数据的方法


Categories 未分类

Hive的left join、left outer join和left semi join三者的区别

2019-07-292014-06-30 6 Comments by crazyant

Hive的Join的文档说明地址: https://cwiki.apache.org/confluence/d … Read more Hive的left join、left outer join和left semi join三者的区别


Categories 未分类

Hive中Order by和Sort by的区别是什么?

2019-07-282014-06-19 Leave a comment by crazyant

Hive基于HADOOP来执行分布式程序的,和普通单机程序不同的一个特点就是最终的数据会产生多个子文件,每个r … Read more Hive中Order by和Sort by的区别是什么?


Categories 未分类

向Hive程序传递变量的三种方法

2019-07-282014-06-19 Leave a comment by crazyant

图 1 外部向Hive程序中传递变量的方法 使用Hive编写程序最常用的方法是将Hive语句写到文件中,然后使 … Read more 向Hive程序传递变量的三种方法


Categories 未分类

把HIVE程序优化30倍的经验

2019-07-282014-05-28 Leave a comment by crazyant

今天遇到一个HIVE需求,输入只有4列,大概160MB,需要引用一些字典文件,然后输出70列数据; 典型的复杂 … Read more 把HIVE程序优化30倍的经验


Categories 未分类

Hive使用TRANSFORM运行Python脚本总结

2014-05-07 1 Comment by crazyant

1、Python环境设置 可以使用add cachearchive的方法把tar.gz添加到分布式缓存,Hiv … Read more Hive使用TRANSFORM运行Python脚本总结


Post navigation
Older posts
1 2 Next →

微信公众号:蚂蚁学Python

标签

apache c++ django excel flask hadoop hive java javascript jquery jvm linux mac maven mybatis mysql pandas php python qt redis seo shell spark svn tensorflow tomcat ubuntu vim win7 word wordpress 大数据 安全 推荐系统 操作系统 数据分析 数据库 机器学习 爬虫 程序人生 站长 算法 织梦 设计

近期文章

  • Python GIL 全局解释器锁 的 相关资料
  • Python爬取分析拉勾网职位数据
  • Python爬虫的常见依赖库大全
  • Python网络爬虫付费代理IP推荐
  • Python使用Faiss库实现ANN近邻搜索

分享文章

© 2021 蚂蚁学Python • Theme Xena