MapReduce文件切分个数计算方法
Hadoop的MapReduce计算的第一个阶段是InputFormat处理的,先将文件进行切分,然后将每个切 … 继续阅读MapReduce文件切分个数计算方法
Hadoop的MapReduce计算的第一个阶段是InputFormat处理的,先将文件进行切分,然后将每个切 … 继续阅读MapReduce文件切分个数计算方法
虽然一直在使用HADOOP、HIVE等技术在处理T级别的数据,认为自己也属于大数据领域的人了,然而对于什么是大 … 继续阅读《大数据时代》是一部科幻小说
有些命令工作中经常用到,记录在一个文章里用于查阅,本文经常更新。 shell命令 linux统计某个目录下所有 … 继续阅读shell/hadoop/hive一些有用命令收集
java是hadoop开发的标准官方语言,本文下载了官方的WordCount.java并对其进行了编译和打包, … 继续阅读hadoop第一个程序WordCount.java的编译运行过程
目录 1. Join操作分清join的类型很重要… 2. 启动程序中key字段和partit … 继续阅读Hadoop-Streaming实战经验及问题解决方法总结
文章分析了hadoop借助streaming功能借助python完成map reduce的功能,并对集合间join操作的需求进行阐述,然后进行了具体实例代码的编写,同时对join操作进行了归类和易采坑的总结。