Contents
设置hadoop的map和reduce的task的并发执行数目
set mapred.job.map.capacity=2000; set mapred.job.reduce.capacity=500;
Linux统计各个磁盘的使用率&&统计当前目录下的目录大小
统计各个磁盘的使用率
df -h
统计当前目录下,各个目录的大小
du -h --max-depth=1 ./
Linux环境启动MySQL服务器
cd /home/mysql/mysql/bin && ./mysql.server start
向MySQL中load全量数据的SQL(load data)
load data local infile '/home/work/cust_20151019' replace into table `tb_cust` fields terminated by '\t' lines terminated by '\n' ignore 0 lines (cid,cname);
Maven Mybatis 自动生成mapper/model的命令
mvn mybatis-generator:generate
SecureCRT向Linux上传文件的命令
# 上传小文件 rz # 上传大文件 rz -bey
Python中出现\u5957\u9910类字符转换成中文的方法
使用以下命令即可转换:
define_string.decode("unicode_escape")
Shell判断后台进程是否全部结束的方法
sh -x backtask.sh & [[ $? -eq 0 ]] || exit 1 # 等待子进程结束 for pid in $(jobs -p); do wait $pid [[ $? -eq 0 ]] || exit 1 done
MySQL描述table带注释
show full columns from tb_hospital;
Hdfs查看inode数目的命令
倒数第三列的数字,就是innode数目
hadoop fs -count -q -h /hive/warehouse/xx.db/*