编程笔记

设置hadoop的map和reduce的task的并发执行数目

set mapred.job.map.capacity=2000;
set mapred.job.reduce.capacity=500;

Linux统计各个磁盘的使用率&&统计当前目录下的目录大小

统计各个磁盘的使用率

df -h

统计当前目录下，各个目录的大小

du -h --max-depth=1 ./

Linux环境启动MySQL服务器

cd /home/mysql/mysql/bin && ./mysql.server start

向MySQL中load全量数据的SQL（load data)

load data local infile '/home/work/cust_20151019' 
replace into table `tb_cust` 
fields terminated by '\t' 
lines terminated by '\n' ignore 0 
lines (cid,cname);

Maven Mybatis 自动生成mapper/model的命令

mvn mybatis-generator:generate

SecureCRT向Linux上传文件的命令

# 上传小文件
rz
# 上传大文件
rz -bey

Python中出现\u5957\u9910类字符转换成中文的方法

使用以下命令即可转换：

define_string.decode("unicode_escape")

Shell判断后台进程是否全部结束的方法

sh -x backtask.sh &
[[ $? -eq 0 ]] || exit 1

# 等待子进程结束
for pid in $(jobs -p); do
	wait $pid
	[[ $? -eq 0 ]] || exit 1
done

MySQL描述table带注释

show full columns from tb_hospital;

Hdfs查看inode数目的命令

倒数第三列的数字，就是innode数目

hadoop fs -count -q -h /hive/warehouse/xx.db/*