设置hadoop的map和reduce的task的并发执行数目
1 2 | set mapred.job.map.capacity=2000; set mapred.job.reduce.capacity=500; |
Linux统计各个磁盘的使用率&&统计当前目录下的目录大小
统计各个磁盘的使用率
1 | df -h |
统计当前目录下，各个目录的大小
1 | du -h --max-depth=1 ./ |
Linux环境启动MySQL服务器
1 | cd /home/mysql/mysql/bin && ./mysql.server start |
向MySQL中load全量数据的SQL（load data)
1 2 3 4 5 | load data local infile '/home/work/cust_20151019' replace into table `tb_cust` fields terminated by '\t' lines terminated by '\n' ignore 0 lines (cid,cname); |
Maven Mybatis 自动生成mapper/model的命令
1 | mvn mybatis-generator:generate |
SecureCRT向Linux上传文件的命令
1 2 3 4 | # 上传小文件 rz # 上传大文件 rz -bey |
Python中出现\u5957\u9910类字符转换成中文的方法
使用以下命令即可转换：
1 | define_string.decode("unicode_escape") |
Shell判断后台进程是否全部结束的方法
1 2 3 4 5 6 7 8 9 | sh -x backtask.sh & [[ $? -eq 0 ]] || exit 1 # 等待子进程结束 for pid in $(jobs -p); do wait $pid [[ $? -eq 0 ]] || exit 1 done |
MySQL描述table带注释
1 | show full columns from tb_hospital; |
Hdfs查看inode数目的命令
倒数第三列的数字，就是innode数目
1 2 | hadoop fs -count -q -h /hive/warehouse/xx.db/* |