未分类 – 码蚁编程

CentOS自己编译安装Python3的命令

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel 参照：https://blog.51cto.com/13544424/2149473 解决缺少SSL问题(安装1.1.1版本)，然后往下走 & … 继续阅读CentOS自己编译安装Python3的命令

Spark数据倾斜解决方法

1、避免shuffle，改reduce join为map join，适用于JOIN的时候有一个表是小表的情况，直接使用collect()获取小表的所有数据，然后brodcast，对大表进行MAP，MAP时直接提取broadcast的小表数据实现JOIN； 2、随机数的方案，对于聚合类操作，可以分步骤进行聚合，第一步，在原来的KEY后面加上随机数（比如1~10），然后进行聚合（比如SUM操作）；第二 … 继续阅读Spark数据倾斜解决方法

使用PaddlePaddle搭建卷积网络做文本数据分类

PaddlePaddle是百度开源的深度学习框架，采用和cafee类似的layer搭建的方式构建深度神经网络，当前也在试图发布fluid新版本提供算子级别的网络构建技能，最近有一个文本分类的需求，试着使用paddle进行了实验，对paddle的使用体验为：文档不全，特别简陋模型库比较好，即使不懂的用法，可以搜索代码查找用法； github的问题回复比较及时感觉Paddle是在大力推广和发展的 … 继续阅读使用PaddlePaddle搭建卷积网络做文本数据分类

Tomcat内存分析相关方法(jmap和mat)

Linux环境命令行首先，根据进程命令，获取运行的tomcat的进程ID

1	ps aux \| grep tomcat \| grep java \| grep bsc

在第二列可以看到进程ID 然后使用jmap可以查看内存占比：

1	/home/work/bsc/java/jdk-1.7-7u60/bin/jmap -heap 7840

输出的结果包括了内存各个部分的占比：

[work@xxxx.com logs]$ /home/work/bsc/java/jdk-1.7-7u60/bin/jmap -heap 10433

Attaching to process ID 10433, please wait...

Debugger attached successfully.

Server compiler detected.

JVM version is 24.60-b09

using parallel threads in the new generation.

using thread-local object allocation.

Concurrent Mark-Sweep GC

Heap Configuration:

MinHeapFreeRatio = 40

MaxHeapFreeRatio = 70

MaxHeapSize = 8388608000 (8000.0MB)

NewSize = 1048576000 (1000.0MB)

MaxNewSize = 1048576000 (1000.0MB)

OldSize = 5439488 (5.1875MB)

NewRatio = 2

SurvivorRatio = 8

PermSize = 134217728 (128.0MB)

MaxPermSize = 268435456 (256.0MB)

G1HeapRegionSize = 0 (0.0MB)

Heap Usage:

New Generation (Eden + 1 Survivor Space):

capacity = 943718400 (900.0MB)

used = 393328672 (375.1074523925781MB)

free = 550389728 (524.8925476074219MB)

41.67860582139757% used

Eden Space:

capacity = 838860800 (800.0MB)

used = 288471072 (275.1074523925781MB)

free = 550389728 (524.8925476074219MB)

34.388431549072266% used

From Space:

capacity = 104857600 (100.0MB)

used = 104857600 (100.0MB)

free = 0 (0.0MB)

100.0% used

To Space:

capacity = 104857600 (100.0MB)

used = 0 (0.0MB)

free = 104857600 (100.0MB)

0.0% used

concurrent mark-sweep generation:

capacity = 1288736768 (1229.03515625MB)

used = 706435104 (673.7090148925781MB)

free = 582301664 (555.3261413574219MB)

54.816089797478334% used

Perm Generation:

capacity = 134217728 (128.0MB)

used = 65034240 (62.021484375MB)

free = 69183488 (65.978515625MB)

48.45428466796875% used

27139 interned Strings occupying 3055832 bytes.

如上可以清楚的看到内存配置 … 继续阅读Tomcat内存分析相关方法(jmap和mat)

如此重要但是经常被忽视的代码架构！

软件开发的生命周期，大致都是一样的流程：需求分析，产出概念模型概要设计，包括系统边界设计、内部架构设计、设计决策详细设计，包括代码架构，业务逻辑实现开发代码单元测试、连通测试部署上线系统运维这样的流程，开发代码这个步骤，其实是个分界点，它实现了前面的设计，同时开发好的代码会最终的进行测试和运行。正常情况下，概念模型、边界交互设计、数据流设计、系统内部架构设计、设计决策等等，都会产 … 继续阅读如此重要但是经常被忽视的代码架构！

Log4j将不同Package的日志输出到不同的文件的方法

随着项目规模的越来越大，会不断的引入新的模块，不同的模块都会打印自己的日志，最后就造成日志根本没法查看，比如我自己的项目中，就存在以下这些日志：接收外界消息的日志、对外发送消息的日志；后台常驻线程的处理日志；外部接口访问的参数、返回结果等接口日志； Service访问数据库产生的SQL日志；这其中，消息日志和后台线程的日志数据量非常庞大，如果所有日志打印在一个文件中，使用tail -f l … 继续阅读Log4j将不同Package的日志输出到不同的文件的方法

MySQL导入导出数据时遇到Tab符号和换行符号怎么办？

在做ETL（下载、转换、导入）开发的时候，经常会遇到从MySQL中导出数据，经过计算后再导入到MySQL的场景。那么有一个很难绕过的问题，如果源MySQL的字段中，包含了\t、\n特殊字符，该怎么办？因为导出文件时，默认是按照\t分割字段、\n分割行，现在字段中出现了\t和\n，这不是乱了吗？同时导入文件时，load data可以指定fields和lines的分隔符，默认情况都是\t和\n， … 继续阅读MySQL导入导出数据时遇到Tab符号和换行符号怎么办？

使用PHPUnit编写PHP单元测试的方法

局限于Java的testng在eclipse中非常强大的手动单测方法这个框框，我试图一直给eclipse安装PHP的测试框架，却发现一直出问题，最后才发觉，PHPUnit的单测思想是直接的脚本测试PHP文件，避免手工的操作。测试本来就应该自动化，不是吗？所以我接受了PHPUnit的命令行测试方法，而不是在eclipse中手动的右键运行测试。 PHPUnit官网：https://phpunit.d … 继续阅读使用PHPUnit编写PHP单元测试的方法

Bash Shell怎样检查文件是否存在？

在类Unix系统的Bash环境下，怎样检查文件是否存在呢？ Shell中的test命令，可以用来检测文件的类型或者比较数值是否相等，该命令也能用来检查文件是否存在。可以用如下的命令来进行检查：

test -e filename

[ -e filename ]

test -f filename

[ -f filename ]

下面的命令，则使用Shell的条件表达式，判断/etc/hosts文件是否存在： [crayon-5d58c4fb0f2c74885881 … 继续阅读Bash Shell怎样检查文件是否存在？

Python使用unittest实现简单的单元测试实例

如果项目复杂，进行单元测试是保证降低出错率的好方法，Python提供的unittest可以很方便的实现单元测试，从而可以替换掉繁琐杂乱的main函数测试的方法，将测试用例、测试方法进行统一的管理和维护。本文给出一个实例，很简单，看一下就明白了。首先给出一个要测试的Python模块，代码如下：

# coding:utf8

'''

日期常用类

@author: www.crazyant.net

'''

def get_date_year_month(pm_date):

"""获取参数pm_date对应的年份和月份

"""

if not pm_date:

raise Exception("get_curr_year_month: pm_date can not be None")

# get date's yyyymmddHHMMSS pattern

str_date = str(pm_date).replace("-", "").replace(" ", "").replace(":", "")

year = str_date[:4]

month = str_date[4:6]

return year, month

然后就可以编写测试脚本，代码如下： … 继续阅读Python使用unittest实现简单的单元测试实例