在做ETL（下载、转换、导入）开发的时候，经常会遇到从MySQL中导出数据，经过计算后再导入到MySQL的场景。 那么有一个很难绕过的问题，如果源MySQL的字段中，包含了\t、\n特殊字符，该怎么办？ 因为导出文件时，默认是按照\t分割字段、\n分割行，现在字段中出现了\t和\n，这不是乱了吗？ 同时导入文件时，load data可以指定fields和lines的分隔符，默认情况都是\t和\n， … 继续阅读MySQL导入导出数据时遇到Tab符号和换行符号怎么办？
如果项目复杂，进行单元测试是保证降低出错率的好方法，Python提供的unittest可以很方便的实现单元测试，从而可以替换掉繁琐杂乱的main函数测试的方法，将测试用例、测试方法进行统一的管理和维护。 本文给出一个实例，很简单，看一下就明白了。 首先给出一个要测试的Python模块，代码如下：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | # coding:utf8 ''' 日期常用类 @author: www.crazyant.net ''' def get_date_year_month(pm_date): """获取参数pm_date对应的年份和月份 """ if not pm_date: raise Exception("get_curr_year_month: pm_date can not be None") # get date's yyyymmddHHMMSS pattern str_date = str(pm_date).replace("-", "").replace(" ", "").replace(":", "") year = str_date[:4] month = str_date[4:6] return year, month |
然后就可以编写测试脚本，代码如下： … 继续阅读Python使用unittest实现简单的单元测试实例
本文的代码，从https://github.com/cleverdeng/pinyin.py升级得来，针对原文的代码，做了以下升级：
1 2 3 4 | 1、可以传入参数firstcode：如果为true，只取汉子的第一个拼音字母；如果为false，则会输出全部拼音； 2、修复：如果为英文字母，则直接输出； 3、修复：如果分隔符为空字符串，仍然能正常输出； 4、升级：可以指定词典的文件路径 |
代码很简单，直接读取了一个词典（字符和英文的映射），然后挨个替换中文中的拼音即可；
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 | #!/usr/bin/env python # -*- coding:utf-8 -*- """ 原版代码：https://github.com/cleverdeng/pinyin.py 新增功能： 1、可以传入参数firstcode：如果为true，只取汉子的第一个拼音字母；如果为false，则会输出全部拼音； 2、修复：如果为英文字母，则直接输出； 3、修复：如果分隔符为空字符串，仍然能正常输出； 4、升级：可以指定词典的文件路径 """ __version__ = '0.9' __all__ = ["PinYin"] import os.path class PinYin(object): def __init__(self): self.word_dict = {} def load_word(self, dict_file): self.dict_file = dict_file if not os.path.exists(self.dict_file): raise IOError("NotFoundFile") with file(self.dict_file) as f_obj: for f_line in f_obj.readlines(): try: line = f_line.split(' ') self.word_dict[line[0]] = line[1] except: line = f_line.split(' ') self.word_dict[line[0]] = line[1] def hanzi2pinyin(self, string="", firstcode=False): result = [] if not isinstance(string, unicode): string = string.decode("utf-8") for char in string: key = '%X' % ord(char) value = self.word_dict.get(key, char) outpinyin = str(value).split()[0][:-1].lower() if not outpinyin: outpinyin = char if firstcode: result.append(outpinyin[0]) else: result.append(outpinyin) return result def hanzi2pinyin_split(self, string="", split="", firstcode=False): """提取中文的拼音 @param string:要提取的中文 @param split:分隔符 @param firstcode: 提取的是全拼还是首字母？如果为true表示提取首字母，默认为False提取全拼 """ result = self.hanzi2pinyin(string=string, firstcode=firstcode) return split.join(result) if __name__ == "__main__": test = PinYin() test.load_word('word.data') string = "Java程序性能优化-让你的Java程序更快更稳定" print "in: %s" % string print "out: %s" % str(test.hanzi2pinyin(string=string)) print "out: %s" % test.hanzi2pinyin_split(string=string, split="", firstcode=True) print "out: %s" % test.hanzi2pinyin_split(string=string, split="", firstcode=False) |
实例中main函数的代码输出结果 代码使用方法： … 继续阅读Python中文转拼音代码(支持全拼和首字母缩写)
Python用于处理文本数据绝对是个利器，极为简单的读取、分割、过滤、转换支持，使得开发者不需要考虑繁杂的流文件处理过程（相对于JAVA来说的，嘻嘻）。博主自己工作中，一些复杂的文本数据处理计算，包括在HADOOP上编写Streaming程序，均是用Python完成。 而在文本处理的过程中，将文件加载内存中是第一步，这就涉及到怎样将文件中的某一列映射到具体的变量的过程，最最愚笨的方法，就是按照字段 … 继续阅读Python使用list字段模式或者dict字段模式读取文件的方法
给大家带来自己制作的Python操作MySQL视频教程。本教程分为三节：Python开发环境搭建以及支持MySQL开发的插件安装、Python访问MySQL数据库的标准API规范接口讲解、Python开发MySQL程序实战编码演示。通过课 程的学习，大家能够基本掌握用Python开发MySQL程序。 视频高清版百度链接: http://pan.baidu.com/s/1DB0qM 密码: ri1n … 继续阅读Python操作MySQL视频教程
用到了os的两个接口： 1、列出文件夹中的所有文件（也包含目录） os.listdir(path) Return a list containing the names of the entries in the directory given by path. The list is in arbitrary order. It does not include the special entr … 继续阅读Python批量重命名文件的方法
文件是由很多行组成的，这些行组成一个列表，python提供了处理列表很有用的三个函数：map、reduce、filter。因此在文本处理中，可以使用这三个函数达到代码的更加精简清晰。 这里的map、reduce是python的内置函数，跟hadoop的map、reduce函数没有关系，不过使用的目的有点类似，map函数做预处理、reduce函数一般做聚合。 map、reduce、filter在文本 … 继续阅读Python内置函数map、reduce、filter在文本处理中的应用
最近遇到一个需求：mysql中A表和B表都有(id, age)字段，现在想读取B表的age字段，将其update到A表对应ID的age字段中去，我直接想到了一种方案：用Python读取B表，获得{id:age}形式的数据，然后根据每个ID和age的值依次update A表。 两个表分别定义和数据如下： A表定义： Field Type Comment id int(11) name … 继续阅读mysql根据A表更新B表的方法
python访问mysql比较简单，细节请参考我的另一篇文章：链接 自己平时也就用到两个mysql函数：查询和更新，下面是自己常用的函数的封装，大家拷贝过去直接可以使用。 文件名：DBUtil.py
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 | # -*- encoding:utf8 -*- ''' @author: crazyant.net @version: 2013-10-22 封装的mysql常用函数 ''' import MySQLdb class DB(): def __init__(self, DB_HOST, DB_PORT, DB_USER, DB_PWD, DB_NAME): self.DB_HOST = DB_HOST self.DB_PORT = DB_PORT self.DB_USER = DB_USER self.DB_PWD = DB_PWD self.DB_NAME = DB_NAME self.conn = self.getConnection() def getConnection(self): return MySQLdb.Connect( host=self.DB_HOST, #设置MYSQL地址 port=self.DB_PORT, #设置端口号 user=self.DB_USER, #设置用户名 passwd=self.DB_PWD, #设置密码 db=self.DB_NAME, #数据库名 charset='utf8' #设置编码 ) def query(self, sqlString): cursor=self.conn.cursor() cursor.execute(sqlString) returnData=cursor.fetchall() cursor.close() self.conn.close() return returnData def update(self, sqlString): cursor=self.conn.cursor() cursor.execute(sqlString) self.conn.commit() cursor.close() self.conn.close() if __name__=="__main__": db=DB('127.0.0.1',3306,'root','','wordpress') print db.query("show tables;") |
使用方法为文件下面的main函数，使用query执行select语句并获取结果；或者使用update进行insert、delete等操 … 继续阅读Python访问MySQL封装的常用类
有两种方法可以在Python中执行SHELL程序，方法一是使用Python的commands包，方法二则是使用subprocess包，这两个包均是Python现有的内置模块。 使用python内置commands模块执行shell commands对Python的os.popen()进行了封装，使用SHELL命令字符串作为其参数，返回命令的结果数据以及命令执行的状态； 该命令目前已经废弃，被sub … 继续阅读python执行shell的两种方法