MySQL导入导出数据时遇到Tab符号和换行符号怎么办?

在做ETL(下载、转换、导入)开发的时候,经常会遇到从MySQL中导出数据,经过计算后再导入到MySQL的场景。 那么有一个很难绕过的问题,如果源MySQL的字段中,包含了\t、\n特殊字符,该怎么办? 因为导出文件时,默认是按照\t分割字段、\n分割行,现在字段中出现了\t和\n,这不是乱了吗? 同时导入文件时,load data可以指定fields和lines的分隔符,默认情况都是\t和\n, … 继续阅读MySQL导入导出数据时遇到Tab符号和换行符号怎么办?

Python使用unittest实现简单的单元测试实例

如果项目复杂,进行单元测试是保证降低出错率的好方法,Python提供的unittest可以很方便的实现单元测试,从而可以替换掉繁琐杂乱的main函数测试的方法,将测试用例、测试方法进行统一的管理和维护。 本文给出一个实例,很简单,看一下就明白了。 首先给出一个要测试的Python模块,代码如下:

然后就可以编写测试脚本,代码如下: … 继续阅读Python使用unittest实现简单的单元测试实例

Python中文转拼音代码(支持全拼和首字母缩写)

本文的代码,从https://github.com/cleverdeng/pinyin.py升级得来,针对原文的代码,做了以下升级:

代码很简单,直接读取了一个词典(字符和英文的映射),然后挨个替换中文中的拼音即可;

实例中main函数的代码输出结果 代码使用方法: … 继续阅读Python中文转拼音代码(支持全拼和首字母缩写)

Python使用list字段模式或者dict字段模式读取文件的方法

Python用于处理文本数据绝对是个利器,极为简单的读取、分割、过滤、转换支持,使得开发者不需要考虑繁杂的流文件处理过程(相对于JAVA来说的,嘻嘻)。博主自己工作中,一些复杂的文本数据处理计算,包括在HADOOP上编写Streaming程序,均是用Python完成。 而在文本处理的过程中,将文件加载内存中是第一步,这就涉及到怎样将文件中的某一列映射到具体的变量的过程,最最愚笨的方法,就是按照字段 … 继续阅读Python使用list字段模式或者dict字段模式读取文件的方法

Python操作MySQL视频教程

给大家带来自己制作的Python操作MySQL视频教程。本教程分为三节:Python开发环境搭建以及支持MySQL开发的插件安装、Python访问MySQL数据库的标准API规范接口讲解、Python开发MySQL程序实战编码演示。通过课 程的学习,大家能够基本掌握用Python开发MySQL程序。 视频高清版百度链接: http://pan.baidu.com/s/1DB0qM 密码: ri1n … 继续阅读Python操作MySQL视频教程

Python内置函数map、reduce、filter在文本处理中的应用

文件是由很多行组成的,这些行组成一个列表,python提供了处理列表很有用的三个函数:map、reduce、filter。因此在文本处理中,可以使用这三个函数达到代码的更加精简清晰。 这里的map、reduce是python的内置函数,跟hadoop的map、reduce函数没有关系,不过使用的目的有点类似,map函数做预处理、reduce函数一般做聚合。 map、reduce、filter在文本 … 继续阅读Python内置函数map、reduce、filter在文本处理中的应用

mysql根据A表更新B表的方法

最近遇到一个需求:mysql中A表和B表都有(id, age)字段,现在想读取B表的age字段,将其update到A表对应ID的age字段中去,我直接想到了一种方案:用Python读取B表,获得{id:age}形式的数据,然后根据每个ID和age的值依次update A表。 两个表分别定义和数据如下: A表定义: Field Type Comment id int(11)   name … 继续阅读mysql根据A表更新B表的方法

Python访问MySQL封装的常用类

python访问mysql比较简单,细节请参考我的另一篇文章:链接 自己平时也就用到两个mysql函数:查询和更新,下面是自己常用的函数的封装,大家拷贝过去直接可以使用。 文件名:DBUtil.py

使用方法为文件下面的main函数,使用query执行select语句并获取结果;或者使用update进行insert、delete等操 … 继续阅读Python访问MySQL封装的常用类

python执行shell的两种方法

有两种方法可以在Python中执行SHELL程序,方法一是使用Python的commands包,方法二则是使用subprocess包,这两个包均是Python现有的内置模块。 使用python内置commands模块执行shell commands对Python的os.popen()进行了封装,使用SHELL命令字符串作为其参数,返回命令的结果数据以及命令执行的状态; 该命令目前已经废弃,被sub … 继续阅读python执行shell的两种方法