本文的代码涉及几个知识点，都是比较有用： 1、Spark用JAVA编写代码的方式； 2、Spark读取MySQL数据表，并且使用的是自定义SQL的方式，默认会读取整个表的； 3、Spark使用sql.functions的原有方法，给dataframe新增列、变更列； 4、Spark使用udf的自定义函数，给dataframe新增列、变更列； [crayon-5d58bb0e063a09255374 … 继续阅读Spark使用JAVA编写自定义函数修改DataFrame
在做ETL（下载、转换、导入）开发的时候，经常会遇到从MySQL中导出数据，经过计算后再导入到MySQL的场景。 那么有一个很难绕过的问题，如果源MySQL的字段中，包含了\t、\n特殊字符，该怎么办？ 因为导出文件时，默认是按照\t分割字段、\n分割行，现在字段中出现了\t和\n，这不是乱了吗？ 同时导入文件时，load data可以指定fields和lines的分隔符，默认情况都是\t和\n， … 继续阅读MySQL导入导出数据时遇到Tab符号和换行符号怎么办？
为什么有了事务这东西，还需要乐观锁悲观锁？事务是粗粒度的概念、乐观锁悲观锁可以更细粒度的控制； 比如抢票，假设余票只有1张；隔离级别可以保证事务A和事务B不能读到对方的数据，也不能更新对方正在更新的数据，但是事务A和事务B都认为还有1张余票，于是出票，并更新为0； 事务解决了并发问题，已经不存在并发问题了； 但是事务B读取的是过时数据，依据过时数据做了业务处理； 所以需要乐观锁或者悲观锁，来记录一 … 继续阅读有了事务为什么还需要乐观锁和悲观锁
给大家带来自己制作的Python操作MySQL视频教程。本教程分为三节：Python开发环境搭建以及支持MySQL开发的插件安装、Python访问MySQL数据库的标准API规范接口讲解、Python开发MySQL程序实战编码演示。通过课 程的学习，大家能够基本掌握用Python开发MySQL程序。 视频高清版百度链接: http://pan.baidu.com/s/1DB0qM 密码: ri1n … 继续阅读Python操作MySQL视频教程
如果是对MySQL整个表数据导出，可以参照文章：http://crazyant.net/1355.html 然而也会遇到的场景是，需要执行一个SQL语句，然后将SQL语句的结果输出到文件； 方法一：使用MySQL的select * into outfile ‘/tmp/rs.txt’ from tb_name句型 这是个不可行的方法； 举个例子，执行以下的SQL语句： [c … 继续阅读MySQL执行Select语句将结果导出到文件的方法
转自：http://www.oschina.net/question/12_3673 1、进去指定schema 数据库（存放了其他的数据库的信息） mysql> use information_schema; Database changed 2、查询所有数据的大小 mysql> select concat(round(sum(DATA_LENGTH/1024/1024), … 继续阅读MySQL 查看数据库中每个表占用的空间大小
mysqldump是mysql自带的一个数据导入导出工具，其官方注释为： shell> mysqldump [options] db_name [tbl_name …] shell> mysqldump [options] –databases db_name … shell> mysqldump [options] –all-da … 继续阅读MySQL数据导入导出实例教程手册
MySQL本身是支持一条update语句更新多个表的，有时候这是非常有用的一个特性。 Multiple-table syntax UPDATE [LOW_PRIORITY] [IGNORE] table_references SET col_name1={expr1|DEFAULT} [, col_name2={expr2|DEFAULT}] … … 继续阅读MySQL一条语句更新多个表的方法
最近遇到一个需求：mysql中A表和B表都有(id, age)字段，现在想读取B表的age字段，将其update到A表对应ID的age字段中去，我直接想到了一种方案：用Python读取B表，获得{id:age}形式的数据，然后根据每个ID和age的值依次update A表。 两个表分别定义和数据如下： A表定义： Field Type Comment id int(11) name … 继续阅读mysql根据A表更新B表的方法
python访问mysql比较简单，细节请参考我的另一篇文章：链接 自己平时也就用到两个mysql函数：查询和更新，下面是自己常用的函数的封装，大家拷贝过去直接可以使用。 文件名：DBUtil.py
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 | # -*- encoding:utf8 -*- ''' @author: crazyant.net @version: 2013-10-22 封装的mysql常用函数 ''' import MySQLdb class DB(): def __init__(self, DB_HOST, DB_PORT, DB_USER, DB_PWD, DB_NAME): self.DB_HOST = DB_HOST self.DB_PORT = DB_PORT self.DB_USER = DB_USER self.DB_PWD = DB_PWD self.DB_NAME = DB_NAME self.conn = self.getConnection() def getConnection(self): return MySQLdb.Connect( host=self.DB_HOST, #设置MYSQL地址 port=self.DB_PORT, #设置端口号 user=self.DB_USER, #设置用户名 passwd=self.DB_PWD, #设置密码 db=self.DB_NAME, #数据库名 charset='utf8' #设置编码 ) def query(self, sqlString): cursor=self.conn.cursor() cursor.execute(sqlString) returnData=cursor.fetchall() cursor.close() self.conn.close() return returnData def update(self, sqlString): cursor=self.conn.cursor() cursor.execute(sqlString) self.conn.commit() cursor.close() self.conn.close() if __name__=="__main__": db=DB('127.0.0.1',3306,'root','','wordpress') print db.query("show tables;") |
使用方法为文件下面的main函数，使用query执行select语句并获取结果；或者使用update进行insert、delete等操 … 继续阅读Python访问MySQL封装的常用类