Spark使用JAVA编写自定义函数修改DataFrame

本文的代码涉及几个知识点,都是比较有用: 1、Spark用JAVA编写代码的方式; 2、Spark读取MySQL数据表,并且使用的是自定义SQL的方式,默认会读取整个表的; 3、Spark使用sql.functions的原有方法,给dataframe新增列、变更列; 4、Spark使用udf的自定义函数,给dataframe新增列、变更列; [crayon-5d58bb0e063a09255374 … 继续阅读Spark使用JAVA编写自定义函数修改DataFrame

MySQL导入导出数据时遇到Tab符号和换行符号怎么办?

在做ETL(下载、转换、导入)开发的时候,经常会遇到从MySQL中导出数据,经过计算后再导入到MySQL的场景。 那么有一个很难绕过的问题,如果源MySQL的字段中,包含了\t、\n特殊字符,该怎么办? 因为导出文件时,默认是按照\t分割字段、\n分割行,现在字段中出现了\t和\n,这不是乱了吗? 同时导入文件时,load data可以指定fields和lines的分隔符,默认情况都是\t和\n, … 继续阅读MySQL导入导出数据时遇到Tab符号和换行符号怎么办?

有了事务为什么还需要乐观锁和悲观锁

为什么有了事务这东西,还需要乐观锁悲观锁?事务是粗粒度的概念、乐观锁悲观锁可以更细粒度的控制; 比如抢票,假设余票只有1张;隔离级别可以保证事务A和事务B不能读到对方的数据,也不能更新对方正在更新的数据,但是事务A和事务B都认为还有1张余票,于是出票,并更新为0; 事务解决了并发问题,已经不存在并发问题了; 但是事务B读取的是过时数据,依据过时数据做了业务处理; 所以需要乐观锁或者悲观锁,来记录一 … 继续阅读有了事务为什么还需要乐观锁和悲观锁

Python操作MySQL视频教程

给大家带来自己制作的Python操作MySQL视频教程。本教程分为三节:Python开发环境搭建以及支持MySQL开发的插件安装、Python访问MySQL数据库的标准API规范接口讲解、Python开发MySQL程序实战编码演示。通过课 程的学习,大家能够基本掌握用Python开发MySQL程序。 视频高清版百度链接: http://pan.baidu.com/s/1DB0qM 密码: ri1n … 继续阅读Python操作MySQL视频教程

MySQL执行Select语句将结果导出到文件的方法

如果是对MySQL整个表数据导出,可以参照文章:http://crazyant.net/1355.html 然而也会遇到的场景是,需要执行一个SQL语句,然后将SQL语句的结果输出到文件; 方法一:使用MySQL的select * into outfile ‘/tmp/rs.txt’ from tb_name句型 这是个不可行的方法; 举个例子,执行以下的SQL语句: [c … 继续阅读MySQL执行Select语句将结果导出到文件的方法

MySQL 查看数据库中每个表占用的空间大小

转自:http://www.oschina.net/question/12_3673 1、进去指定schema 数据库(存放了其他的数据库的信息)  mysql> use information_schema; Database changed 2、查询所有数据的大小 mysql> select concat(round(sum(DATA_LENGTH/1024/1024), … 继续阅读MySQL 查看数据库中每个表占用的空间大小

mysql根据A表更新B表的方法

最近遇到一个需求:mysql中A表和B表都有(id, age)字段,现在想读取B表的age字段,将其update到A表对应ID的age字段中去,我直接想到了一种方案:用Python读取B表,获得{id:age}形式的数据,然后根据每个ID和age的值依次update A表。 两个表分别定义和数据如下: A表定义: Field Type Comment id int(11)   name … 继续阅读mysql根据A表更新B表的方法

Python访问MySQL封装的常用类

python访问mysql比较简单,细节请参考我的另一篇文章:链接 自己平时也就用到两个mysql函数:查询和更新,下面是自己常用的函数的封装,大家拷贝过去直接可以使用。 文件名:DBUtil.py

使用方法为文件下面的main函数,使用query执行select语句并获取结果;或者使用update进行insert、delete等操 … 继续阅读Python访问MySQL封装的常用类