PyCharm开发PySpark程序的配置和实例
对于PyCharm，需要作如下设置： 1、安装pyspark，它会自动安装py4j 2、在edit confi … [阅读全文…]
未分类
Spark数据倾斜解决方法
1、避免shuffle，改reduce join为map join，适用于JOIN的时候有一个表是小表的情况， … [阅读全文…]
读书笔记 – 数据驱动从方法到实践
数据源和Event模型的重要性 数据源很重要。若想把数据平台做好，数据源非常重要。如果我们从源头本身结构化，构 … [阅读全文…]
使用PaddlePaddle搭建卷积网络做文本数据分类
PaddlePaddle是百度开源的深度学习框架，采用和cafee类似的layer搭建的方式构建深度神经网络， … [阅读全文…]
使用Kmeans对Word2vec的输出做聚类
Word2vec会产出每个词语的权重向量 使用这个向量，可以直接对所有的词语聚类 以下代码，以word2vec … [阅读全文…]
Hive实现返回MAP的UDF
如果只是返回String，那么直接继承UDF即可，如果想要返回MAP/LIST/STRUCT，则需要继承Gen … [阅读全文…]
Python高级编程技巧
ipython的使用 地址：https://ipython.org/install.html 简单的安装方法： … [阅读全文…]
快速找到Tomcat中最耗CPU的线程
1、找出TOMCAT的JVM的进程ID
|
1 2 3 4 |
[work@112542000 ~]$ jps 290 Bootstrap <span style="color: #ff6600;">61213 Jps </span> |
2、 … [阅读全文…]
Java线程池ThreadPoolExecutor详解
1、线程池的工作原理？ 线程池刚创建时，里面没有一个线程。任务队列是作为参数传进来的。不过，就算队列里面有任务 … [阅读全文…]
Zookeeper并不保证读取的是最新数据
如果是对zk进行读取操作，读取到的数据可能是过期的旧数据，不是最新的数据。 已上图为例，如果一个zk集群有10 … [阅读全文…]
Mybatis源码解读-初始化过程详解
在使用Mybatis时，我们通常将其配置在Spring容器中，当Spring启动的时候会自动加载Mybatis … [阅读全文…]
怎样借助Python爬虫给宝宝起个好名字
每个人一生中都会遇到一件事情，在事情出现之前不会关心，但是事情一旦来临就发现它极其重要，并且需要在很短的时间内 … [阅读全文…]
Mybatis源码解读-设计模式总结
虽然我们都知道有26个设计模式，但是大多停留在概念层面，真实开发中很少遇到，Mybatis源码中使用了大量的设 … [阅读全文…]
打工者心态、主人公意识、个人公司品牌
作为一个雇员，我们拿工资养活自己，应该秉持着什么样的心态工作呢？ 打工者心态要不得，他们认为做多少工作就应该发 … [阅读全文…]
Tomcat内存分析相关方法(jmap和mat)
Linux环境命令行 首先，根据进程命令，获取运行的tomcat的进程ID [crayon-5c41175b7 … [阅读全文…]
如此重要但是经常被忽视的代码架构！
软件开发的生命周期，大致都是一样的流程： 需求分析，产出概念模型 概要设计，包括系统边界设计、内部架构设计、设 … [阅读全文…]
Stay hungry, Stay foolish
即使穷尽一生的精力，我们又能探索到世界的多少精彩？ 要永远保持饥饿，不要停止永远追寻和追求的步伐，去探索现实世 … [阅读全文…]
MAC挂载NTFS移动硬盘进行读写操作
NTFS是Windows NT File System (NTFS)的意思，是Windows特有的文件系统，所 … [阅读全文…]
工程师的月亮和六便士
《月亮和六便士》是英国作家威廉·萨默塞特·毛姆的三大长篇力作之一，完成于1919年。作品以法国印象摄画家保罗· … [阅读全文…]
MAC环境堪比Visio的画图神器
Windows下使用Visio画框图、流程图非常方便，切换到MAC后，一直苦恼找不到一个可以替代的画图工具。 … [阅读全文…]