疯狂的蚂蚁 – 君子博学而日参省乎己，则知明而行无过矣。

将博客搬至CSDN

2019/04/25 by Crazyant

Python3用scan和delete命令批量清理redis数据

2019/03/20 by Crazyant

import redis
import time

redis_cache = redis.Redis(host="", port=0000, password="xxxx", db=1)

print("begin")

print(redis_cache.dbsize())

begin_pos = 0
while True:
    result = redis_cache.scan(begin_pos, "xxxxx_*", 100000)
    return_pos, datalist = result
    print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time())), return_pos)
    if len(datalist) &gt; 0:
        print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time())), "delete", len(datalist))
        redis_cache.delete(*datalist)

    if return_pos == 0:
        break
    begin_pos = return_pos

print("over")

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

import redis

import time

redis_cache = redis.Redis(host="", port=0000, password="xxxx", db=1)

print("begin")

print(redis_cache.dbsize())

begin_pos = 0

while True:

result = redis_cache.scan(begin_pos, "xxxxx_*", 100000)

return_pos, datalist = result

print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time())), return_pos)

if len(datalist) > 0:

print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time())), "delete", len(datalist))

redis_cache.delete(*datalist)

if return_pos == 0:

break

begin_pos = return_pos

print("over")

有几个知识点： scan命令的第一个入参从0 … [阅读全文…]

CentOS自己编译安装Python3的命令

2019/03/08 by Crazyant

yum install zlib-devel bzip2-devel openssl-devel ncurse … [阅读全文…]

PyCharm开发PySpark程序的配置和实例

2018/12/10 by Crazyant

对于PyCharm，需要作如下设置： 1、安装pyspark，它会自动安装py4j 2、在edit confi … [阅读全文…]

Spark数据倾斜解决方法

2018/06/25 by Crazyant 1 Comment

1、避免shuffle，改reduce join为map join，适用于JOIN的时候有一个表是小表的情况， … [阅读全文…]

读书笔记 – 数据驱动从方法到实践

2018/06/02 by Crazyant Leave a Comment

数据源和Event模型的重要性数据源很重要。若想把数据平台做好，数据源非常重要。如果我们从源头本身结构化，构 … [阅读全文…]

使用PaddlePaddle搭建卷积网络做文本数据分类

2018/05/23 by Crazyant 3 Comments

PaddlePaddle是百度开源的深度学习框架，采用和cafee类似的layer搭建的方式构建深度神经网络， … [阅读全文…]

使用Kmeans对Word2vec的输出做聚类

2018/05/04 by Crazyant Leave a Comment

Word2vec会产出每个词语的权重向量使用这个向量，可以直接对所有的词语聚类以下代码，以word2vec … [阅读全文…]

Hive实现返回MAP的UDF

2018/01/26 by Crazyant Leave a Comment

如果只是返回String，那么直接继承UDF即可，如果想要返回MAP/LIST/STRUCT，则需要继承Gen … [阅读全文…]

Python高级编程技巧

2017/09/04 by Crazyant 3 Comments

ipython的使用地址：https://ipython.org/install.html 简单的安装方法： … [阅读全文…]

快速找到Tomcat中最耗CPU的线程

2017/08/04 by Crazyant 1 Comment

1、找出TOMCAT的JVM的进程ID

[work@112542000 ~]$ jps                                                                                                                                         
290 Bootstrap                                                                                                                                                   
<span style="color: #ff6600;">61213 Jps                                                                                                                                                       
</span>

1

2

3

4

[work@112542000 ~]$ jps

290 Bootstrap

<span style="color: #ff6600;">61213 Jps

</span>

2、 … [阅读全文…]