python – 码蚁编程

Java和Python使用Grpc访问Tensorflow的Serving代码

发现网上大量的代码都是mnist，我自己反正不是搞图像处理的，所以这个例子我怎么都不想搞； wide&deep这种，包含各种特征的模型，才是我的需要，iris也是从文本训练模型，所以非常简单；本文给出Python和Java访问Tensorflow的Serving代码。 Java版本使用Grpc访问Tensorflow的Serving代码 [crayon-5d58c6d80d80e8573 … 继续阅读Java和Python使用Grpc访问Tensorflow的Serving代码

Flask怎样从其他Python文件导入app.route视图函数

用Blueprint这个东西实现；主文件： flask_main.py

import flask

from flask_pyecharts.flask_moudle2 import account_api

app = flask.Flask(__name__)

app.register_blueprint(account_api)

@app.route("/hello")

def hello():

return "hello"

app.run()

引入的一个Module的文件，这个文件中写了视图函数 flask_moudle2.py

from flask import Blueprint

account_api = Blueprint('account_api', __name__)

@account_api.route("/account")

def accountList():

return "list of accounts"

界面上访问第一个函数和第二个函数都返回正常贴一下官网蓝图的解释： Flask 用蓝图（blueprin … 继续阅读Flask怎样从其他Python文件导入app.route视图函数

Python3用scan和delete命令批量清理redis数据

import redis

import time

redis_cache = redis.Redis(host="", port=0000, password="xxxx", db=1)

print("begin")

print(redis_cache.dbsize())

begin_pos = 0

while True:

result = redis_cache.scan(begin_pos, "xxxxx_*", 100000)

return_pos, datalist = result

print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time())), return_pos)

if len(datalist) > 0:

print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time())), "delete", len(datalist))

redis_cache.delete(*datalist)

if return_pos == 0:

break

begin_pos = return_pos

print("over")

有几个知识点： scan命令的第一个入参从0开始代表从头扫描 scan命令的返回是(pos, [])元组，第一个pos可以作为下次扫描的入参pos，第二个值就是扫描到的KEY scan命令的第三个参数，是本次扫描的KEY数目，比如传递10万个，但是返回的LIST可能是0，因为有0个匹配 redis的delete命令传递的是array … 继续阅读Python3用scan和delete命令批量清理redis数据

CentOS自己编译安装Python3的命令

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel 参照：https://blog.51cto.com/13544424/2149473 解决缺少SSL问题(安装1.1.1版本)，然后往下走 & … 继续阅读CentOS自己编译安装Python3的命令

PyCharm开发PySpark程序的配置和实例

对于PyCharm，需要作如下设置： 1、安装pyspark，它会自动安装py4j 2、在edit configuration中，add content root，选择spark下载包的python/pyspark/lib下的pyspark.zip和py4j.zip两个包；代码实例：

from pyspark.sql import Row

from pyspark.sql import SparkSession

logFile = "file:///Users/peishuaishuai/tmp/sparktest.txt" # Should be some file on your system

spark = SparkSession.builder.appName("SimpleApp").getOrCreate()

input = spark.read.text(logFile).rdd.map(

lambda x: str(x[0]).split("\t")

).filter(

lambda x: len(x) == 2

).map(

lambda x: Row(name=x[0], grade=int(x[1]))

)

schemaData = spark.createDataFrame(input)

schemaData.createOrReplaceTempView("tb")

print(schemaData.count())

schemaData.printSchema()

datas = spark.sql("select name,sum(grade) from tb group by name").rdd.map(

lambda x: "\t".join([x[0], str(x[1])])

)

datas.repartition(3).saveAsTextFile("file:///Users/peishuaishuai/tmp/sparktest_output")

spark.stop()

输入数据为： [crayon-5 … 继续阅读PyCharm开发PySpark程序的配置和实例

Python高级编程技巧

ipython的使用地址：https://ipython.org/install.html 简单的安装方法：pip install ipython 一些方便的使用方法：输入要查看的对象，然后输入一个问号可以查看API，输入两个问号可以查看代码可以直接调用shell命令，在前面带上！即可按Tab可以自动语法补全最近的命令输出结果，可以从_、__、___三个变量获得 %hist或者%hist … 继续阅读Python高级编程技巧

怎样借助Python爬虫给宝宝起个好名字

2019-03-31更新：代码的python3简化版本： https://github.com/peiss/chinese-name-score/tree/master/chinese-name-score/python3 代码的视频讲解（我的付费视频课程中的一节）： https://www.iqiyi.com/v_19rsj1yvy8.html 每个人一生中都会遇到一件事情，在事情出现之前不会 … 继续阅读怎样借助Python爬虫给宝宝起个好名字

Python使用unittest实现简单的单元测试实例

如果项目复杂，进行单元测试是保证降低出错率的好方法，Python提供的unittest可以很方便的实现单元测试，从而可以替换掉繁琐杂乱的main函数测试的方法，将测试用例、测试方法进行统一的管理和维护。本文给出一个实例，很简单，看一下就明白了。首先给出一个要测试的Python模块，代码如下：

# coding:utf8

'''

日期常用类

@author: www.crazyant.net

'''

def get_date_year_month(pm_date):

"""获取参数pm_date对应的年份和月份

"""

if not pm_date:

raise Exception("get_curr_year_month: pm_date can not be None")

# get date's yyyymmddHHMMSS pattern

str_date = str(pm_date).replace("-", "").replace(" ", "").replace(":", "")

year = str_date[:4]

month = str_date[4:6]

return year, month

然后就可以编写测试脚本，代码如下： … 继续阅读Python使用unittest实现简单的单元测试实例

Python中文转拼音代码(支持全拼和首字母缩写)

本文的代码，从https://github.com/cleverdeng/pinyin.py升级得来，针对原文的代码，做了以下升级：

1、可以传入参数firstcode：如果为true，只取汉子的第一个拼音字母；如果为false，则会输出全部拼音；

2、修复：如果为英文字母，则直接输出；

3、修复：如果分隔符为空字符串，仍然能正常输出；

4、升级：可以指定词典的文件路径

代码很简单，直接读取了一个词典（字符和英文的映射），然后挨个替换中文中的拼音即可；

#!/usr/bin/env python

# -*- coding:utf-8 -*-

"""

原版代码：https://github.com/cleverdeng/pinyin.py

新增功能：

1、可以传入参数firstcode：如果为true，只取汉子的第一个拼音字母；如果为false，则会输出全部拼音；

2、修复：如果为英文字母，则直接输出；

3、修复：如果分隔符为空字符串，仍然能正常输出；

4、升级：可以指定词典的文件路径

"""

__version__ = '0.9'

__all__ = ["PinYin"]

import os.path

class PinYin(object):

def __init__(self):

self.word_dict = {}

def load_word(self, dict_file):

self.dict_file = dict_file

if not os.path.exists(self.dict_file):

raise IOError("NotFoundFile")

with file(self.dict_file) as f_obj:

for f_line in f_obj.readlines():

try:

line = f_line.split(' ')

self.word_dict[line[0]] = line[1]

except:

line = f_line.split(' ')

self.word_dict[line[0]] = line[1]

def hanzi2pinyin(self, string="", firstcode=False):

result = []

if not isinstance(string, unicode):

string = string.decode("utf-8")

for char in string:

key = '%X' % ord(char)

value = self.word_dict.get(key, char)

outpinyin = str(value).split()[0][:-1].lower()

if not outpinyin:

outpinyin = char

if firstcode:

result.append(outpinyin[0])

else:

result.append(outpinyin)

return result

def hanzi2pinyin_split(self, string="", split="", firstcode=False):

"""提取中文的拼音

@param string:要提取的中文

@param split:分隔符

@param firstcode: 提取的是全拼还是首字母？如果为true表示提取首字母，默认为False提取全拼

"""

result = self.hanzi2pinyin(string=string, firstcode=firstcode)

return split.join(result)

if __name__ == "__main__":

test = PinYin()

test.load_word('word.data')

string = "Java程序性能优化-让你的Java程序更快更稳定"

print "in: %s" % string

print "out: %s" % str(test.hanzi2pinyin(string=string))

print "out: %s" % test.hanzi2pinyin_split(string=string, split="", firstcode=True)

print "out: %s" % test.hanzi2pinyin_split(string=string, split="", firstcode=False)

实例中main函数的代码输出结果代码使用方法： … 继续阅读Python中文转拼音代码(支持全拼和首字母缩写)

Python使用list字段模式或者dict字段模式读取文件的方法

Python用于处理文本数据绝对是个利器，极为简单的读取、分割、过滤、转换支持，使得开发者不需要考虑繁杂的流文件处理过程（相对于JAVA来说的，嘻嘻）。博主自己工作中，一些复杂的文本数据处理计算，包括在HADOOP上编写Streaming程序，均是用Python完成。而在文本处理的过程中，将文件加载内存中是第一步，这就涉及到怎样将文件中的某一列映射到具体的变量的过程，最最愚笨的方法，就是按照字段 … 继续阅读Python使用list字段模式或者dict字段模式读取文件的方法