发现网上大量的代码都是mnist，我自己反正不是搞图像处理的，所以这个例子我怎么都不想搞； wide&deep这种，包含各种特征的模型，才是我的需要，iris也是从文本训练模型，所以非常简单； 本文给出Python和Java访问Tensorflow的Serving代码。 Java版本使用Grpc访问Tensorflow的Serving代码 [crayon-5d58bd55e56069809 … 继续阅读Java和Python使用Grpc访问Tensorflow的Serving代码
本文的代码涉及几个知识点，都是比较有用： 1、Spark用JAVA编写代码的方式； 2、Spark读取MySQL数据表，并且使用的是自定义SQL的方式，默认会读取整个表的； 3、Spark使用sql.functions的原有方法，给dataframe新增列、变更列； 4、Spark使用udf的自定义函数，给dataframe新增列、变更列； [crayon-5d58bd55e5bc12225623 … 继续阅读Spark使用JAVA编写自定义函数修改DataFrame
1、找出TOMCAT的JVM的进程ID
1 2 3 4 | [work@112542000 ~]$ jps 290 Bootstrap <span style="color: #ff6600;">61213 Jps </span> |
2、查看该进程中，最耗费CPU的线程
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 | [work@112542000 ~]$ ps -mp 290 -o THREAD,tid,time | sort -k2 -r | head -n 20 USER %CPU PRI SCNT WCHAN USER SYSTEM TID TIME work 15.3 - - - - - - 03:11:58 <span style="color: #ff6600;">work 1.2 19 - - - - 326 00:15:45 </span>work 0.2 19 - - - - 872 00:03:44 work 0.1 19 - - - - 992 00:01:44 work 0.1 19 - - - - 972 00:01:16 work 0.1 19 - - - - 870 00:01:19 work 0.1 19 - - - - 869 00:01:34 work 0.0 19 - - - - 9993 00:00:00 work 0.0 19 - - - - 997 00:00:06 work 0.0 19 - - - - 9969 00:00:00 work 0.0 19 - - - - 9968 00:00:00 work 0.0 19 - - - - 996 00:00:34 work 0.0 19 - - - - 9960 00:00:00 work 0.0 19 - - - - 995 00:00:00 work 0.0 19 - - - - 9944 00:00:00 work 0.0 19 - - - - 994 00:00:31 work 0.0 19 - - - - 9936 00:00:00 work 0.0 19 - - - - 9934 00:00:26 work 0.0 19 - - - - 9933 00:00:21 |
3、以TID==326为例，查看该线程的堆栈 首先，将十进制的326转换成十六进制，可以在线转换： http://tool.oschina.net/hexconvert 结果等于146 使用 … 继续阅读快速找到Tomcat中最耗CPU的线程
1、线程池的工作原理？ 线程池刚创建时，里面没有一个线程。任务队列是作为参数传进来的。不过，就算队列里面有任务，线程池也不会马上执行它们。 当调用 execute() 方法添加一个任务时，线程池会做如下判断： 如果正在运行的线程数量小于 corePoolSize，那么马上创建线程运行这个任务； 如果正在运行的线程数量大于或等于 corePoolSize，那么将这个任务放入队列。 如果这时候队列满了 … 继续阅读Java线程池ThreadPoolExecutor详解
Linux环境命令行 首先，根据进程命令，获取运行的tomcat的进程ID
1 | ps aux | grep tomcat | grep java | grep bsc |
在第二列可以看到进程ID 然后使用jmap可以查看内存占比：
1 | /home/work/bsc/java/jdk-1.7-7u60/bin/jmap -heap 7840 |
输出的结果包括了内存各个部分的占比：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 | [work@xxxx.com logs]$ /home/work/bsc/java/jdk-1.7-7u60/bin/jmap -heap 10433 Attaching to process ID 10433, please wait... Debugger attached successfully. Server compiler detected. JVM version is 24.60-b09 using parallel threads in the new generation. using thread-local object allocation. Concurrent Mark-Sweep GC Heap Configuration: MinHeapFreeRatio = 40 MaxHeapFreeRatio = 70 MaxHeapSize = 8388608000 (8000.0MB) NewSize = 1048576000 (1000.0MB) MaxNewSize = 1048576000 (1000.0MB) OldSize = 5439488 (5.1875MB) NewRatio = 2 SurvivorRatio = 8 PermSize = 134217728 (128.0MB) MaxPermSize = 268435456 (256.0MB) G1HeapRegionSize = 0 (0.0MB) Heap Usage: New Generation (Eden + 1 Survivor Space): capacity = 943718400 (900.0MB) used = 393328672 (375.1074523925781MB) free = 550389728 (524.8925476074219MB) 41.67860582139757% used Eden Space: capacity = 838860800 (800.0MB) used = 288471072 (275.1074523925781MB) free = 550389728 (524.8925476074219MB) 34.388431549072266% used From Space: capacity = 104857600 (100.0MB) used = 104857600 (100.0MB) free = 0 (0.0MB) 100.0% used To Space: capacity = 104857600 (100.0MB) used = 0 (0.0MB) free = 104857600 (100.0MB) 0.0% used concurrent mark-sweep generation: capacity = 1288736768 (1229.03515625MB) used = 706435104 (673.7090148925781MB) free = 582301664 (555.3261413574219MB) 54.816089797478334% used Perm Generation: capacity = 134217728 (128.0MB) used = 65034240 (62.021484375MB) free = 69183488 (65.978515625MB) 48.45428466796875% used 27139 interned Strings occupying 3055832 bytes. |
如上可以清楚的看到内存配置 … 继续阅读Tomcat内存分析相关方法(jmap和mat)
随着项目规模的越来越大，会不断的引入新的模块，不同的模块都会打印自己的日志，最后就造成日志根本没法查看，比如我自己的项目中，就存在以下这些日志： 接收外界消息的日志、对外发送消息的日志； 后台常驻线程的处理日志； 外部接口访问的参数、返回结果等接口日志； Service访问数据库产生的SQL日志； 这其中，消息日志和后台线程的日志数据量非常庞大，如果所有日志打印在一个文件中，使用tail -f l … 继续阅读Log4j将不同Package的日志输出到不同的文件的方法
背景 只要存在数据库，就会有后台批量处理数据的需求，比如数据表备份、定期清理、数据替换、数据迁移，对于批量处理来说，往往会涉及大量的查询、过滤、归类、聚合计算，在批量脚本中直接查询数据库往往性能太低，甚至会因为一个大型的SQL导致数据库锁表出现线上事故，因此一般采用先导出到文件，在文件上计算然后再导入，比如： 1、使用mysql -e “select * from table̶ … 继续阅读数据处理中提升性能的方法-引入并发但是避免同步
如果项目中有需要后台执行的任务，但是主要的逻辑都在Java代码中，那么我采用的方式是单独建立一个maven模块打成jar包，然后在linux后台通过命令执行Jar包的Main函数：
1 | java -classpath backtask.jar "net.crazyant.RunWebService" |
于是就有个前提，得将maven模块打包成jar包，原本很简单的事情，却出现了很多问题。 原始打包方式：使用maven-assembly-plugin P … 继续阅读将Maven工程打包成可执行JAR包的方法
Java线程会议如下三种方式结束，结束后就处于死亡状态 1、run()或者call()方法执行完成，线程正常结束； 2、线程抛出一个未捕获的Exception或Error； 3、直接调用该线程的stop()方法来结束该线程； 注意：当主线程结束时，其他线程不受任何影响，并不会随之结束。一旦子线程启动起来后，它就拥有和主线程相同的地位，不会受到主线程结束的影响。 为了测试某个线程是否已 … 继续阅读Java线程死亡的几种情况
最近收到线上Tomcat线程数目超出的报警，于是想要分析下问题的原因： 首先进入线上，使用ps -aux命令，查看jvm进程，可以得到运行tomcat的jdk的地址： /home/work/app/.jdk/bin/java 于是就知道了jdk的jstack、jps等命令的目录，然后找到jvm进程
1 2 3 | /home/work/app/.jdk/bin/jps 29145 Jps 208 Bootstrap |
得到了jvm的tomcat进程是2 … 继续阅读通过JVM堆栈分析出现大量线程的原因