Skip to content

蚂蚁学Python

你有没有为写代码拼过命?那你知不知道 人生苦短,我用Python?

  • 视频课程
  • 关于我

spark

Categories spark

Spark使用Java开发遇到的那些类型错误

2023-03-122019-08-28 Leave a comment by crazyant

Spark使用Java开发其实比较方便的,JAVA8的lambda表达式使得编写体验并不比Scala差很多,但 … Read more Spark使用Java开发遇到的那些类型错误


Categories spark

Spark使用word2vec训练item2vec实现内容相关推荐

2023-03-122019-08-23 Leave a comment by crazyant

之前使用spark als训练协同过滤,然后导出itemvectors做相似度计算,后来学到了可以用word2 … Read more Spark使用word2vec训练item2vec实现内容相关推荐


Categories spark

Spark使用JAVA编写自定义函数修改DataFrame

2023-03-122019-07-26 Leave a comment by crazyant

本文的代码涉及几个知识点,都是比较有用: 1、Spark用JAVA编写代码的方式; 2、Spark读取MySQ … Read more Spark使用JAVA编写自定义函数修改DataFrame


Categories spark

PyCharm开发PySpark程序的配置和实例

2023-03-122018-12-10 by crazyant

对于PyCharm,需要作如下设置: 1、安装pyspark,它会自动安装py4j 2、在edit confi … Read more PyCharm开发PySpark程序的配置和实例


Categories spark

Spark数据倾斜解决方法

2023-03-122018-06-25 Leave a comment by crazyant

1、避免shuffle,改reduce join为map join,适用于JOIN的时候有一个表是小表的情况, … Read more Spark数据倾斜解决方法


Categories spark

使用Kmeans对Word2vec的输出做聚类

2023-03-122018-05-04 Leave a comment by crazyant

Word2vec会产出每个词语的权重向量 使用这个向量,可以直接对所有的词语聚类 以下代码,以word2vec … Read more 使用Kmeans对Word2vec的输出做聚类


文章分类

  • C++ (8)
  • chatgpt (2)
  • django (13)
  • flask (9)
  • hadoop (5)
  • hive (14)
  • java (20)
  • javascript (1)
  • kafka (1)
  • linux (17)
  • mac (2)
  • mysql (23)
  • numpy (1)
  • paddlepaddle (1)
  • pandas (37)
  • php (39)
  • pyecharts (1)
  • python (31)
  • python环境 (16)
  • python趣味小程序 (3)
  • redis (4)
  • sklearn (1)
  • spark (6)
  • tensorflow (3)
  • zookeeper (1)
  • 产品想法 (1)
  • 创业项目 (1)
  • 办公自动化 (8)
  • 推荐系统 (6)
  • 数据科学 (1)
  • 数据结构与算法 (1)
  • 机器学习 (4)
  • 爬虫 (19)
  • 程序人生 (25)
  • 程序员自媒体 (12)
  • 腾讯课堂 (1)
  • 自动化测试 (1)
  • 读书心得 (8)
  • 软件工具 (7)
  • 量化投资 (6)
© 2023 蚂蚁学Python • Theme Xena