Skip to content

蚂蚁学Python

博学之、审问之、慎思之、明辨之、笃行之

  • 视频课程
  • 关于我

spark

Categories spark

Spark使用Java开发遇到的那些类型错误

2023-03-122019-08-28 Leave a comment by crazyant

Spark使用Java开发其实比较方便的,JAVA8的lambda表达式使得编写体验并不比Scala差很多,但 … Read more Spark使用Java开发遇到的那些类型错误


Categories spark

Spark使用word2vec训练item2vec实现内容相关推荐

2023-03-122019-08-23 Leave a comment by crazyant

之前使用spark als训练协同过滤,然后导出itemvectors做相似度计算,后来学到了可以用word2 … Read more Spark使用word2vec训练item2vec实现内容相关推荐


Categories spark

Spark使用JAVA编写自定义函数修改DataFrame

2023-03-122019-07-26 Leave a comment by crazyant

本文的代码涉及几个知识点,都是比较有用: 1、Spark用JAVA编写代码的方式; 2、Spark读取MySQ … Read more Spark使用JAVA编写自定义函数修改DataFrame


Categories spark

PyCharm开发PySpark程序的配置和实例

2023-03-122018-12-10 by crazyant

对于PyCharm,需要作如下设置: 1、安装pyspark,它会自动安装py4j 2、在edit confi … Read more PyCharm开发PySpark程序的配置和实例


Categories spark

Spark数据倾斜解决方法

2023-03-122018-06-25 Leave a comment by crazyant

1、避免shuffle,改reduce join为map join,适用于JOIN的时候有一个表是小表的情况, … Read more Spark数据倾斜解决方法


Categories spark

使用Kmeans对Word2vec的输出做聚类

2023-03-122018-05-04 Leave a comment by crazyant

Word2vec会产出每个词语的权重向量 使用这个向量,可以直接对所有的词语聚类 以下代码,以word2vec … Read more 使用Kmeans对Word2vec的输出做聚类


文章分类

  • C++ (8)
  • chatgpt (3)
  • django (16)
  • docker (4)
  • fastapi (3)
  • flask (11)
  • hadoop (5)
  • hive (14)
  • java (20)
  • javascript (1)
  • kafka (1)
  • linux (18)
  • mac (4)
  • mysql (26)
  • numpy (2)
  • paddlepaddle (1)
  • pandas (42)
  • php (39)
  • pyecharts (1)
  • pyqt (6)
  • python (34)
  • python环境 (30)
  • python趣味小程序 (3)
  • redis (4)
  • sklearn (1)
  • spark (6)
  • tensorflow (3)
  • zookeeper (1)
  • 产品想法 (1)
  • 办公自动化 (10)
  • 大数据 (1)
  • 大模型 (3)
  • 推荐系统 (7)
  • 数据科学 (1)
  • 数据结构与算法 (1)
  • 机器学习 (4)
  • 爬虫 (24)
  • 电商 (2)
  • 程序人生 (26)
  • 程序员自媒体 (12)
  • 腾讯课堂 (1)
  • 自动化测试 (1)
  • 读书心得 (8)
  • 软件工具 (9)
  • 量化投资 (6)
© 2025 蚂蚁学Python • Theme Xena