Spark
大数据之—Spark环境搭建
前言 参考：https://blog.csdn.net/wzb1983/article/details/125761231 官网：http://spark.apache.org/downloads.html 软件仓库：https://archive.apache.org/dist/spark/ 软件 ......
一次spark任务提交参数的优化
起因 新接触一个spark集群，明明集群资源（core,内存）还有剩余，但是提交的任务却申请不到资源。 分析 环境 spark 2.2.0 基于yarn集群 参数 spark任务提交参数中最重要的几个： spark-submit --master yarn --driver-cores 1 --dr ......
《关于我因为flink成为spark源码贡献者这件小事》
各位读者老爷请放下手上的板砖，我可真没有标题党，且容老弟慢慢道来。 spark和flink本身相信我不用做过多的介绍，后端同学不管搞没搞过大数据，应该都多多少少听过。 如果没听过，简单说，spark和flink之于大数据，就好比vue和react之于前端，就好比spring家族之于java。 从20 ......
微软外服札记④——Spark中的那些坑...
Spark中的那些坑 Spark中的那些坑 前言 读取配置文件 时区陷阱 怪异的DayOfWeek substring陷阱 IP地址解析 枚举的数值 posexplode函数 为什么我的程序运行那么慢？慎用Count()和Show() 为什么我的程序运行那么慢？（2）优化、优化 其它 题外话 前言 ......