11.28日记
发布时间 2023-11-28 20:00:44作者: zhangmingmingkjz
1.实例化SparkContext和SparkSession对象
2.创建case class Emp样例类,用于定义数据的结构信息
3.通过SparkContext对象读取文件,生成RDD[String]
4.将RDD[String]转换成RDD[Emp]
5.引入spark隐式转换函数(必须引入)
6.将RDD[Emp]转换成DataFrame
7.将DataFrame注册成一张视图或者临时表
8.通过调用SparkSession对象的sql函数,编写sql语句
9.停止资源