jupyter pyspark hdp
开始pyspark------------jupyter notebook 读取CSV文件
1 开始pyspark 1 查看版本信息¶ In [1]: import sys print(sys.version_info) sys.version_info(major=3, minor=11, micro=5, releaselevel='final', serial=0) In [2]: ......
jupyter notebook 的默认起始位置和默认浏览器修改
打不开浏览器/时间很久的解决办法： 当第一次点luanch的时候会出现无法弹出浏览器的情况,需要打开目录C:\Users\Administrator\.jupyter 也可以通过如下命令查找 (base) C:\Users\Administrator><font color=red size=6>j ......
tensorboard在jupyter中运行报错ip已拒绝连接
在服务器中使用tensorboard在jupyter中作图： 1 %load_ext tensorboard 2 %tensorboard --logdir log所在路径（末尾不加/） 这时会报错ip已拒绝连接，解决方法为加入相应ip： 1 %tensorboard --logdir log所在路 ......
jupyter自动感知-nbextension
1 安装&挂载/关联 pip install jupyter_contrib_nbextensions jupyter contrib nbextension install --user 2 重启jupyter 关闭/打开页面即可；http://localhost:8888/tree 3 使生效 ......
pyspark UDF调用自定义python函数
从 Pyspark UDF 调用另一个自定义 Python 函数 Python 编码的 PySpark UDF 提供了调用其他Python 函数的能力，无论它们是内置函数还是来自外部库的用户定义函数。通过使用户能够利用现有的 Python 代码，此功能提高了 UDF 的模块化和可重用性。在分布式 P ......
Jupyter notebook报错
习惯用notebook，但不知道咋回事突然开启服务的时候报错了 jupyter notebook --no-browser --port=1111 谷歌了下，有人提出了一个解决方案： https://github.com/jupyterhub/jupyterhub/issues/4418 试了下，真 ......
今日小记——Jupyter Notebook默认工作目录的修改
1、生成jupyter notebook的配置文件 打开Anaconda Prompt，输入jupyter notebook --generate-config生成当前jupyter notebook的配置文文件，返回一个jupyter_notebook_config.py的文件的地址 2、修改配置 ......
PySpark判断Hdfs文件路径是否存在
背景 从ScalaSpark代码转PySpark代码，同时实现连续读多个文件，避免因某些路径不存在导致程序终止。 在Scala的Spark中可以直接导下面两个模块的包 import org.apache.hadoop.conf.Configuration import org.apache.hado ......
windows开发环境准备：python+java+anaconda+jupyter+VScode安装
PS:以下是在windows环境下操作的。 1.安装本地java并配置java环境变量 2.安装python,并添加环境变量 直接在官网下载的最新的稳定版,我的是3.12（也可以安装在anaconda里,conda install python ,配置环境变量） 3.安装anaconda3 并添加环 ......
jupyter 下 bitandbytes报错记录
背景： 在jupyter 中加载baichuan大模型时报错 报错一： from peft import PeftModel 报错 报错提示：python -m bitsandbytes 执行 python -m bitsandbytes 时又报错，报错内容为： Traceback (most re ......
Jupyter NoteBook使用
一、打开 打开Anaconda Prompt cd 进入到工作空间 输入Jupyter NoteBook，回车 二、新建 右上角new 选择格式为python 三、重命名 左上角File Rename 四、运行 选中代码 shift+回车 或者 菜单栏--cell 选择运行方式 五、添加标题、解释 ......
pyspark数据写入文件及数据库hive
原始数据如下 POD9_6ec8794bd3297048d6ef7b6dff7b8be1|#$2023-10-24|#$0833|#$#|#$#|#$99999999999|#$#|#$12345678912 POD9_352858578708f144bb166a77bad743f4|#$2023- ......
jupyter_机器学习基础
学习打他frame和一些基础操作 import pandas as pd import numpy as np pd.DataFrame(np.random.randn(2,3)) score=np.random.randint(40,100,(10,5)) score score_df=pd.Da ......
Jupyter安装问题排除
Jupyter是一个非营利组织，旨在“为数十种编程语言的交互式计算开发开源软件，开放标准和服务”。2014年由Fernando Pérez从IPython中衍生出来，Jupyter支持几十种语言的执行环境。Jupyter项目开发并支持交互式计算产品Jupyter Notebook（文件格式是.ipy ......
在Jupyter notebooke中安装Nbextensions的问题解决办法
问题1：使用命令行成功下载，但在Jupyter notebooke中不显示插件 解决方案：找了很多方法，看到了一个简单有效的，决定一试，发现找不到路径，借助工具搜索匹配的路径，嘿嘿，找到了，但是匹配出来3个，都加上！再次打开Jupyter，终于看到插件。 参考网站：jupyter notebook ......
jupyter notebook
jupyter的安装 jupyter 的启动 jupyter notebook 2. 到指定目录下启动jupyter 然后 到该终端 cd 到指定的目录下去启动 jupyter ......
pyspark 广播变量和累加器
广播变量broadcast 广播变量允许程序缓存一个只读变量在集群的每台机器上，而不是每个任务保存一个拷贝。借助广播变量，可以用一种更高效的方法来共享一些数据，比如一个全局配置文件。 from pyspark import SparkConf,SparkContext conf = SparkCon ......
Jupyter QtConsole 配置，2023 年了你还在使用 QtConsole 吗？
有的时候我们并不打算完成一个完整的任务，而只是要运行一些简单的代码。在这种情况下我们就可以使用 Jupyter QtConsole 来帮助我们完成任务。本文简单记录了一下 Jupyter QtConsole 的配置方法。 ......
pyspark 连接hive
pyspark连接hive 想要spark能够连接上hive，就需要将hive的一些配置文件放到spark中，让spark可以通过配置文件中的metastore.uris找到hive的元数据库，从而访问hive. 1.将hive的conf文件夹下的hive-site.xml，复制到本地spark的c ......
pyspark 常用action 算子
from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName("test_SamShare").setMaster("local[4]") sc = SparkContext(conf=conf) # 1. col ......
pyspark 常用Transform算子
from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName("test_SamShare").setMaster("local[4]") sc = SparkContext(conf=conf) # 1.map对 ......
coda使用jupyter
查询工作环境 conda info --envs 选择工作环境 activate base 退出工作环境 conda deactivate 切换目录 cd d: 调用 Jupyter Notebook 要使用命令行（cmd）进入 Jupyter Notebook，您需要先启动 Anaconda 环境 ......
windows 安装pyspark环境及pycharm配置
1.安装JDK https://www.cnblogs.com/whiteY/p/13332708.html 2.安装hadoop2.7 下载hadoop2.7.1安装包 链接: https://pan.baidu.com/s/1saGhaKbcvwrE4P3F5_UhZQ 提取码: 1234 解压 ......
jupyter, jupyter notebook, ipython, virtual-env, kernal， ipykernel --- 这些之间的各种关系是什么
jupyter, jupyter notebook, python, virtual-env, kernal 这些之间的各种关系是什么？为什么启动 jupyter notebook 会调用特别复杂？ Jupyter(Lab/Server/Notebook) “dynamically” creates ......
查看jupyter notebook每个单元格运行时间实例
pip install jupyter_contrib_nbextensions jupyter contrib nbextension install --user jupyter nbextension enable execute_time/Exec pip install jupyter_n ......
Jupyter Notebook的.ipynb checkpoints文件 版本控制保存机制
https://blog.csdn.net/weixin_44322234/article/details/110051592 https://www.it1352.com/2751337.html 每当你创建一个新的 notebook 时，都会创建一个检查点文件以及你的 notebook 文件；它 ......
ImportError: cannot import name 'write_connection_file' from 'jupyter_client'
ImportError: cannot import name 'write_connection_file' from 'jupyter_client' (/home/software/anaconda3/envs/mydlenv/lib/python3.8/site-packages/jupyt ......
pyspark-sql
使用spark-sql操作文件进行sql查询 示例代码如下 if __name__ == '__main__': #SparkSession用于SparkSQL编程作为入口对象 #用于SparkCore编程，可以通过SparkSession对象中获取到SparkContext spark = Spa ......
pycharm连接远程jupyter
1.linux安装jupyter 远程linux首先要安装jupyter，一般通过pycharm安装，会给出提示直接install即可，没有提示pip也可 2.linux设置Jupyter vim ~/.jupyter/jupyter_notebook_config.py 可以配置静态token c ......
学习笔记422—jupyter notebook 介绍
jupyter notebook 介绍 1.In[] 状态 1.1.前面无In[]，说明为非python状态 1.2 In[ ]编号为空,表示该cell尚未被执行 1.3 In[ ]中的数值为该cell的执行顺序,不是编 写顺序 1.4 In[ ]中的星号(*),表示该cell正在执行 1.5 同一 ......