jupyter pyspark hdp
在Jupyter中使用AI写代码，如有神助，太惊艳了
昨晚看到一个可以在JupyterLab中使用的AI代码辅助工具jupyter-ai，它的交互确实非常棒，可以直接聊天，也可以就笔记中的代码提问，最出彩的是生成笔记功能，还是蛮惊艳的。 这里就极简介绍一下安装及用法 第一步是创建环境并安装 ``` conda create -n jupyter-ai ......
pyspark学习
上周学习了hadoop和hive相关知识，最主要的就是通过hsql实现数据的清洗，从数仓中获得有用的数据，然后本周学习了spark以及用Python类库pyspark。 首先是需要在Windows本地和Linux上班均安装anaconda环境，在anaconda安装完成之后就是将spark的安装包上 ......
关于安装Ambari 2.7.5 + HDP3.1.5
参考文档安装Ambari 2.7.5 + HDP3.1.5（附安装包）_ambari安装包下载_不饿同学的博客-CSDN博客 关于第11点，在浏览器输入http://hostname显示不了，要使用该hostname-ip才可以显示 关于14，没找到maven-3.8.2而是使用了maven-3.8 ......
jupyter进程管理
一、jupyter进程查看 import json import os import os.path import posixpath import subprocess import numpy as np import pandas as pd import psutil import requ ......
【HDP】jupyter配置pyspark
source /usr/hdp/3.3.1.0-002/spark2/bin/load-spark-env.sh nohup jupyter notebook --no-browser --port 18888 --ip 0.0.0.0 --allow-root --NotebookApp.toke ......
jupyter的nginx配置
一、背景 有多台服务器都有部署jupyter notebook服务或者jupyter lab服务，可采用nginx进行配置，采用统一的入口，通过不同路由将请求分发到不同机器上 例如分别在10.10.10.10，10.10.10.11，10.10.10.12有部署jupyter服务，现在需要统一入口从 ......
如何查看Jupyter Notebook的历史记录等使用技巧
如何查看Jupyter Notebook的历史记录 在Jupyter Notebook中查看历史记录可能涉及几个方面： 1. **代码执行历史**: Jupyter Notebook会跟踪每个单元格的执行顺序。您可以在单元格旁边的方括号中看到执行顺序的数字。 2. **版本历史**: 如果您使用了版 ......
在jupyter notebook中使用julia
## 问题描述：无法使用Julia的包管理器Pkg下载jupyter notebook，因此采用Python的包管理器pip下载jupyter notebook ### STEP1 在cmd中使用pip下载jupyter notebook ```shell pip install notebook ......
使用PySpark计算AUC,KS与PSI
当特征数量或者模型数量很多的时候，使用`PySpark`去计算相关指标会节省很多的时间。网上关于使用`PySpark`计算相关指标的资料较少，这里抛砖引玉，写了三个风控常用的指标AUC，KS和PSI相关的计算方法，供参考。 # AUC AUC的相关概念网上已经有很多的很好的文章，这里不在赘述，AUC ......
win10 搭建pyspark环境
1、环境配置教程：地址 2、测试代码示例 import os import findspark os.environ['JAVA_HOME'] = 'D:\Java\jdk1.8.0_311' # 这里的路径为java的bin目录所在路径 spark_home = "D:\spark-3.0.3-b ......
pyspark小demo
```python # # py_pyspark_demo2.py # py_learn # # Created by Z. Steve on 2023/8/13 10:55. # import json # 1. 导入库 from pyspark import SparkConf, SparkCo ......
改大蟒蛇Anaconda中Jupyter Notebook默认工作路径
先用大蟒蛇的终端生成配置文件 输入 jupyter notebook --generate-config 然后会告诉你生成文件的地址。 文本模式打开该文件 搜索“The directory to use for notebooks”，把下面的取消注释，写好文件目录重启即可 ......
pyspark写入文件
```python # # py_spark_rdd2py.py # py_learn # # Created by Z. Steve on 2023/8/13 11:39. # # 1. rdd.collect() 将 rdd 变为 list # 2. rdd.reduce() 不分组, 对 rd ......
pyspark小demo2
```python # # py_pyspark_demo2.py # py_learn # # Created by Z. Steve on 2023/8/13 10:55. # import json # 1. 导入库 from pyspark import SparkConf, SparkCo ......
pyspark的filter()、distinct()、sortBy() 函数
```python # # py_pyspark_test.py # py_learn # # Created by Z. Steve on 2023/8/12 17:38. # from pyspark import SparkConf, SparkContext conf = SparkConf ......
pyspark小案例
```python # # py_pyspark_demo.py # py_learn # # Created by Z. Steve on 2023/8/12 15:33. # # 统计文件中各个单词出现的次数 # 1. 导入库 from pyspark import SparkConf, Spa ......
pyspark使用
```python # # py_pyspark.py # py_learn # # Created by Z. Steve on 2023/8/10 17:51. # # pyspark 编程主要分三步：1. 数据输入。2. 数据处理。3. 数据输出。 # RDD：Resilient Distri ......
Jupyter Notebook 遇上 NebulaGraph，可视化探索图数据库
本文手把手教你咋在 Jupyter Notebook 中，愉快地玩图数据库。读完本文，一条查询语句就可以轻易地画出返回结果啦。 ......
网页版jupyter智能提示解决方案
1、在网页版的jupyter中new→右键→Teminal 2、打开jupyter网页版的命令框 输入以下命令： 1.进行Nb插件的安装 pip install jupyter_contrib_nbextensions 2.进行相关联文件的安装 jupyter contrib nbextension ......
Jupyter中感叹号和百分号的区别
! calls out to a shell (in a new process), while % affects the process associated with the notebook (or the notebook itself; many % commands have no s ......
pyspark 环境搭建和相关操作redis ,es
一.环境搭建 1. 创建虚拟环境， 指定python包 2. 切换到虚拟环境，安装你所需要的python相关模块包 3. 把整个虚拟环境打成.zip 4. 将 zip上传的hadfs 5. spark-submit 指定python包的路径 可以参考 https://dandelioncloud.c ......
linux sbatch 提交jupyter
点击查看代码 ``` #!/bin/bash #SBATCH -p Batch2 #SBATCH -N 1 #SBATCH -n 1 #SBATCH -c 1 #SBATCH --job-name=jupyter #SBATCH --output=jupy.out #SBATCH --error=j ......
Jupyter Notebook配置conda环境
一、先创造自己所需的conda环境 # 进入虚拟环境 activate tensorflow # 安装jupyter 和 notebook(这一步可能能省掉，没有测试，不确定) pip install jupyter notebook #安装ipykernel，并进行相关操作 pip install ......
Jupyter 更改文件默认保存目录
方法1步骤： 1 Anaconda Prompt -右键-更多-管理员方式运行 输入 jupyter notebook --generate-config 出现一个配置文件目录找到对应位置 2 在c盘找到该文件，右键-打开方式-记事本 -编辑-查找 ， 查找内容是 #c.NotebookApp.no ......
Jupyter notebook中添加conda虚拟环境
遇到问题：安装完Anaconda利用conda创建了虚拟环境，但是启动jupyter notebook之后却找不到虚拟环境。原因：是由于在虚拟环境下缺少kernel.json文件。解决方法：首先激活之前创建好的虚拟环境：activate 环境名称安装ipykernel：python conda in ......
配置交互式c_c++编译环境（最完全最详细的）、在jupyter内运行c_c++
系统：ubuntu18.04 参考网址：[https://github.com/jupyter/jupyter/wiki/Jupyter-kernels](https://github.com/jupyter/jupyter/wiki/Jupyter-kernels) PS:以下操作均在普通用户权限 ......
jupyter Notebook：魔法命令
Jupyter Notebook是一个开源的交互式编程环境，用于创建和共享包含实时代码、文本、图像和可视化输出的文档。 它交互式的编程方式是一大亮点，因为我们在数据分析的过程中，常常是一边分析，一边看分析结果，根据分析结果再调整数据或者分析参数。有了 Jupyter Notebook，代码和运行结果 ......
js的在线编辑器jupyter
官方文档：[n-riesco/ijavascript：IJavascript 是 Jupyter 笔记本的 javascript 内核](https://github.com/n-riesco/ijavascript) Windows（Anaconda 发行版） 打开Anaconda 提示符并运行： ......
数据分析之jupyter notebook工具
一、jupyter notebook介绍 1、简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍 简而言之，Jupyter Notebook是以网页的形式打开，可以在网页页 ......
Jupyter Notebook 的快捷键
#Jupyter Notebook 的快捷键 Jupyter Notebook 有两种键盘输入模式。编辑模式，允许你往单元中键入代码或文本；这时的单元框线是绿色的。命令模式，键盘输入运行程序命令；这时的单元框线是灰色。 ##命令模式 (按键 Esc 开启) Enter : 转入编辑模式 Shift- ......