wordcount环境spark
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
Nocalhost 为 KubeSphere 提供更强大的云原生开发环境
1 应用商店安装 Nocalhost Server 已集成在 KubeSphere 应用商店，直接访问： 设置应用「名称」，确认应用「版本」和部署「位置」，点击「下一步」： 在「应用设置」标签页，可手动编辑清单文件或直接点击「安装」。建议把 service.type 设置为 ClusterIP，以确 ......
linux环境htop安装
1、获取htop源码包 git clone https://github.com/htop-dev/htop 2、安装依赖 yum install ncurses-devel gcc 3、解压源码包，编译安装 ./configure make -j 8 make install 源码安装方式 安装支 ......
linux环境Python安装
1、下载源码 华为云镜像地址下载python Python加速地址：https://repo.huaweicloud.com/python/ 2、安装前置依赖 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqli ......
实验七：Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
Spark读写达梦数据库报错Decimal精度为负数以及解决方案
一、Spark读取DM数据库问题描述 当达梦的表格设计使用number数据类型时，如果没有指定精确，使用默认值，如下图所示 则在读取该表格数据时，报错如下： 24/01/12 10:43:48 ERROR Node: [47db01a8b6ff47e7840cb0a777033721]:compon ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存 ......
visual studio编译不再支持的framework环境
下载好需要的framework版本，解压出来放到下面路径中，然后重新打开vs即可。 C:\Program Files (x86)\Reference Assemblies\Microsoft\Framework\.NETFramework ......
1.12_redis 的存取在最后 晚上_浙江本地环境的header不能用线上的_header中host和refer分别代表什么意思?_模型的save()参数是数组怎么理解?
方便点1： 问题: 为什么这个浙江的这个线上的header用到本地就不行,而熊师爷的这个却可以? 线上的 header中的host 本地的 header中的host 根据上面弄得对照关系 header中host和refer分别代表什么意思? 活1: 分析如下： 上面分析出现的问题：既然只统计：开业状 ......
python创建虚拟环境
1.创建项目目录 2.进入当前目录,cmd,安装虚拟环境 virtualenv -p "C:\Program Files\Python311\python.exe" .venv #目录加引号后空格.python所在目录 3. 进入VSCODE，打开目录，选择venv\scripy\python.ex ......
Spark on YARN的两种部署模式
Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。 Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 ......
centos8配置网络环境及阿里云网络yum源
一、centos8配置网络环境 1.修改配置网卡配置文件 [root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens18 TYPE=Ethernet NAME=ens18 DEVICE=ens18 IPADDR=192.168.1 ......
提升Windows Server环境安全性：ADAudit Plus的五大关键优势
在Windows Server环境中，审计对于解决安全、运营和合规需求至关重要。然而，内置的Microsoft Windows安全审计工具存在一些限制，包括对专业知识的要求、耗时的流程以及一些功能的缺失。为了克服这些问题，第三方审计解决方案如ManageEngine ADAudit Plus变得至关 ......
VSCode配置C开发环境
安装MINGW64编译器 mingw64是windows上的一款C编译器，可在线安装或者离线安装，推荐离线安装 1. 离线安装 github: 链接地址 (1) 点击github链接，下载所需版本的mingw压缩包 (2) 解压到随意一个路径，最好不要有中文路径 (3) 配置环境变量，右键此电脑，点 ......
php环境，性能优化
根据宝塔的推荐进行参数修改 我的是8G内存，修改成4G内存 下面是备份：修改前的 ; Start a new pool named 'www'.; the variable $pool can be used in any directive and will be replaced by the; ......
linux环境下配置maven
下载地址 #maven环境配置(已经配置好jdk) vim /etc/profile export MAVEN_HOME=/mnt/maven/apache-maven-3.6.3 export PATH=${MAVEN_HOME}/bin:${PATH} #使配置生效 source /etc/pr ......
TiDB 在单机上模拟部署生产环境集群
参考地址：https://docs.pingcap.com/zh/tidb/dev/quick-start-with-tidb 前提条件 硬件要求 开始部署 TiDB 集群前，准备一台部署主机，确保其软件满足需求： 推荐安装 CentOS 7.3 及以上版本 运行环境可以支持互联网访问，用于下载 T ......
react-native在windows环境搭建并使用脚手架新建工程
截止到2024-1-11，使用的主要软件的版本如下： 软件实体 版本 react-native 0.73.1 react 18.2.0 react-native-cli 2.0.1 Android Studio 2022.3.1 Patch3 Android SDK Android SDK Plat ......
Spark - spark on yarn 的作业提交流程
客户端（Client）通过YARN的ResourceManager提交应用程序。在此过程中，客户端进行权限验证，生成Job ID和资源上传路径，并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后，客户端再次向ResourceManager提交作业执 ......
Spark - 面试题
Spark是什么？答案：Apache Spark是一个快速、通用的大数据处理引擎，它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源，如HDFS、Hive、Cassandra等，并提供了丰富的API和工具集，用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 ......
java生产环境下性能监控与调优
JVM的参数类型 基于JDK命令行工具的检测 主要内容 JVM的参数类型 标准参数 -help -server -client -version -showversion -cp -classpath X参数 非标准化参数 -Xint：解释执行 -Xcomp：第一次使用就编译成本地代码 -Xmixe ......
VPS 基础环境配置
这篇文章介绍了如何在 VPS 上进行基础环境配置，包括服务器选择、登陆服务器、升级 Packages、添加 SWAP 虚拟内存、安装 Docker 环境等内容。 ......
node.js 安装与环境变量配置
一、安装node.js 官网：下载地址 历史版本：历史版本下载地址 下载完毕后，可以安装node，一路默认选项即可。这里我的安装路径是：D:\environment\nodejs。 建议不要安装在系统盘（如C：），建议安装的路径不要有中文。 二、设置nodejs prefix（全局）和cache（缓 ......
linux安装jdk 并配置环境变量
1、先到jdk官网中下载指定版本的jdk。 2、将JDK的压缩包上传至linux 3、通过命令解压JDK压缩包 # 先解压 tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/local # 然后重命名，这个看自己 cd /usr/local mv ./jdk1 ......
jmeter快速入门及环境搭建
2.快速入门 用jmeter测试上面0.4节中编写的接口： 上图的运行后擦看结果树，结果如下： 从运行结果可以看出，和在浏览器中执行的结果一样。这是一个最简单的jmeter对接口进行测试的例子。 3.环境搭建 3.1.安装jdk1.8 •一路下一步，选择对路径即可 3.1.1环境变量设置 1.右击我 ......
Rust 从入门到摔门而出门 环境安装 和 Hello, world!
### 环境安装 ####  在 Linux 或者 macOS 上安装 RustUp 环境 打开终端，执行下面命令 ```bashcurl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh``` 命令不对可以打开 [rust ......
ssh 远程执行命令出现环境变量不能识别问题
比如像下边这样报错 grid@dwdb01:/home/grid$ ssh 10.25.2.224 '(/home/db/grid/base/BIGDATA_OGG/ogg21/ggsci)' /home/db/grid/base/BIGDATA_OGG/ogg21/ggsci: error whi ......
12-Helm Chart：如何在生产环境中释放部署
通过前面的课程，相信你对 Kubernetes 中的对象有了很多了解。Kubernetes 是一个强大的容器调度系统，你可以通过一些声明式的定义，很方便地在 Kubernetes 中部署业务。 现在你一定很想尝试在 Kubernetes 中部署一个稍微复杂的系统，比如下面这个典型的三层架构：前端、后 ......
如何在脚本中使用导入django环境？
import os if __name__ == '__main__': os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'dd85.settings') #这句直接去wsgi.py中拷贝过来即可 import django django.setup( ......