环境spark linux idea
在Linux Docker中部署RStudio Server，实现高效远程访问
在Linux Docker中部署RStudio Server，实现高效远程访问 📋前言 RStudio Server 使你能够在 Linux 服务器上运行你所熟悉和喜爱的 RStudio IDE，并通过 Web 浏览器进行访问，从而将 RStudio IDE 的强大功能和工作效率带到基于服务器的集 ......
开源云原生网关Linux Traefik本地部署结合内网穿透远程访问
开源云原生网关Linux Traefik本地部署结合内网穿透远程访问 前言 Træfɪk 是一个云原生的新型的 HTTP 反向代理、负载均衡软件，能轻易的部署微服务。它支持多种后端 (Docker, Swarm, Mesos/Marathon, Consul, Etcd, Zookeeper, Bo ......
IntelliJ IDEA Debug模式下结束后继续执行代码问题
1. 默认的配置 默认的Debug模式下点击Stop后会继续执行代码。 2. 设置不继续执行后续代码 Preferences -> Build,Execution,Deployment -> Debugger 找到Java那一栏下边可以看到 Kill the debug process immedi ......
spark的学习1-11
大数据第36期打卡-Day9-p102-p106学习笔记Spark并行度spark的并行：在同一时间内，有多少个tes k在同时运行并行度：并行能力的设置比如设置并行度6，其实是6个tast才并行在跑在有了6个tast并行的前提下，rdd的分区被规划成6个分区Driver的两个组件DAG调度器工作内 ......
idea 还原误删文件
idea 还原误删文件_idea revert错了怎么恢复 项目名右击 --》local history 》show history 查看之前删除的文件，选择误删文件，右击，恢复即可。 转自：idea 还原误删文件_idea revert错了怎么恢复-CSDN博客 ......
conda、python、pip离线管理环境安装依赖包
第一步：当你使用conda创建一个全新的环境，而你现在处于断网工作状态， conda create -n example --offline 这一步表示断网状态下创建conda环境，但是只有初始环境，没有python依赖包，这时，conda create -n example --clone bas ......
跨地域、跨网络环境的一键接入云
云联网 以丰富的全球资源、灵活统一的管理、强大的安全性和高可靠性为支撑，体验跨地域、跨网络环境的一键接入云。 基于全球资源的云会议平台可以帮助用户轻松体验跨地域、跨网络环境的一键接入云服务。该平台通过丰富的全球资源，灵活统一的管理和高可靠性的技术支撑，为用户提供高效、安全的会议服务。 丰富的全球资源 ......
开源大数据集群部署（二）集群基础环境实施准备
作者：櫰木 环境准备 本次使用到的二进制软件包目录为：系统初始化前提是操作系统已完成安装、各个主机之间网络互通，系统常用命令已安装，本默认这些前提条件已具备，不在阐述。 1 主机环境初始化 安装centos系统完成后需要对主机进行初始化配置和验证工作，在所有主机上（hd1.dtstack.com-h ......
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another ......
[转帖]修改Linux内核参数，减少TCP连接中的TIME-WAIT
https://www.cnblogs.com/xiaoleiel/p/8340346.html 一台服务器CPU和内存资源额定有限的情况下，如何提高服务器的性能是作为系统运维的重要工作。要提高Linux系统下的负载能力，当网站发展起来之后，web连接数过多的问题就会日益明显。在节省成本的情况下，可 ......
Linux命令
一、文件夹 1.删除文件夹：rm -rf 文件夹路径 2.查看当前文件夹下每个子文件夹大小：du -sh * | sort -rh 参考了连接Linux系统查看文件夹大小，并按照从大到小排列~ - 知乎 (zhihu.com) 二、文件 1.删除文件：rm 文件名称 三、系统 1.查看系统当前总体内 ......
Linux：sudo命令
为了方便在普通用户下能够直接执行具有root用户权限的命令，可以通过修改 /etc/sudoers 文件，该文件的默认权限是：440，需要先修改文件权限为：640。 在文件中新加2行后，重新将文件权限改回：440 文件权限修改命令：chmod 640 /etc/sudoers 在文件最末尾处加了2行 ......
linux系统之cpupower命令
简介 cpupower命令的功能是用于调整CPU主频参数，Linux系统内核支持根据使用场景来通过调节CPU主频参数来提高计算性能或降低功耗。 对于移动设备来讲，在没有接通电源的时候，续航是很重要的。而服务器是一直接着电源的，而且需要性能很强，此时就应禁止CPU休眠功能，并把CPU主频固定到最高值了 ......
今天了解了spark。
Apache Spark（通常简称为Spark）是一个开源的、分布式计算系统，用于大规模数据处理和分析。它提供了高效、通用、可扩展的数据处理框架，支持多种编程语言，包括Scala、Java、Python和R。Spark最初由加州大学伯克利分校的AMPLab（Algorithms, Machines, ......
linux网络磁盘映射到windows
在linux中按照以下步骤执行 第一步： 安装samba套件： sudo apt-get install samba sudo apt-get install smbclient 第二步： 修改配置文件：sudo vim /etc/samba/smb.conf 第三步： 添加参数设置： 可以在末 ......
spark学习
Spark提供了6大组件： Spark Core：Spark Core 是 Spark 的基础，它提供了内存计算的能力，是分布式处理大数据集的基础。它将分布式数据抽象为弹性分布式数据集（RDD），并为运行在其上的上层组件提供 API。所有 Spark 的上层组件都建立在 Spark Core 的基础 ......
vscode使用anaconda虚拟环境
问题分析： 当我们第一次使用vscode+anaconda虚拟环境来运行项目时，一般会报错no module name 'torch'这样的错误，尽管我们已经切换vscode使用的环境为正确的环境也还是不行。这个问题是因为我们在vscode中运行项目是在终端运行的，但如果这个终端是powershel ......
Apipost IDEA插件，真的超好用
IDEA是一款功能强大的集成开发环境（IDE），它可以帮助开发人员更加高效地编写、调试和部署软件应用程序。我们在编写完接口代码后需要进行接口调试等操作，一般需要打开额外的调试工具。 今天给大家介绍一款IDEA插件：Apipost-Helper-2.0。代码写完直接编辑器内调试、还支持生成接口文档、接 ......
安装Linux-CentOS7.9操作系统虚拟机环境（适用于学习、测试环境）
1.前期环境准备 1.1.创建安装目录 具体名称以及路径根据自己的实际情况在个人pc或者其他的设备上进行创建。 1.2准备虚拟机操作系统iso镜像文件 阿里云开源镜像站地址 https://developer.aliyun.com/mirror/ 清华大学开源镜像站地址 https://mirror ......
Linux创建运维用户和用户组
在 Linux 系统中，为了安全和管理的便利性，建议创建专用的运维用户和用户组，而不是直接使用 root 用户进行操作。以下是创建运维用户和用户组的步骤： 创建用户组 使用以下命令创建一个名为 appworkergroup 的用户组： sudo groupadd appworkergroup 创建用 ......
linux普通用户监听1024以下的端口（80、443）
Linux 普通用户（非 root）监听 1024 以下的端口（如 80 或 443）的方法和具体操作步骤： ### 1. 使用 `authbind` 工具 - **安装 `authbind`**: sudo apt-get install authbind - **授权特定端口**（以 80 端口 ......
Spark 框架模块和Spark的运行模式 -
整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上 Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spa ......
Spark四大特点
Apache Spark是一个开源的分布式计算框架，拥有四大显著特点： 1. **速度快**：Spark基于内存的运算效率要快100倍以上，基于硬盘的运算效率也要快10倍以上。其先进的DAG调度程序、查询优化程序和物理执行引擎，使得Spark能高效处理数据流。 2. **易用性**：Spark支持J ......
如何在Windows系统环境中监测视频综合管理平台EasyCVR程序运行？
安防监控系统EasyCVR视频综合管理平台兼容性强、灵活性高，平台支持多类型的设备以及多种协议方式接入，能兼容市面上99%的监控设备，利旧场景好，无须更换前端设备，极大降低了系统的改造成本。安防监控平台EasyCVR平在智慧工地、智慧工厂、智慧校园、智慧城管、智慧楼宇、智慧煤矿、智慧交通、智慧小区等... ......
elasticsearch linux 上安装
1、下载安装包，放到服务器指定目录下： 2、解压，到指定文件夹 命令 tar -xzf elasticsearch-8.11.3-linux-x86_64.tar.gz 3、创建用户并授权： sudo useradd es sudo passwd es 用户授权指定目录权限： chown -R es ......
Spark开始
定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 简而言之，Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的A ......
面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没 有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map t ......