单机windows环境spark
开源大数据集群部署（二）集群基础环境实施准备
作者：櫰木 环境准备 本次使用到的二进制软件包目录为：系统初始化前提是操作系统已完成安装、各个主机之间网络互通，系统常用命令已安装，本默认这些前提条件已具备，不在阐述。 1 主机环境初始化 安装centos系统完成后需要对主机进行初始化配置和验证工作，在所有主机上（hd1.dtstack.com-h ......
通过windows自带管理工具、系统命令行、快捷键等快速操作
windows自带管理工具 我们win+R 输入一些命令，可以快速打开一些界面，比如： sysdm.cpl win10、win11 我电脑，属性与之前win7不同了，我希望打开之前的属性打不开了 通过运行或命令打开系统属性，同时按Windows+R键，在运行对话框中键入命令"sysdm.cpl"，然 ......
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another ......
移动护理系统-ZooKeeper单机和集群方式安装部署
1.1 zookeeper安装 1.下载地址 http://mirror.bit.edu.cn/apache/zookeeper/ 选择版本，我选择的是 注意：下载新版本的时候需要下载带bin的，因为有时候会报错错误: 找不到或无法加载主类 org.apache.zookeeper.server.q ......
windows常用命令
找端口杀进程 Microsoft Windows [版本 10.0.19045.3693] (c) Microsoft Corporation。保留所有权利。 C:\Users\mawencai>netstat -ano|find "8080" TCP 0.0.0.0:8080 0.0.0.0:0 ......
随笔-开发-Window10家庭版启用远程桌面功能 RDPwrap
参考：Window10家庭版启用远程桌面功能 RDPwrap： 配置文件 rdpwrap.ini ： [10.0.19041.3636] LocalOnlyPatch.x64=1 LocalOnlyOffset.x64=92AF1 LocalOnlyCode.x64=jmpshort SingleU ......
安装篇 —— windows安装jdk1.8
下载jdk 1、可以去oracle官网进行jdk1.8的下载，网址是：https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html 2、直接从我的网盘取：链接：https://pan. ......
今天了解了spark。
Apache Spark（通常简称为Spark）是一个开源的、分布式计算系统，用于大规模数据处理和分析。它提供了高效、通用、可扩展的数据处理框架，支持多种编程语言，包括Scala、Java、Python和R。Spark最初由加州大学伯克利分校的AMPLab（Algorithms, Machines, ......
linux网络磁盘映射到windows
在linux中按照以下步骤执行 第一步： 安装samba套件： sudo apt-get install samba sudo apt-get install smbclient 第二步： 修改配置文件：sudo vim /etc/samba/smb.conf 第三步： 添加参数设置： 可以在末 ......
spark学习
Spark提供了6大组件： Spark Core：Spark Core 是 Spark 的基础，它提供了内存计算的能力，是分布式处理大数据集的基础。它将分布式数据抽象为弹性分布式数据集（RDD），并为运行在其上的上层组件提供 API。所有 Spark 的上层组件都建立在 Spark Core 的基础 ......
vscode使用anaconda虚拟环境
问题分析： 当我们第一次使用vscode+anaconda虚拟环境来运行项目时，一般会报错no module name 'torch'这样的错误，尽管我们已经切换vscode使用的环境为正确的环境也还是不行。这个问题是因为我们在vscode中运行项目是在终端运行的，但如果这个终端是powershel ......
安装/卸载windows服务
1.以管理员身份运行cmd 2.安装windows服务 cd C:\Windows\Microsoft.NET\Framework\v4.0.30319(InstallUtil.exe的路径，注意InstallUtil.exe的版本号需要和项目的版本号相同) 3.安装windows服务 Instal ......
[OS] 在 Windows 11 中启用 "实时字幕 (Live captions)" 功能
打开实时字幕 实时字幕在 Windows 11 版本 22H2 及更高版本中提供。 选择 "开始 > 所有应用 > 辅助功能 > 实时字幕" 或按 Windows 徽标键 + Ctrl + L。 首次打开时，实时字幕将提示下载实时字幕语言文件，供设备语音识别使用。 如果你的语言不可用，则可以在设置过 ......
安装Linux-CentOS7.9操作系统虚拟机环境（适用于学习、测试环境）
1.前期环境准备 1.1.创建安装目录 具体名称以及路径根据自己的实际情况在个人pc或者其他的设备上进行创建。 1.2准备虚拟机操作系统iso镜像文件 阿里云开源镜像站地址 https://developer.aliyun.com/mirror/ 清华大学开源镜像站地址 https://mirror ......
最好的Windows桌面系统或者是Windows Server
现在的Windows越来越流氓了，系统里内置了一大堆的广告app，还不让卸载。每次推出新系统，微软都要雇一些鼓吹手，拼命鼓吹新系统比老系统跑得还快，甚至比xp还快，笑。事实是资源消耗一代比一代厉害。硬件厂商似乎觉得用户换电脑的速度太慢了，微软似乎在帮这些厂商催促用户换电脑。 最好用的 Windows ......
如何在Windows系统环境中监测视频综合管理平台EasyCVR程序运行？
安防监控系统EasyCVR视频综合管理平台兼容性强、灵活性高，平台支持多类型的设备以及多种协议方式接入，能兼容市面上99%的监控设备，利旧场景好，无须更换前端设备，极大降低了系统的改造成本。安防监控平台EasyCVR平在智慧工地、智慧工厂、智慧校园、智慧城管、智慧楼宇、智慧煤矿、智慧交通、智慧小区等... ......
Spark 框架模块和Spark的运行模式 -
整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上 Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spa ......
Spark四大特点
Apache Spark是一个开源的分布式计算框架，拥有四大显著特点： 1. **速度快**：Spark基于内存的运算效率要快100倍以上，基于硬盘的运算效率也要快10倍以上。其先进的DAG调度程序、查询优化程序和物理执行引擎，使得Spark能高效处理数据流。 2. **易用性**：Spark支持J ......
Spark开始
定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 简而言之，Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的A ......
面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没 有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map t ......
基于 Docker 打造前端持续集成开发环境
基于 Docker 打造前端持续集成开发环境 写在前面: 这不是一篇有新意的文章，因为这篇文章半年前我就发布在其他平台上过，为什么在知乎上旧文新发？ 除了想要把发布在其他地方的文章统一放到知乎上之外，还源于我最近在面试一些前端工程师时的一些疑惑，发现很多应聘高级前端岗的开发者对 JS 各种奇技淫巧了 ......
VSCode+PlatformIO开发环境搭建
VSCode+PlatformIO开发环境搭建 使用VSCode搭建platform开发环境，可以实现在vscode中搭建MCU等平台的嵌入式开发IDE，实现类似于IAR、Keil等功能，包括代码编辑、项目编译、程序烧录、调试等基础功能，同时可以使用Platform及VSCode的众多插件功能，从而 ......
2024年1月Java项目开发指南1：环境与工具准备
准备工作 基础能力 开发能力的事咱先不谈，有两个基础技能要学一下。 1.学习使用Markdown编写文档 2.学会使用git拉取代码和提交代码 软件准备 电脑需要安装以下软件： IDEA 2023.2 及其以上（Java开发统一使用IDEA） Webstorm 2023.2 及其以上（也可以使用VS ......
重启 Windows 桌面进程
windows系统运行中，遇到此电脑无法打开或报错，C盘，D盘等 文件资源管理器无法打开时，感觉像是死机的现象。 而重启电脑又不方便时，可以考虑重启Windows桌面进程，来尝试解决上述系统假死现象。 1.按下Ctrl + Shift + Esc 键组合，打开任务管理器2.在任务管理器中，切换到“进 ......
在CentOS环境下编译GreatSQL RPM包
本文介绍如何在CentOS环境下编译GreatSQL RPM包。 运行环境是docker中的CentOS 8 x86_64： $ docker -v Docker version 20.10.10, build b485636 $ docker run -itd --hostname c8 --na ......
创建单机 PolarDB-X 集群
https://doc.polardbx.com/quickstart/topics/quickstart-pxd-cluster.html #安装 docker curl -fsSL https://get.docker.com -o get-docker.sh sh get-docker.sh ......
Windows桌面自动化测试工具：WinAppDriver
大家好，今天给大家介绍一款Windows桌面自动化测试工具：WinAppDriver。 1、介绍 WinAppDriver是一个开源的自动化测试工具，用于测试Windows应用程序。它是一个Windows Application Driver，可以与多种自动化测试框架和工具集成，如Selenium、 ......
pipenv 配置虚拟环境，为了让pyinstaller打包后的exe小点
1. pipenv的安装 ``` pip install pipenv或pip3 install pipenv（取决于你的pip版本） ``` 2.配置虚拟环境 pipenv install 3.进入虚拟环境 pipenv shell 提示：不同的项目会有不同的虚拟环境，需要注意进入的是否正确 4. ......