环境spark
spark的学习1-11
大数据第36期打卡-Day9-p102-p106学习笔记Spark并行度spark的并行：在同一时间内，有多少个tes k在同时运行并行度：并行能力的设置比如设置并行度6，其实是6个tast才并行在跑在有了6个tast并行的前提下，rdd的分区被规划成6个分区Driver的两个组件DAG调度器工作内 ......
conda、python、pip离线管理环境安装依赖包
第一步：当你使用conda创建一个全新的环境，而你现在处于断网工作状态， conda create -n example --offline 这一步表示断网状态下创建conda环境，但是只有初始环境，没有python依赖包，这时，conda create -n example --clone bas ......
跨地域、跨网络环境的一键接入云
云联网 以丰富的全球资源、灵活统一的管理、强大的安全性和高可靠性为支撑，体验跨地域、跨网络环境的一键接入云。 基于全球资源的云会议平台可以帮助用户轻松体验跨地域、跨网络环境的一键接入云服务。该平台通过丰富的全球资源，灵活统一的管理和高可靠性的技术支撑，为用户提供高效、安全的会议服务。 丰富的全球资源 ......
开源大数据集群部署（二）集群基础环境实施准备
作者：櫰木 环境准备 本次使用到的二进制软件包目录为：系统初始化前提是操作系统已完成安装、各个主机之间网络互通，系统常用命令已安装，本默认这些前提条件已具备，不在阐述。 1 主机环境初始化 安装centos系统完成后需要对主机进行初始化配置和验证工作，在所有主机上（hd1.dtstack.com-h ......
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another ......
今天了解了spark。
Apache Spark（通常简称为Spark）是一个开源的、分布式计算系统，用于大规模数据处理和分析。它提供了高效、通用、可扩展的数据处理框架，支持多种编程语言，包括Scala、Java、Python和R。Spark最初由加州大学伯克利分校的AMPLab（Algorithms, Machines, ......
spark学习
Spark提供了6大组件： Spark Core：Spark Core 是 Spark 的基础，它提供了内存计算的能力，是分布式处理大数据集的基础。它将分布式数据抽象为弹性分布式数据集（RDD），并为运行在其上的上层组件提供 API。所有 Spark 的上层组件都建立在 Spark Core 的基础 ......
vscode使用anaconda虚拟环境
问题分析： 当我们第一次使用vscode+anaconda虚拟环境来运行项目时，一般会报错no module name 'torch'这样的错误，尽管我们已经切换vscode使用的环境为正确的环境也还是不行。这个问题是因为我们在vscode中运行项目是在终端运行的，但如果这个终端是powershel ......
安装Linux-CentOS7.9操作系统虚拟机环境（适用于学习、测试环境）
1.前期环境准备 1.1.创建安装目录 具体名称以及路径根据自己的实际情况在个人pc或者其他的设备上进行创建。 1.2准备虚拟机操作系统iso镜像文件 阿里云开源镜像站地址 https://developer.aliyun.com/mirror/ 清华大学开源镜像站地址 https://mirror ......
Spark 框架模块和Spark的运行模式 -
整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上 Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spa ......
Spark四大特点
Apache Spark是一个开源的分布式计算框架，拥有四大显著特点： 1. **速度快**：Spark基于内存的运算效率要快100倍以上，基于硬盘的运算效率也要快10倍以上。其先进的DAG调度程序、查询优化程序和物理执行引擎，使得Spark能高效处理数据流。 2. **易用性**：Spark支持J ......
如何在Windows系统环境中监测视频综合管理平台EasyCVR程序运行？
安防监控系统EasyCVR视频综合管理平台兼容性强、灵活性高，平台支持多类型的设备以及多种协议方式接入，能兼容市面上99%的监控设备，利旧场景好，无须更换前端设备，极大降低了系统的改造成本。安防监控平台EasyCVR平在智慧工地、智慧工厂、智慧校园、智慧城管、智慧楼宇、智慧煤矿、智慧交通、智慧小区等... ......
Spark开始
定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 简而言之，Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的A ......
面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没 有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map t ......
基于 Docker 打造前端持续集成开发环境
基于 Docker 打造前端持续集成开发环境 写在前面: 这不是一篇有新意的文章，因为这篇文章半年前我就发布在其他平台上过，为什么在知乎上旧文新发？ 除了想要把发布在其他地方的文章统一放到知乎上之外，还源于我最近在面试一些前端工程师时的一些疑惑，发现很多应聘高级前端岗的开发者对 JS 各种奇技淫巧了 ......
VSCode+PlatformIO开发环境搭建
VSCode+PlatformIO开发环境搭建 使用VSCode搭建platform开发环境，可以实现在vscode中搭建MCU等平台的嵌入式开发IDE，实现类似于IAR、Keil等功能，包括代码编辑、项目编译、程序烧录、调试等基础功能，同时可以使用Platform及VSCode的众多插件功能，从而 ......
2024年1月Java项目开发指南1：环境与工具准备
准备工作 基础能力 开发能力的事咱先不谈，有两个基础技能要学一下。 1.学习使用Markdown编写文档 2.学会使用git拉取代码和提交代码 软件准备 电脑需要安装以下软件： IDEA 2023.2 及其以上（Java开发统一使用IDEA） Webstorm 2023.2 及其以上（也可以使用VS ......
在CentOS环境下编译GreatSQL RPM包
本文介绍如何在CentOS环境下编译GreatSQL RPM包。 运行环境是docker中的CentOS 8 x86_64： $ docker -v Docker version 20.10.10, build b485636 $ docker run -itd --hostname c8 --na ......
pipenv 配置虚拟环境，为了让pyinstaller打包后的exe小点
1. pipenv的安装 ``` pip install pipenv或pip3 install pipenv（取决于你的pip版本） ``` 2.配置虚拟环境 pipenv install 3.进入虚拟环境 pipenv shell 提示：不同的项目会有不同的虚拟环境，需要注意进入的是否正确 4. ......
GPU环境搭建（TrWebOCR）
查看显卡信息 lspci | grep -i nvidia 查看系统是否受支持 uname -m http://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#system-requirements 验证是否有编译环境 gc ......
Anaconda 修改环境默认位置，以及遇到将安全信息应用到以下对象时发生错误无法枚举容器中的对象访问被拒绝解决
默认虚拟环境会在C盘，anaconda环境默认安装在用户目录C:\Users\username.conda\envs下，想换到D盘 1. 首先，找到用户目录下的.condarc文件 2. 打开.condarc文件，添加或修改.condarc 中的 env_dirs 设置环境路径，按顺序第⼀个路径作为 ......
conda在指定位置创建的虚拟环境
1：使用命令查看当前拥有的虚拟环境 conda info --envs 创建扫描时，按照顺序依次查找 2. 在指定目录下创建新的虚拟环境，输入命令： conda create --prefix=D:/Anaconda3/envs/py3.8 python=3.8 会创建一个D:/Anaconda3/ ......
Prometheus环境部署
一、Prometheus简介 Prometheus是最初在SoundCloud上构建的开源系统监视和警报工具包。自2012年成立以来，许多公司和组织都采用了Prometheus，该项目拥有非常活跃的开发人员和用户社区。Prometheus 于2016年加入了 Cloud Native Computi ......
JAVA工作流引擎低代码快速开发平台(J-RoadFlow-Plus)测试环境部署说明
从j-roadflow官网（https://roadflow.cn/）下载发布后的压缩包并解压得到如下文件： j-roadflow-8.0.0.jar为编译后的jar包（运行jar包需要jdk1.8以上版本）。 roadflowjava-mysql.sql为mysql数据版本（mysql版本要求8. ......
Windows Server 环境下 Mysql-8.0.32-winx64 升级至 Mysql-8.2.0-winx64版本
Mysql-8.0.32-winx64 升级至 Mysql-8.2.0-winx64版本 摘要： 环境：Windows Server 2019 Datacenter Mysql 8.0.32 升级至 Mysql 8.2.0 操作记录，跨域服务器访问； 准备工作：升级新版本、备份旧版本数据 zip压缩 ......
装载数据时报错：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
错误还原 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching ......
人脸识别系统【从0到1完成一个小项目】【5】【后端环境搭建】
建议版本一致，不然遇到问题要自己去解决 1.安装jdk1.8 https://www.oracle.com/java/technologies/downloads/#java8-windows 官网下载比较麻烦，要注册oracle账号，觉得麻烦的可以找别人要一个已经下载好的 cmd窗口输入java ......
python虚拟环境系列（五）：pycharm中快速切换环境
本系列汇总，请查看这里：https://www.cnblogs.com/uncleyong/p/17947601 pycharm版本选择 说明，pycharm中快速切换环境这个功能在比较新的版本中才有 我目前版本比较老 所以卸载了： 官网下载最新社区版本：https://www.jetbrains. ......