hadoop3环境hadoop hive3
大模型环境搭建（一）
一：Python 安装 安装简介： 电脑系统:Win11 安装Python版本：3.10.11 第一步,下载Python 打开官网：https://www.python.org/ 国内镜像：https://mirrors.huaweicloud.com/python/ 第三步,确认Python,pi ......
day 01 计算机基础和环境搭建
1.计算机基础 1.1 基本概念 计算机的组成 计算机是由多个硬件组合而成，常见的硬件有：CPU、硬盘、内存、网卡、显示器、机箱、电源... 操作系统 用于协调计算机的各个硬件，让硬件之间协作工作，以完成某个目标 - Windows - Linux - Mac 软件 在安装上操作系统之后，我们会在自 ......
fish 复用 .bash_profile 里的环境变量
vim ~/.config/fish/config.fish 添加以下代码 # REUSE ENVIRONMENT VARIABLES FROM ~/.bash_profile bash -c '. ~/.bash_profile; env' | while read e set var (echo ......
最新版本——Hadoop3.3.6单机版完全部署指南
大家好，我是独孤风，大数据流动的作者。 本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。 本文档 ......
hive执行sql报错 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
前言： 执行hive sql报错，sql逻辑是两个表左连接并将数据插入新的表中。 报错信息： [ERROR] 2023-12-05 15:49:49.165 +0800 - execute sql error: Error while processing statement: FAILED: Ex ......
Cplex学术版申请及Python API环境配置
当使用Cplex时弹出下面错误： CPLEX Error 1016: Community Edition. Problem size limits exceeded. Purchase at http://ibm.biz/error1016. 不出意外，是因为使用了社区版的Cplex无法求解大规模问 ......
JAVA JDK 17--安装及环境配置
第一步：下载并安装 JAVA JDK 官网：https://www.oracle.com/java/technologies/downloads/#jdk17-windows 我在这里选择的是 windows系统的 安装包 JDK17： 将JDK放到C盘外 无 中文 与 空格下的目录： （我放在了E ......
hadoop大数据安装
一、hadoop的安装1、hadoop的安装wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz2、解压tar -zxvf hadoop-3.1.3.tar.gz -C /opt/mod ......
hadoop优化之yarn调优
yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 yarn.nodemanager.vmem-pmem-rat ......
关于在Windows环境下如何使用dtrace来获取程序运行的堆栈信息
如果启动的程序名为PerfTest.exe，对应的pid为30248，则打印堆栈调用信息的命令如下： dtrace -Fn "tick-5sec { exit(0);} pid30248:::entry/execname == \"PerfTest.exe\"/{ @num[ustack()] = ......
超详细Linux搭建Java开发环境
硬件 JDK1.8.0_121(截止2017-1-26最新) CentOS 7(截止目前最新版) 下载jdk8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 选择对应jdk版本下 ......
在 macOS 上搭建 Flutter 开发环境
目录下载 Flutter SDK配置 Flutter 环境变量及镜像检查开发环境参考 下载 Flutter SDK flutter官网下载：https://flutter.io/sdk-archive/#macos 若上述链接无法访问，可通过GitHub下载 https://github.com/f ......
Linux环境中动态库文件（.so文件）的realname，soname和linkname--解释清楚
realname： 实际等同于库文件的filename，是在库文件生成时就被指定的，如：gcc -shared -o $(realname) dependence flagsrealname的一般格式为 lib$(name).so.$(major).$(minor).$(revision)，$(na ......
start-dfs.sh启动hadoop，jps没显示
查看当前系统的名称 [root@master dfs]# cat /etc/hosts 192.168.128.78 hadoop01 查看core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</ ......
Windows Docker Desktop 设置镜像环境变量
Images->run->展开Optional settings container name ：容器名称 Ports：根据你需要的端口进行输入，不输入则默认 Volumes：卷，也就是做持久化 需要docker 数据保存的地方 Environment variables：环境变量，也就是启动时需要 ......
关于hadoop hive中使用hive分区功能
很多人习惯了使用第三方的工具 去连接hive或者hbase数据库，并且 使用其中的sql编辑器进行失去了语句 的使用来进行数据的分析等一系列的 操作，但是一些shell命令也可以在其中 运行例如： 1. set hive.exec.dynamic.partition=true; 2. set hiv ......
基于ATMega16的最小系统及其开发环境简介
AVR实验例程用的最小系统如下图所示，芯片采用ATMega16A，主晶振频率为8MHz，异步晶振频率为32768Hz，系统采用JTAG接口调试及下载程序。 以上仅是最小系统的电路图，后续例程中使用到的额外电路会在例程中给出相应的模块电路。 AVR Studio集成开发环境（IDE）是专门用于开发AV ......
七、Hadoop优化
优化1：Combiner 使用之前 使用之后 减少的了reduce 从map拉取数据的过程，提高计算效率。 hadoop 的计算特点：将计算任务向数据靠拢，而不是将数据向计算靠拢。 特点：数据本地化，减少网络io。 首先需要知道，hadoop数据本地化是指的map任务，reduce任务并不具备数据本 ......
Go开发环境
https://golang.google.cn/dl/ | go1.21.4.windows-386.zip | Archive | Windows | x86 | 69MB | 870a0e462b94671dc2d6cac707e9e19f7524fdc3c90711e6cd4450c3713 ......
linux python virtualenv虚拟环境安装
python virtualenv虚拟环境安装 pip3 install virtualenv pip3 install virtualenvwrapper 创建环境存放目录 mkdir $HOME/.virtualenvs 查看已安装的virtualenv find / -name virtual ......
国标GB28181视频监控EasyCVR内网环境部署无法启动怎么办？
安防视频监控系统EasyCVR平台可拓展性强、视频能力灵活、部署轻快，可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等，能对外分发RTMP、RTSP、HTTP-FLV、WebSocket-FLV、 ......
环境安装anaconda
what： 1. 简介 Anaconda（官方网站）就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。 2. 特点 Anaconda具有如下特点： ▪ 开源 ▪ 安装过程简单 ▪ 高性能使用Pyt ......
Jupyter Notebook使用anaconda虚拟环境
参考： https://blog.csdn.net/qq_34319660/article/details/126246351 基本上就是如下几步 启动环境 conda activate LLM_env 查看已安装路径 jupyter kernelspec list 安装ipykernel pip ......
设置JDK环境变量
设置JDK环境变量 1.下载jdk https://www.123pan.com/s/KYyzVv-ajDzv.html 提取码:WT18 2.设置Jdk环境变量 windows JAVA_HOME C:\Program Files\Java\jdk-18.0.1.1 CLASSPATH .;% ......
【jenkins】linux下环境搭建
Jenkins是什么： Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监测持续重复的工作，旨在提供一个开放易用的软件平台，是软件项目可以进行持续集成。通常，项目中常用Jenkins作为编译打包项目的工具，做自动化部署。 本文的Jenkins安装基于Jenkins.war ......
[oeasy]python0002_终端_CLI_GUI_编程环境_游戏_真实_元宇宙
回忆 上次 了解了 python 语言的特点 历史悠久 功能强大 深受好评 已成趋势 3大主流操作系统 mac windows linux 添加图片注释，不超过 140 字（可选） 我们 选择 linux 作为基础系统 为什么选择 黑乎乎的命令行界面呢？🤔 GUI vs CLI 个人电脑 用图标和 ......
单机ELK接收kafka日志环境搭建
单机ELK接收kafka日志环境搭建 1、安装elk单机环境 参考以下链接： 2、搭建kafka 下载kafka：https://archive.apache.org/dist/kafka/2.6.2/ 解压： tar -zxvf kafka_2.12-2.6.2.tgz mv kafka_2.12 ......
第二次作业（基于 visual studio 2022 环境下的“MFC”计算器登录使用）
一、前言 1、系统环境：Window10,visual studio 2022,MYSQL Client(MariaDB 5.5(X64))。 2、界面：这是一个MFC界面，通过连接创建的数据库，实现计算器登录、运算以及查看历史记录的功能。 二、设计过程 1、流程图： 2、数据库表格创建与连接 （1 ......