windows hadoop spark and
F. Trees and XOR Queries Again
首先容易想到lca+线性基，\(O(nlognB^2+qlognB^2)\)，显然T飞了。 #include<cstdio> #include<algorithm> #include<cstring> #include<cmath> #include<map> #include<vector> #i ......
最新版本——Hadoop3.3.6单机版完全部署指南
大家好，我是独孤风，大数据流动的作者。 本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。 本文档 ......
Windows11 剪切板历史记录
前言全局说明 复制、粘贴、剪切（ctrl+c、ctrl+v、ctrl+x）是平时最常用的功能。 但是经查有两个内容或东西需要复制到一个同一个地方，就导致到重复的切换。 无意中发现，Win11提供了一个，剪切板历史功能， 这样就可以通过点击，把多次复制的东西一次粘贴到指定地方了。 一、开启功能 屏幕左 ......
windows如何验证SSL证书信息内容
在 Windows 上，您可以使用一些内置的工具来验证 SSL 证书信息内容，比如使用 certutil 或者浏览器本身的功能。 使用 certutil 命令行工具： 查看证书详细信息： 打开命令提示符（Command Prompt）或 PowerShell，并执行以下命令： bashCopy co ......
Windows上使用Docker搭建ChirpStack私有LoRa服务端
1. 安装docker 运行docker，这里就不细说了 2.下载ChirpStack项目包 ChirpStack提供了一个包含示例Docker Compose配置的存储库，以帮助开始使用ChirpStack，此存储库位于chirpstack-docker: Setup ChirpStack usi ......
Windows 11关闭局域网下载更新
前言说明 Windows 11 更新，其他电脑也能同步接收到更新，是因为Win也使用了搜索局域网相同设备来下载东西。 这样有一台电脑有更新，其他电脑就会去电脑下载，而不是去网络上下载。 关闭目的是不想频繁的更新。 一、设置--高级选项--传递优化，关闭即可 免责声明：本号所涉及内容仅供安全研究与教学 ......
hive执行sql报错 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
前言： 执行hive sql报错，sql逻辑是两个表左连接并将数据插入新的表中。 报错信息： [ERROR] 2023-12-05 15:49:49.165 +0800 - execute sql error: Error while processing statement: FAILED: Ex ......
关于java：Windows：如何获取所有可见窗口的列表,并将指定窗口置顶
import com.sun.jna.Native; import com.sun.jna.Structure; import com.sun.jna.win32.StdCallLibrary; import org.apache.commons.lang3.StringUtils; import ......
Golang（Go语言） 对windows进行注销、关机、重启、闪电关机、闪电重启的操作
有个小项目需要对windows系统进行远程电源操作，于是封装了以下代码方便使用。 目录结构如下： main.go package main import ( "fastshutdown/utils/power" "fmt" ) func main() { err := power.Shutdown( ......
windows批量修改文件名-ren命令（重命名）
windows批量修改文件名-ren命令（重命名） 重点：文件名一对一对应 1.进入要批量修改文件名的目录，在地址栏输入cmd，回车进入命令行模式 2.执行 dir /b>G:\Desktop\1.txt，将文件名拷贝到1.txt文件中。 3.新建一个excle表格，将文件名一对一对应，可借助分列排 ......
CF1824B1 LuoTianyi and the Floating Islands (Easy Version) 题解
题意： 思路： 由于 $ k ∈ [1，3] $ ，分类讨论： 当 $ k = 1 $ 时，有人结点自身即为好结点，每种情况的期望为 $ \frac{1}{n} $ ， $ n $ 种情况的期望和为 $ 1 $ 。最终答案即为 $ 1 $ 。 当 $ k = 2 $ 时，$ 2 $ 个有人结点之间的 ......
Fine-grained Visual Classification with High-temperature Refinement and Background Suppression
摘要 细粒度视觉分类是一项具有挑战性的任务，因为类别之间的相似性很高，单个类别中数据之间的差异不同。为了应对这些挑战，以前的策略侧重于定位类别之间的细微差异并理解其中的判别特征。然而，背景还提供了重要信息，可以告诉模型哪些特征对于分类是不必要的甚至有害，并且过于依赖细微特征的模型可能会忽略全局特征和 ......
自定义Windows服务启动失败
一、报错内容 “无法从命令行或调试器启动服务，必须首先安装Windows服务(使用installutil.exe),然后用ServerExplorer、Windows服务器管理工具或NET START命令启动它” 二、解决方案 管理员身份运行cmd 进入到InstallUtil.exe的路径，使用c ......
hadoop大数据安装
一、hadoop的安装1、hadoop的安装wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz2、解压tar -zxvf hadoop-3.1.3.tar.gz -C /opt/mod ......
hadoop优化之yarn调优
yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 yarn.nodemanager.vmem-pmem-rat ......
关于在Windows环境下如何使用dtrace来获取程序运行的堆栈信息
如果启动的程序名为PerfTest.exe，对应的pid为30248，则打印堆栈调用信息的命令如下： dtrace -Fn "tick-5sec { exit(0);} pid30248:::entry/execname == \"PerfTest.exe\"/{ @num[ustack()] = ......
start-dfs.sh启动hadoop，jps没显示
查看当前系统的名称 [root@master dfs]# cat /etc/hosts 192.168.128.78 hadoop01 查看core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</ ......
如何检测Windows服务停止后自动启动？自动运行.bat批处理文件？
想要确保你的Windows服务即使在崩溃后也能自动重启吗？这篇文章教你如何用一个小巧的批处理脚本来实现这一点。教你怎么设置定时检查，如果发现服务挂了，就立刻拉起来。跟着步骤做，让你的服务稳定运行不再是难题！ ......
明年个人电脑将迎来大爆发！Windows 12、AI PC带来近年最强换机潮
经历多年萎靡之后，PC有望在明年迎来触底反弹，Windows更新周期加上AI PC的崛起，将带来近年最强换机潮。 全球知名科技市场独立分析机构Canalys发布的研报指出，全球个人电脑出货量在连续七个季度下跌后有望迎来复苏。 在节日旺季和宏观经济改善的推动下，预计2023年第四季度市场将增长5%。展 ......
windows 文件夹共享 设置免密共享
https://jingyan.baidu.com/article/86f4a73ea60a6f37d6526985.html https://blog.csdn.net/lipengfei_1993/article/details/106297073 不要密码共享 有些上位机或者AOI相机的dat ......
Windows Docker Desktop 设置镜像环境变量
Images->run->展开Optional settings container name ：容器名称 Ports：根据你需要的端口进行输入，不输入则默认 Volumes：卷，也就是做持久化 需要docker 数据保存的地方 Environment variables：环境变量，也就是启动时需要 ......
[ABC254E] Small d and k 题解
题目传送门 一道暴力题。 度数和 \(k\) 那么小？直接暴力 \(n\) 遍 bfs，注意 bfs 的队列只能 push 距离不超过 \(3\) 的点。但有个问题，每次 bfs 都需要清空一次距离数组，这样子的时间复杂度是 \(O(n^2)\) 的。但也不难想到，距离数组中被赋值的地方不会很多，记 ......
spark-sql查询Iceberg时处理流程
1、查询表结构 show create table data_lake_ods.test CREATE TABLE spark_catalog.data_lake_ods.test ( `user_number` BIGINT NOT NULL, `subclazz_number` BIGINT N ......
Multi-view Information Integration and Propagation for Occluded Person Re-identification
这篇从多视角这个思路出发，提出多视图信息集成模块，包括定位、量化和集成。 给定具有相同身份的多个图像，MVI2P：i）定位特征图中的空间辨别区域以过滤掉噪声信息。 ii）量化不同图像的显着性信息的相对重要性。 iii) 通过执行逐元素加法来集成多视图信息。 iv)通过知识蒸馏将多个图像隐含的综合信息 ......
centos免密登录windows
一、linux操作： 二、windows操作： 1、Windows系统需安装OpenSSH服务； 2、配置OpenSSH服务端的配置文件: <1>管理员权限打开cmd终端，输入命令ssh-keygen -t rsa -f id_rsa执行后，将linux下生成的id_rsa.pub内容复制到C:\P ......
5、半虚拟化驱动--virtio（linux和windows）和安装Windows server虚拟机
摘自：https://blog.51cto.com/mfc001/6410315 KVM的功能 主要体现在利用KVM的硬件辅助性虚拟化可以提高处理速度。 但在虚拟机中，有些硬件不是KVM来实现加速的，如磁盘、内存、网络的性能，如果更好的提升速度，需要安装半虚拟化驱动 1. 2. 3. 半虚拟化驱动 ......
Erasing, Transforming, and Noising Defense Network for Occluded Person Re-Identification
三个分支：擦除、转换、噪声 用来生成对抗性表征，模拟遮挡问题 对应信息丢失、位置错位和噪声信息 对抗性防御：思路是GAN网络，以对抗性的方式优化生成器和判别器 ......
Windows 项目的 CMakeLists 编写
前言： 项目一直是以 .sln 解决方案打开和处理的，上传到 github 也是需要将 sln 文件包括到项目里，不太优雅（虽然方便），毕竟现在开源项目基本都是使用 CMake 做跨平台编译 因为项目是以 Windows 编译为主，就只写了 CMakeLists 中的 Windows 的部分，后续如 ......
关于hadoop hive中使用hive分区功能
很多人习惯了使用第三方的工具 去连接hive或者hbase数据库，并且 使用其中的sql编辑器进行失去了语句 的使用来进行数据的分析等一系列的 操作，但是一些shell命令也可以在其中 运行例如： 1. set hive.exec.dynamic.partition=true; 2. set hiv ......