windows hadoop spark and
windows DiskGenius u盘数据恢复
[toc] ##windows DiskGenius u盘数据恢复 如果u盘不小心删除文件，或者被病毒格式化，文件不可读，可以使用该工具恢复 下载地址：https://www.diskgenius.cn/download.php ###运行DiskGenius软件 运行DiskGenius软件后，会 ......
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
问题现象为通过kubectl进入pods时提示在未来版本中将移除这种进入这种方式，需要使用新的命令格式进入 ```sh [root@master ~]# kubectl exec myweb-c5xq6 -it /bin/bash kubectl exec [POD] [COMMAND] is DE ......
windows10环境下安装RabbitMQ以及延时插件（图文）
> 安装转载：https://www.cnblogs.com/saryli/p/9729591.html > > 插件转载：https://blog.csdn.net/nbdclw/article/details/107441772 #### 安装及配置环境 ##### 第一步：下载并安装erlan ......
为什么使用Flink替代Spark？
一，Flink是真正的流处理，延迟在毫秒级，Spark Streaming是微批，延迟在秒级。 二，Flink可以处理事件时间，而Spark Streaming只能处理机器时间，无法保证时间语义的正确性。 三，Flink的检查点算法比Spark Streaming更加灵活，性能更高。Spark St ......
Windows11 访问WINOWS 2003 远程桌面提示 由于这台计算机没有远程桌面客户端许可证,远程会话连接己断开
今天遇到，，Windows11 访问WINOWS 2003 远程桌面 提示如下， 解决方法 在提示由于由于这台计算机没有远程桌面客户端许可证,远程会话连接己断开的计算机上， 打开注册表 regedit 计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\MSLicen ......
Spark性能优化
### 性能优化分析 一个计算任务的执行主要依赖于CPU、内存、带宽 Spark是一个基于内存的计算引擎，所以对它来说，影响最大的可能就是内存，一般我们的任务遇到了性能瓶颈大概率都是内存的问题，当然了CPU和带宽也可能会影响程序的性能，这个情况也不是没有的，只是比较少。 Spark性能优化，其实主要 ......
Spark扩展内容
### 宽依赖和窄依赖 - 窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父R ......
Spark之RDD相关
### 创建RDD RDD是Spark编程的核心，在进行Spark编程时，首要任务是创建一个初始的RDD，这样就相当于设置了Spark应用程序的输入源数据 然后在创建了初始的RDD之后，才可以通过Spark 提供的一些高阶函数，对这个RDD进行操作，来获取其它的RDD Spark提供三种创建RDD方 ......
Spark实战
### WordCount程序 这个需求就是类似于我们在学习MapReduce的时候写的案例 需求这样的：读取文件中的所有内容，计算每个单词出现的次数 注意：由于Spark支持Java、Scala这些语言，目前在企业中大部分公司都是使用Scala语言进行开发，个别公司会使用java进行开发，为了加深 ......
Spark详解
### 什么是Spark Spark是一个用于大规模数据处理的统一计算引擎 注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等，所以说它是一个统一的计算引擎 既然说到了Spark，那就不得不提一下Spark里面最 ......
windows 以太坊开发框架Truffle环境搭建
**一、安装DApp开发环境**1. * 1.1 安装Node.js 我们使用官方长期支持的8.10.0LTS版本，下载64位包装包。 下载后直接安装即可。安装完毕，打开一个控制台窗口，可以使用node了： ``` C:\Users\Administrator> node -v v8.10.0 `` ......
Windows11_22621.1776_企业版纯净版_V1.0 (六一纪念版)
系统名称：Windows11_22621.1776_企业版纯净版_V1.0(六一纪念版) 系统介绍：系统采用微软原版11离线制作，ISO绕过TPM硬件限制，可直接安装。因系统采用离线精简，并非二次封装版，保证纯净无第三方软件及OEM信息，为了追求稳定、没有过度精简优化，可以正常办公娱乐。注意：此版本 ......
Hadoop - HDFS 概述
什么是HDFS HDFS的优缺点 HDFS的文件块大小 HDFS的写数据流程 HDFS的副本配置策略 HDFS读数据的流程 什么是HDFS HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器 ......
Windows 同步工具有很多，以下是一些常见的工具
Windows 同步工具有很多，以下是一些常见的工具： SyncToy：由微软官方免费提供的文件夹同步软件，可以快速、准确地同步文件夹。 FreeFileSync：免费开源的文件夹同步和备份工具，支持双向同步、增量备份、过滤等功能。 GoodSync：功能强大的同步和备份软件，支持 FTP、SFTP ......
window10子系统下 libuv clone本地编译提示./autogen.sh: aclocal: not found错误
libuv文档 https://docs.libuv.org/en/v1.x/guide/introduction.html Code All the example code and the source of the book is included as part of the libuv p ......
如何更改windows 10 家庭版 修改其它用户名和密码
windows 10 家庭版 CMD 从键盘上使用的 Windows键 + R，运行 对话框里输入 netplwiz ......
Codeforces 1515I - Phoenix and Diamonds（值域倍增+线段树）
首先 $c$ 很大，因此复杂度跟 $c$ 有关的项肯定只能是 $\log c$ 之类的。 类比 IOI2021 dungeons 的套路，我们**对值域进行分层**，假设 $c\in[2^{\omega-1},2^{\omega})$，考虑令重量在 $\ge 2^{\omega-1}$ 的物品为“重 ......
How to use Vim copy line and paste line All In One
How to use Vim copy line and paste line All In One
如何使用 Vim 复制行和粘贴行
......
HDU1028 Ignatius and the Princess III
## Description  题意：给出 $n(1\le n\le 120)$，求出 $n$ 的整数划分方案数。 ## Solution 先考虑一个简单的问题：从 $1\sim n$ 的数字取出若干个数字 ......
CF101234A Hacker Cups and Balls【二分+线段树】
## Description 给一个长度为 n 的排列，对它做 m 次操作，每次对 [l, r] 区间内进行升序/降序排序。 问最后的序列处于最中心的数是多少（n为奇数）。 ## Solution 是一类没有写过的题，[参考题解](https://www.cnblogs.com/ShinaCloud ......
启用Windows防火墙后，FTP传输非常慢
我们有一个计划任务，该任务使用Windows命令行FTP程序在两个Windows服务器之间传输大文件（〜130 MB）。速度很慢（大约需要30分钟），有时会在传输完成之前终止。服务器是2003年（发送）和2008年（接收）。 如果我使用FileZilla的GUI手动传输文件，它将运行得更快，并且只需 ......
Windows和Ubuntu使用网线直连搭建局域网
### Windows配置 *右键网络* > *属性* > *更改适配器设置* > *以太网* > *右键属性* > *TCP/IPv4* > *IP地址（192.168.1.3）* > *子网掩码（255.255.255.0）* > *默认网关*（192.168.1.1） ### Ubuntu配置 ......
解决 NVIDIA Windows has stopped this device because it has reported problems. (Code 43)
## 场景 1. 当跑需要使用GPU算力的一些项目时候,需要用到CUDA,确保电脑是具有独立显卡的机子,但是怎么也没法让代码中的torch跑在GPU上; 2. 点击任务管理器查看"性能"下的GPU选项,看到运行中的并非是独立显卡而是集成显卡; 3. 点击设备管理器,发现NVIDIA显卡左下角有感叹号 ......
Difference Between Session and Entity Beans
https://docs.oracle.com/cd/E17802_01/j2ee/j2ee/1.4/docs/tutorial-update6/doc/EJBConcepts4.html You should probably use an entity bean under the follow ......
Windows RDP凭证的抓取和密码破解
# Windows RDP凭证的抓取和密码破解 [TOC] ## 一、条件和破解原理 当使用远程桌面时，如果点击保存密码，Windows就通过MasterKey将我们的密码保存在本地，由于Windows还需要解密从而使用，所以这个过程是可逆，也正因为这原因，我们只要拿到MasterKey就能将密码解 ......
Me-and-My-Girlfriend-1
1.查看kaliIP地址 ifconfig 2.nmap命令扫描所在网络断的ip即开放端口 nmap 192.168.137.0/24 发现目标主机192.168.137.149 开放了22和80端口 3.直接访问主机地址192.168.137.149 4.只能本地访问，设置xff代理尝试登录 X- ......
Windows11提示msrd3x43.dll缺少怎么办？文件处理方法
msrd3x43.dI是win11系统必备的一个正常组件，系统中的游戏或者软件运行都需要它的支持,如果当win11系统中缺少msrd3x43.dlI文件时，可能会造成一些游戏或者软件运行不了 ，那么win11提示msrd3x43.dll缺少怎么办呢? 注：（我是在做串口调试软件运行时，提示缺少的） ......
flink安装（无hadoop）
下载Flink：访问Flink的官方网站（https://flink.apache.org/），在下载页面找到适合你操作系统的预编译二进制包。选择与你的操作系统和版本相对应的下载链接，点击下载。 解压二进制包：下载完成后，将二进制包解压到你想要安装Flink的目录中。你可以使用命令行工具（如tar命 ......
spark 常用参数和默认配置
##常用的Spark任务参数及其作用： 1. `spark.driver.memory`：设置driver进程使用的内存大小，默认为1g。 2. `spark.executor.memory`：设置每个executor进程使用的内存大小，默认为1g。 3. `spark.executor.cores ......
hadoop 生态环境
HDFS角色及概念 hadoop体系中数据存储管理的基础，是一个高度蓉错的系统，用于在低成本的通用硬件上运行 角色和概念 — Client — NameNode — Secondarynode — Datanode NameNode — Master节点，管理HDFS的（名称空间和数据块映射信息)就 ......