windows hadoop spark and
windows访问k8s
# windows访问eks pods ## 安装AWS CLI 网址为 https://awscli.amazonaws.com/AWSCLIV2.msi。 查看aws版本。 ``` aws --version ``` ## 配置AWS CLI凭证 `eksctl` 和 AWS CLI 均要求您在 ......
论文阅读 | Learn from Others and Be Yourself in Heterogeneous Federated Learning
**在异构联邦学习中博采众长做自己** 代码：https://paperswithcode.com/paper/learn-from-others-and-be-yourself-in **摘要** 联邦学习中有异质性问题和灾难性遗忘。首先，由于非I.I.D（相同独立分布）数据和异构体系结构，模型在 ......
支持在 Windows 环境下安装和使用。以下是在 Windows 环境下安装 CloneDeploy 的步骤 CloneDeploy 的使用操作步骤
CloneDeploy 是一款基于 Linux 的开源系统部署解决方案，但也支持在 Windows 环境下安装和使用。以下是在 Windows 环境下安装 CloneDeploy 的步骤： 准备环境：在安装 CloneDeploy 前，需要先在 Windows 操作系统中安装好 Apache、PHP ......
又来了两款高效且实用的Windows软件
■ Free Countdown Timer Free Countdown Timer是一款大小在4.5MB左右的，简单好用的免费的倒计时、倒数日软件。它目前仅支持Windows平台。 我们可以用它快速的创建多个计时器和事件，并给不同的定时器和事件设置不同的提示音。所以平时我们可以将它作为一个闹钟、 ......
在 Windows 操作系统中，使用远程桌面连接 mstsc.exe 命令时，可以对连接进行各种配置和设置。其中一些设置存储在系统注册表的特定位置中
mstsc 是 Microsoft Windows 操作系统中的远程桌面客户端程序，用于连接和控制远程计算机。以下是 mstsc 命令的一些常用选项： /v：指定要连接的目标计算机的 IP 地址或主机名。 /admin：以管理员身份连接远程计算机。 /public：将远程计算机的屏幕切换到共享模式， ......
Efficient Correction of Single InsertionlDeletion and Multi-Substitution Errors
Efficient Correction of Single InsertionlDeletion and Multi-Substitution ErrorsG. J. Han, Y. L. Guan, K. Cai, K. S. Chan, and L. J. Kong A!JshYlc�A tw ......
局域网 Windows 系统克隆方案有很多，以下是一些较为常见的
局域网 Windows 系统克隆方案有很多，以下是一些较为常见的： Windows 原生工具：Windows 系统自带了众所周知的“系统备份和恢复”工具。您可以使用这个工具创建一个系统备份，并在需要的时候将备份还原到其他计算机中。这种方法的缺点是需要手动完成，不够自动化和高效。 Symantec G ......
real-time 3D terrain engine using C++ and directX
GAIA引擎是Greg Snook在书籍 Real-Time 3D Terrain Engines Using DirectX 9 中随书附带的一个地形引擎。该书后来又被承天一翻译成了中文版，名叫《实时地形引擎》。 参考：https://blog.csdn.net/hefengscu/article ......
windows暂停更新3000天
Win+R或右键（Windows徽标键）运行 reg add "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsUpdate\UX\Settings" /v FlightSettingsMaxPauseDays /t reg_dword /d 3000 /f ......
如何使用 Nvidia 显卡 (CUDA) 为机器学习/深度学习设置 Windows 机器
如果您正在学习机器学习/深度学习，您可能正在使用免费的Google Colab。但是您可能想知道免费版本是否足够。 如果您买得起优质的 Nvidia 显卡（具有相当数量的 CUDA 内核），那么您可以轻松地使用您的显卡来完成此类密集型工作。 许多开发人员为此使用 Linux。但是，我不喜欢 Linu ......
关于Hadoop集群无法正常关闭的问题
### 原生命令 正常情况我们是通过以下命令来停止和开启集群的 ```sh sbin/stop-all.sh sbin/start-all.sh ``` 但有时候不生效，通过ps还能查看到，但jps命令查看不到 ### 自定义停止命令 ```sh #!/bin/bash # 停止hadoop进程 h ......
Window中TCP端口转发设置
在Linux系统中我们可以使用ssh或者autossh进行端口转发 https://www.ibm.com/developerworks/cn/linux/l-cn-sshforward/ 在Window中我们可以使用netsh命令进行端口转发 注意：在window中现在只能针对TCP请求进行端口转 ......
Mac电脑复制文件到Window系统会有很多"._"开头的文件
# 解决方法 window上下载"git bash"(链接：https://gitforwindows.org/)，然后执行下面的命令进到对应的目录下即可删除"._"开头的文件 ```shell find . -name "._*"|xargs rm ``` ![](https://img2023. ......
Hadoop之YARN详解
### YARN的由来 从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台，任何满足规则的计算引擎都可以在它上面执行。所以YARN可以实现HADOOP集群的资源共享，不仅仅可以跑MapRedcue，还可以跑Spark、Flink。 ### YARN架构分析 ......
【Oracle】Check size of datafiles and tempfile tablespaces used in CDB and PDB
set line 200 pages 999 column name for a10 column tablespace_name for a15 column "MAXSIZE (GB)" format 9,999,990.00 column "ALLOC (GB)" format 9,999,9 ......
windows驱动开发之网络双机调试(三)
一、配置目标计算机 首先在被调试机上也安装上 WDK 环境，随后在 WDK 的安装目录下运行该工具 WDK Test Target Setup，默认路径：C:\Program Files (x86)\Windows Kits\10\Remote\x64\WDK Test Target Setup x ......
windows下gitbash 鼠标左键选中文字自动自行终止命令 ctrl+c ^C
原因是有道翻译划词翻译 导致的， 打开有道翻译，勾选掉划词即可 ......
Kali渗透Windows服务器
这个实验主要让我们学习漏洞扫描技术基本原理，了解其在网络攻防中的作用，掌握使用Kali中的Metasploit对目标主机渗透，并根据报告做出相应的防护措施。 ......
Hadoop - hadoop介绍
Hadoop是什么 Hadoop的发展历史 Hadoop的优势 Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算问题。广义上讲，Hadoop通常是指一个更广泛的概念 —— Hadoop生态圈。 Hadoop的发展历史 L ......
Windows驱动开发之测试案例(二)
一、源码示例 根据官方教程，我们在VS2019中创建空的 KMDF 项目，并在其中创建 Driver.c 文件，编写代码如下： #include <ntddk.h> #include <wdf.h> DRIVER_INITIALIZE DriverEntry; EVT_WDF_DRIVER_DEVI ......
go exec.Command windows 参数引号转义问题
Go在windows上调用本地进程传参时的一个天坑 #Golang go在windows上exec.Command调用本地进程在传参的时候有一个天坑，举个栗子来说正常来说一般代码会这么写 ```go cmdLine := "notepad.exe " + `"D:\Program Files\Not ......
Torrent Storage and Caching Torrents
https://torrends.to/sites/torrent-storage-caching/ https://btcache.me/ 不用，需要输入验证码，麻烦 https://torrage.info/ 需要点击，才能下载 https://itorrents.org/ 可以直接使用命令行下 ......
2023CVPR_Low-Light Image Enhancement via Structure Modeling and Guidance(代码暂无公布)
大佬链接：CVPR2023 低光照图像增强论文阅读 基于结构先验的图像增强 - 知乎 (zhihu.com) 一 motivation 1. 现有低光照图像增强方法忽视了在低光照区域结构信息建模对增强的作用（ignore the explicit modeling of structural det ......
Apache Spark 编程和优化
Assignment 2: Apache Spark Programming and OptimisationGroup Assignment (15%) 10/05/2023IntroductionThis is the second part of the practical assignmen ......
hadoop3.x-ec
一、EC原理 二、常用命令与对应解释 1.查看当前支持的EC策略 hdfs ec -listPolicies 2023-05-30 10:10:43,251 WARN util.NativeCodeLoader: Unable to load native-hadoop library for yo ......
MD5 - windows也可以查询某个文件的MD5码
命令格式 certutil -hashfile 文件名称 md5 示例 Microsoft Windows [版本 10.0.22621.1702] (c) Microsoft Corporation。保留所有权利。 C:\Users\Harley·Hou\Desktop\getWifiPwd_lo ......
Windows驱动开发之开发环境的搭建(一)
一、简介 Windows驱动开发是指为Windows操作系统编写内核模式驱动程序的过程。驱动程序是操作系统与硬件设备之间的桥梁，它负责管理和控制硬件设备，使其能够与操作系统和应用程序进行交互。随着 windows 系统的更新迭代，windows 驱动开发技术也是不断的升级：从最早期的 VXD(Vir ......
mysql开启审计(windows)
环境: OS:windows 2008 DB:mysql 5.7 1.获取到安全审计插件可以下载mariadb后,解压找到server_audit.ddl我这里下载的mariadb版本是10.4.29下载地址:https://mariadb.org/download/ 2.将server_audit ......
手摸手带你 在Windows系统中安装Istio
### Istio简介 通过负载均衡、服务间的身份验证、监控等方法，Istio 可以轻松地创建一个已经部署了服务的网络，而服务的代码只需很少更改甚至无需更改。 通过在整个环境中部署一个特殊的 sidecar 代理为服务添加 Istio 的支持，而代理会拦截微服务之间的所有网络通信，然后使用其控制平面 ......
windows系统如何禁用组策略（修改注册表）
**1、在电脑桌面使用快捷键win键+R唤出运行窗口，输入regedit，点击确定。**  **2、在注册 ......