windows hadoop spark and
Hadoop YARN
1.Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基础架构 Yarn主要由ResourceManager、NodeManager、Applicatio ......
Hadoop 数据压缩
1.概述 1.好处 & 坏处 优点：减少磁盘IO、减少磁盘存储空间 缺点：增加CPU开销 2.压缩的原则 运算密集型的Job，少用压缩 IO密集型的Job，多用压缩 2.MR 支持的压缩编码 1.压缩算法对比介绍 压缩格式 Hadoop自带? 算法 文件扩展名 是否可切片 换成压缩格式后,原来的程序 ......
window10下生成目录结构树
大家看博客的时候应该看到过这种目录结构展示 可以手敲出来，但是麻烦，我们可以命令生成 cmd，进入要生成目录结构树的目录 预览目录结构：tree 目录结构写到文件：tree > dir.txt dir.txt内容 如果要显示文件名，加个参数即可：tree /f，tree /f > dir.txt ......
如何在Windows本地运行一个大语言模型
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型，可以在消费级显卡上轻松运行一个离线的对话机器人。 它功能强大，配置过程简单，对初学者比较友好。 本文记录了ChatGLM3的环境配置过程，希望能对跟我一样的新手朋友起到帮助。 准备工作： 准备一台装有Nvidia显 ......
Hadoop快速入门
Hadoop快速入门 一、大数据思维 分而治之 所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。 传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是 ......
Windows Server Core 文件权限及安全策略设置
1. 修改文件夹权限ACL icacls c:\share /grant everyone:(oi)(ci)(f) /t 2. 修改用户密码策略及其他 导出策略： secedit /export /cfg c:\sec.txt /log c:\sec1.log 修改C:\sec.txt 文件中的以下 ......
Object detection in optical remote sensing images: A survey and a new benchmark
Object detection in optical remote sensing images: A survey and a new benchmark 光学遥感图像中的目标检测：调查和新基准 最近人们投入了大量的精力来提出光学遥感图像中物体检测的各种方法。然而，目前对光学遥感图像中目标检测的 ......
[LeetCode] 2482. Difference Between Ones and Zeros in Row and Column
You are given a 0-indexed m x n binary matrix grid. A 0-indexed m x n difference matrix diff is created with the following procedure: Let the number o ......
Windows电脑上的多开工具与分布式计算的关系
在Windows电脑上，多开工具和分布式计算之间存在着一定的关系。多开工具是一类软件，可以帮助用户在一台电脑上同时打开多个相同或不同的应用程序实例，从而提高工作效率。而分布式计算则是利用多台计算机的闲置资源来共同完成复杂的计算任务，通过将任务分发到各个计算节点上并将计算结果汇总，从而加快计算速度和提 ......
golang多版本管理工具g使用(windows)
1.下载地址 https://github.com/voidint/g/releases 2.选择win版本包 3.解压后将g.exe放入自定义目录，这里我放在C:\Program Files\g 4.设置环境变量 编辑系统变量, 添加Path值 5.打开powershell 6.默认情况下，安装的 ......
Educational Codeforces Round 158 (Rated for Div. 2)C. Add, Divide and Floor(思维/数学)
C. Add, Divide and Floor 这里我们选择固定最小数不变，然后每次让其他数向最小数靠近，模拟一下可以发现，只要最大值变为和最小值一样，其他都会和最小值一样。 #include <bits/stdc++.h> #define rep(i,a,b) for(register int ......
ICEE-Microchip-MPLAB X IDE-MCC Plugin + MCC Core + MHC(MCC Harmony Core) versions and compatibility
https://microchip.my.site.com/s/article/MPLAB-X-MCC-plugin--MCC-Core-and-MCC-Harmony-Core-versions-and-compatibility Aug 17, 2023•Knowledge rticle Num ......
Cyclone V SOC FPGA 如何将preloader uboot kernel rootfile rbf dtb uboot.scr 等文件打包成一个SD卡 .img文件 方便windows的windisk32 一键烧写呢？
首先 我按照 （https://rocketboards.org/foswiki/Documentation/EmbeddedLinuxBeginnerSGuide）制作了一个image， 将SD卡进行分区fat32， raw 和ext3，然后将preloader uboot kernel root ......
智能计算与图形图像处理Intelligent Computing and Graphics and Image Processing
智能算法 Intelligence Algorithms 图形图像处理 Graphics & Image Processing 机器视觉 machine vision 计算机视觉 computer vision 计算机视觉（computer vision），用计算机来模拟人的视觉机理获取和处理信息的 ......
windows C++
https://en.cppreference.com/w/cpp/string/basic_string std::basic_string C++ Strings library std::basic_string Defined in header <string> template< cla ......
Inferring Developmental Trajectories and Causal Regulations with Single-cell Genomics用单细胞基因组学推断发育轨迹和因果规则
Inferring Developmental Trajectories and Causal Regulations with Single-cell Genomics Development is commonly regarded as a hierarchical branching pro ......
ICCBDAI2021 第*届计算机大数据与人工智能国际会议 The 2nd International Conference on Computer, Big Data and Artificial Intelligence
第二届计算机大数据与人工智能国际会议（ICCBDAI2021） . 01 会议信息 . 【会议简称】：ICCBDAI2021 【会议全称】： The 2nd International Conference on Computer, Big Data and Artificial Intellige ......
IntelliJ IDEA无公网远程连接Windows本地Mysql(开发调试必备,提高开发效率!!!)
IDEA作为Java开发最主力的工具,在开发过程中需要经常用到数据库,如mysql数据库,但是在IDEA中只能连接本地数据库,有时候需要访问其他地方如家里或者公司的数据库,将无法访问,内网的局限性导致我们只能在同一网络访问,无法跨网络访问,所以,本例将介绍如何在异地也可以实现远程连接本地的数据库,这 ......
windows c++ socket
socket 用winsocket时，send(),recv()过程中有时由于网络状况等原因，收发不能预期进行,可以设置收发时限：int nNetTimeout = 1000; //1秒//发送时限setsockopt( socket, SOL_SOCKET, SO_SNDTIMEO, ( char ......
python远程关闭window电脑
背景 公司的电脑机器太多，每次关闭的时候需要一台一台的关闭，比较麻烦，因此做一个批量关闭的功能 Windows电脑不想liunx有ssh工具，因此需要事前在Windows电脑上面安装一个ssh工具。 1、Github上下载OpenSSH包 下载地址 https://github.com/PowerS ......
Windows 10 LTSC 2021 占用内存过高的解决
1. 注册表导入文件，并运行 Windows Registry Editor Version 5.00 [HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\Services\AppXSvc] "Start"=dword:00000004 [HKEY_LOCAL_MACH ......
Windows + MinGW-W64 Boost程序库 环境配置踩坑指南
Windows + MinGW-W64 Boost程序库 环境配置踩坑指南 本文仅在博客园由aquawius发布，请在转载注明本链接，我这里就不写开源协议了，总之盗文章的马没了就完了。 0x00 关于MinGW-W64的安装 你可以自己选择， 我使用的来自github的w64devkit, 这个工具 ......
Windows + MinGW-W64 Boost程序库 环境配置踩坑指南
Windows + MinGW-W64 Boost程序库 环境配置踩坑指南 0x00 关于MinGW-W64的安装 你可以自己选择， 我使用的来自github的w64devkit, 这个工具内置了比较多的小工具，在linux中有许多工具windows用不了，w64devkit里边就有提供(甚至包括v ......
安装Windows 11 最新系统
前言全局说明 安装Windows 11 最新系统 注意：安装系统，提前备份磁盘数据 注意：安装系统，提前备份磁盘数据 注意：安装系统，提前备份磁盘数据 一、官方win11镜像下载入口 https://www.microsoft.com/zh-cn/software-download/windows1 ......
windows提权
Windows Privilege Escalation 提权前先基本信息收集： 系统版本、漏洞补丁、杀软防护、当前权限、系统配置、系统的服务等 查看系统进程：tasklist /svc（杀软防护软件检查） 系统漏洞提权 思路：查看系统补丁信息，若有系统内核漏洞，但没打补丁就可以尝试找exp 查找补 ......
windows信息收集
windows 基础知识 注册表编辑器 win+r 输入regedit 命令 hostname whoami ipconfig，iconfig /?表示查看帮助手册 cls：清除 netstat：查看tcp/ip连接 net：用于管理网路资源 icacls：用于管理 权限标识 M：修改 W：写 R： ......
windows安全基本概念
基本概念 账户安全 账号信息存储（SAM） SAM：security account manager SAM对账户的管理是通过安全标识进行的，每个账户的安全标识是唯一的，账户被创建时，安全标识就会产生。 SAM文件是windows的一个账户数据库，存储了登录名、密码等信息。该文件是加密存储的，只有s ......
用C++调用Windows.Media.Ocr接口实现图片的OCR识别
这个接口最开始是给UWP程序用的。C++里需要用C++/WinRT方式调用。默认参数的识别率也不是很高的样子。只支持Win10+。 #include <winrt/Windows.Storage.h> #include <winrt/Windows.Storage.Streams.h> #inclu ......
window mysql 自动按日期备份Sql脚本
一、背景 这几天数据中了病毒，服务器被黑，Mysql数据库遭比特币勒索！！！数据库有开启 binlog 那就还有恢复的可能。那么恭喜你可以参考这篇文章https://zhuanlan.zhihu.com/p/311435595 如果没有开启，那没办法了，只能吃一堑长一智，要么数据库做同步【做新增、修 ......
Postgresql在Windows中使用pg_dump实现数据库(指定表)的导出与导入
场景 Windows中通过bat定时执行命令和mysqldump实现数据库备份： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119024990 Windows上通过bat实现不同数据库之间同步部分表的部分字段数据： https ......