单机windows环境spark
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
Nocalhost 为 KubeSphere 提供更强大的云原生开发环境
1 应用商店安装 Nocalhost Server 已集成在 KubeSphere 应用商店，直接访问： 设置应用「名称」，确认应用「版本」和部署「位置」，点击「下一步」： 在「应用设置」标签页，可手动编辑清单文件或直接点击「安装」。建议把 service.type 设置为 ClusterIP，以确 ......
linux环境htop安装
1、获取htop源码包 git clone https://github.com/htop-dev/htop 2、安装依赖 yum install ncurses-devel gcc 3、解压源码包，编译安装 ./configure make -j 8 make install 源码安装方式 安装支 ......
OpenHarmony 上跑CV 应用 - Windows上搭建 Linux 桌面系统
为什么做这个事呢？首先dev 环境方面肯定Linux是主流，然后因为要跑CV应用，肯定还是要看看效果啥的，最好有个桌面系统。 Ref: https://learn.microsoft.com/en-us/windows/wsl/tutorials/gui-apps ......
linux环境Python安装
1、下载源码 华为云镜像地址下载python Python加速地址：https://repo.huaweicloud.com/python/ 2、安装前置依赖 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqli ......
实验七：Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
Mac上运行windows软件-GPTK
GPTK官网 https://www.applegamingwiki.com/wiki/Game_Porting_Toolkit 使用Whisky安装GPTK Whisky https://github.com/Whisky-App/Whisky 把下载的Whisky.app移动到应用程序中 运行， ......
Windows Server 2016 & 2019 工作站速配脚本
之前有一篇关于把Windows Server打造成工作站系统的[随笔]，其中的步骤完全基于手工操作，恐怕部分对系统不熟悉的朋友会找不到设置的入口。与其弄一堆截图写所谓的教程，还不如写一个程序来自动化处理。 init.ps1 Write-Host "`n正在启用声音服务" Set-Service -N ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
windows 命令行调整分辨率
windows 命令行调整分辨率 下载：qres_v1.1 https://abcker.lanzouq.com/i1uzA1a5uo8j 解压出来，如：D:\Soft\QRes 先用命令行查看下本机支持的分辨率。 qres.exe /L 支持的： 1680x1050, 32 bits @ 59 H ......
Windows 7 SP 1 部署 .NET 6/7
依赖项 Microsoft Visual C++ 2015-2019 Redistributable 64 位 https://aka.ms/vs/16/release/vc_redist.x64.exe 32 位 https://aka.ms/vs/16/release/vc_redist.x86 ......
Spark读写达梦数据库报错Decimal精度为负数以及解决方案
一、Spark读取DM数据库问题描述 当达梦的表格设计使用number数据类型时，如果没有指定精确，使用默认值，如下图所示 则在读取该表格数据时，报错如下： 24/01/12 10:43:48 ERROR Node: [47db01a8b6ff47e7840cb0a777033721]:compon ......
Windows 10 中，可以使用 PowerShell 添加打印和文件服务的角色功能组件，包括 Internet 打印客户端、LPD 打印服务和 LPR 端口监视器 PowerShell 添加打印机并创建新的 LPR 端口。以下是添加打印机和创建新端口的 PowerShell 命令在 Windows 10 中，可以使用 PowerShell 添加 LPR 兼容打印机。
在 Windows 10 中，可以使用 PowerShell 添加打印和文件服务的角色功能组件，包括 Internet 打印客户端、LPD 打印服务和 LPR 端口监视器。以下是添加这些功能组件的 PowerShell 命令： 首先，以管理员身份打开 PowerShell 终端。在开始菜单中搜索 " ......
Java实现单机百万并发
摘要： 在互联网时代，高并发是必不可少的。Java是目前最流行的编程语言之一，那么如何在Java中实现单机百万并发呢？本文将介绍一些实现单机百万并发的思路和方法。 正文： Java实现单机百万并发，主要需要解决以下两个问题： 如何突破操作系统的文件句柄限制 如何优化应用程序的性能 突破操作系统的文件 ......
在windows上建立与Linux的互连
参考博客 在Win10上使用SSH远程连接Linux搭建VSCode开发环境_wind10 vs code ssh ubuntu-CSDN博客 ......
在Windows上出现"localhost拒绝连接”的问题
我的问题如下： 我在win11下想使用phpEnv配置php7.4-nginx的环境，通过xdebug用vscode调试，但在配置环境的时候出现了问题，访问默认的localhost站点时出现localhost 已拒绝连接的问题，而使用127.0.0.1会直接访问到D:\Download\phpEnv ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存 ......
visual studio编译不再支持的framework环境
下载好需要的framework版本，解压出来放到下面路径中，然后重新打开vs即可。 C:\Program Files (x86)\Reference Assemblies\Microsoft\Framework\.NETFramework ......
IPv6通过公网共享文件（Windows）
前言 之前讲了如何使用IPv6进行内网穿透，这种方案实现的穿透是免费且不限速的。那么实现穿透后，我们就可以将原本Windows自带的共享功能的范围从局域网扩大到整个公网，从而实现随时随地都能访问到共享文件夹。安卓端可以使用ES文件管理器或者nplayer播放器等进行访问，这里就不展开赘述了。 关于如 ......
1.12_redis 的存取在最后 晚上_浙江本地环境的header不能用线上的_header中host和refer分别代表什么意思?_模型的save()参数是数组怎么理解?
方便点1： 问题: 为什么这个浙江的这个线上的header用到本地就不行,而熊师爷的这个却可以? 线上的 header中的host 本地的 header中的host 根据上面弄得对照关系 header中host和refer分别代表什么意思? 活1: 分析如下： 上面分析出现的问题：既然只统计：开业状 ......
python创建虚拟环境
1.创建项目目录 2.进入当前目录,cmd,安装虚拟环境 virtualenv -p "C:\Program Files\Python311\python.exe" .venv #目录加引号后空格.python所在目录 3. 进入VSCODE，打开目录，选择venv\scripy\python.ex ......
Spark on YARN的两种部署模式
Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。 Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 ......
centos8配置网络环境及阿里云网络yum源
一、centos8配置网络环境 1.修改配置网卡配置文件 [root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens18 TYPE=Ethernet NAME=ens18 DEVICE=ens18 IPADDR=192.168.1 ......
提升Windows Server环境安全性：ADAudit Plus的五大关键优势
在Windows Server环境中，审计对于解决安全、运营和合规需求至关重要。然而，内置的Microsoft Windows安全审计工具存在一些限制，包括对专业知识的要求、耗时的流程以及一些功能的缺失。为了克服这些问题，第三方审计解决方案如ManageEngine ADAudit Plus变得至关 ......
Cisco Secure Client 5.1.1.42 (macOS, Linux, Windows & iOS, Andrord) - 思科安全客户端下载
Cisco Secure Client 5.1.1.42 (macOS, Linux, Windows & iOS, Andrord) - 思科安全客户端下载 思科安全客户端（包括 AnyConnect） 请访问原文链接：https://sysin.org/blog/cisco-secure-cli ......
Cellebrite UFED 4PC 7.68 (Windows) - 数字取证解决方案
Cellebrite UFED 4PC 7.68 (Windows) - 数字取证解决方案 The Industry Standard for Lawfully Accessing and Collecting Digital Data 请访问原文链接：https://sysin.org/blog/ ......
VSCode配置C开发环境
安装MINGW64编译器 mingw64是windows上的一款C编译器，可在线安装或者离线安装，推荐离线安装 1. 离线安装 github: 链接地址 (1) 点击github链接，下载所需版本的mingw压缩包 (2) 解压到随意一个路径，最好不要有中文路径 (3) 配置环境变量，右键此电脑，点 ......
MD-RED 3.10 (Windows) - 移动取证数据分析
MD-RED 3.10 (Windows) - 移动取证数据分析 Mobile Forensic Software 请访问原文链接：MD-RED 3.10 (Windows) - 移动取证数据分析，查看最新版。原创作品，转载请保留出处。 作者主页：sysin.org MD-RED - 移动取证软件 ......
Invicti v24.1.0 for Windows - 企业应用安全测试
Invicti v24.1.0 for Windows - 企业应用安全测试 Invicti Standard v24.1.0.43324 - 09 Jan 2024 请访问原文链接：Invicti v24.1.0 for Windows - 企业应用安全测试，查看最新版。原创作品，转载请保留出处。 ......