windows hadoop spark and
Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop1:10000:
解决方法：配置超级用户代理其他用户 在hadoop配置文件core-site.xml添加 <property> <name>hadoop.proxyuser.super.hosts</name> <value>host1,host2</value> </property> <property> <n ......
ENGG1310 P3.2 Resistor, Inductor, Capacitor, and RLC Circuits
这一节里关于三相电的内容最为重要，注意复习 Resistor 电阻 Physical 2-terminal energy-dissipative device. 电阻定律 电阻同样与温度 $T$ 有关 (然而 Temperature is neglected for the time being)， ......
Windows11 Qt6.4.2+OpenCV4.7.0+android-ndk-r23编译动(.so)、静态库(.a)
1.在cmake-gui中，点击Add Entry，增加ANDROID_ABI，值为arm64-v8a。 参考地址：https://blog.csdn.net/aggs1990/article/details/124526728 ......
windows11安装wsl
一：安装步骤 1：打开电脑的搜索 2：搜索框输入：powershell 3：点击，自动进入窗口 4：输入命令：wsl --install 二：遇到问题 输入安装命令后，报错如下图： 三：解决方法 控制面板--查看网络状态和任务--更改适配器设置--点击正在连接的网络--双击Internet协议版本4 ......
ONU Management and Control Interface
OMCI（光网络单元管理控制接口，即ONU Management and Control Interface）是GPON标准中定义的一种OLT与ONT之间信息交互的协议，用于在GPON网络中OLT对ONT的管理，包括配置管理、故障管理、性能管理和安全管理等 ONU (Optical Network ......
spark 的几个简单实例
最近写了几个简单的spark structured streaming 的代码实例。 目的是熟悉spark 开发环境搭建， spark 代码开发流程。 开发环境： 系统：win 11 java : 1.8 scala:2.13 工具：idea 2022.2 ，maven 3, git 2.37 sp ......
Spark on Yarn配置
1、Spark on Yarn配置 1.)在搭建好的Spark上修改spark-env.sh文件： # vim $SPARK_HOME/conf/spark-env.sh 添加以下配置： export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop export ......
mysql 窗口函数（Window Functions）
MySQL 窗口函数（Window Functions）是一种高级的 SQL 查询技巧，它允许在结果集的一组相关行上执行计算。窗口函数可以用于处理分组、排序、累计等复杂的聚合任务，使得查询更加简洁和高效。在 MySQL 8.0 及更高版本中，支持窗口函数。 以下是一些常用的窗口函数： ROW_NUM ......
通过python控制windows窗口的关闭和显示
代码： import win32gui, win32con, win32api import os,sys,re import ctypes import time def showWindow(hwnd): # 展示窗口，以下几行代码都可以唤醒窗口 win32gui.ShowWindow(hwnd ......
Hadoop3常用端口
Namenode默认端口： | 端口 | 介绍 | | | | | 9820 | NameNode默认的内部端口 | | 9870 | NameNode的web访问（http访问）端口 | | 9871 | NameNode的web访问（https访问）端口 | Secondary Namenode ......
Hadoop完全分布式集群搭建
0 准备工作 首先需要准备三台虚拟机，这里准备的是hadoop1，hadoop1，hadoop3，虚拟机机要求如下： 配置了静态IP。 关闭了防火墙的。 虚拟机下载安装：https://www.cnblogs.com/lgjb/p/17292698.html 1 配置ssh免密登录 配置ssh免密登 ......
ping某个地址判断网络是否通畅(linux与windows都可用)
import lombok.extern.slf4j.Slf4j; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamRea ......
EasyMR 安全架构揭秘：如何管理 Hadoop 数据安全
2017年，美国信用评级机构 Equifax 遭受黑客攻击，导致1.4亿个人的敏感信息泄露； 2020年，发生了 SolarWinds 公司的软件供应链遭受恶意代码攻击事件，涉及多个行业和国家； 2022年，网信办依据《数据安全法》等法律法规，对滴滴公司开出人民币80.26亿元的巨额罚款，对互联网企 ......
数据重塑图解Pivot, Pivot-Table, Stack and Unstack
行转列，列转行 [pandas学习笔记3—数据重塑图解Pivot, Pivot-Table, Stack and Unstack_Lavi_qq_2910138025的博客-CSDN博客](https://blog.csdn.net/liuweiyuxiang/article/details/782 ......
关于mysql的and和or
写了一个查询语句结果踩坑了，这个and和or分不清楚谁的优先级高 在页面上看到了已经被删除的数据，我就知道糟了。话不读说直接看代码 <select id="listByUsPage" resultType="com.wuling.product.domain.TaskInfo"> select * ......
Windows 快速查看网站对应SSL证书有效期
以chrome浏览器为例，其它浏览器步骤大同小异。 方法1： 使用chrome浏览器打开网站后，F12进入开发者模式，点击【安全】标签下的【查看证书】即可： 方法2： 使用chrome浏览器打开网站后，点击地址栏旁边的小锁图标，再依次进行如下点击即可查看当前网站SSL证书有效期： ......
#error and #line 用法
目前#error和#line很少被使用，但是也可以作为定位问题原因的工具 #error 用于生成一个编译错误的信息。用于自定义程序员特有的编译错误信息。在预处理时起作用。 #error message // message 打印的编译error信息，不需要双引号包围#warning message ......
Spark学习笔记01
1、spark程序开发完成后，打包成jar包。 如何将jar包分发到 spark集群？1、启动集群 启动master ./sbin/start-master.sh 启动worker ./bin/spark-class org.apache.spark.deploy.worker.worker spa ......
勒索软件正在从 Windows 转向 Linux
听说勒索软件正在从 Windows 转向 Linux了 勒索软件正在从 Windows 转向 Linux 最近几周，黑客们一直在对 Linux 企业网络部署 IceFire 勒索软件，这是一个值得注意的转变，因为它曾经是一个只针对 Windows 的恶意软件。与 Windows 相比，Linux 更 ......
勒索软件正在从 Windows 转向 Linux
听说勒索软件正在从 Windows 转向 Linux了 勒索软件正在从 Windows 转向 Linux 最近几周，黑客们一直在对 Linux 企业网络部署 IceFire 勒索软件，这是一个值得注意的转变，因为它曾经是一个只针对 Windows 的恶意软件。与 Windows 相比，Linux 更 ......
用python的pywinauto组件控制微信Windows版
使用pywinauto组件可以比较容易的操纵微信Windows版进行信息发送和接受 前提如下 1、已经安装有关python组件。 2、微信已经打开和登录，下面的代码不负责登录操作。 3、微信版本3.9.2.23 具体实现有两个类 1、帮助类Helper import datetime class H ......
MongoDB 和 Hadoop的对比
MongoDB 和 Hadoop 都是当前非常流行的大数据处理技术。虽然它们都可以用于处理大规模数据，但是它们之间有许多区别。本文将对 MongoDB 和 Hadoop 进行比较，并提供一些指导，以帮助您选择最适合您应用程序的技术。 ###数据存储 MongoDB 是一个文档型数据库，使用类似于 J ......
D - Umka and a Long Flight
题目 D - Umka and a Long Flight 题意 给一个整数n（1 <= n && n <= 44） 再给衣柜坐标x，y，从1开始，表示在一个长为f(n+1)，宽为f(n)的长方形里的某一个1*1的小正方形 长为f(n+1)，宽为f(n)的长方形，由两个1*1的正方形拼成，然后由2 ......
Hadoop搭建（集群）
HADOOP配置文件 | | core-site.xml | | | | | hadoop.tmp.dir | /opt/hadoop/tmp | | fs.defaultFS | hdfs://master:9000 | | | hdfs-site.xml | | | | | hadoop.nam ......
__sync_fetch_and_add函数
（一）背景 实现多线程环境下的计数器操作，统计相关事件的次数. 当然我们知道，count++这种操作不是原子的。一个自加操作，本质是分成三步的： 1 从缓存取到寄存器 2 在寄存器加1 3 存入缓存。 由于时序的因素，多个线程操作同一个全局变量，会出现问题。这也是并发编程的难点。在目前多核条件下，这 ......
Hadoop、Hive和Spark的关系
大数据技术生态中，Hadoop、Hive、Spark是什么关系？| 通俗易懂科普向 Hadoop、Hive和Spark，都是大数据相关的系统和技术。 大数据也是数据管理系统的范畴。数据管理系统涉及两个方面的问题，一个是数据怎么存储？一个是数据怎么计算？ 为了方便理解，我们需要从单机的时代来讲解。 在 ......
Windows系统安装pip方法
pip是一款非常方便的python包管理工具，本文主要介绍在windows 10系统下安装pip方法。 1. 下载pip 地址：https://pypi.python.org/pypi/pip#downloads，注意选择tar.gz压缩包 2. 解压安装 解压下载的压缩包至工作目录下（如D:\）， ......
Linux、Windows后台运行Python脚本
Linux：python或nohup命令 python命令： python test.py & python -u test.py >> test.log & 参数u，时时输出内容到文件。 python -u test.py >>test.log 2>&1 & python -u test.py > ......
mysql Windows服务器 安装配置 主从复制 设置只读用户
CREATE USER 'readonly'@'localhost' IDENTIFIED BY 'readonly';GRANT SELECT ON *.* TO 'readonly'@'%'; http://www.dbs724.com/83872.html 验证： 参考： https://ww ......
解决Windows系统MySQL 8.x忘记密码
前言 本文使用的是mysql-8.0.26-winx64，解决思路是先让MySQL可以跳过密码验证，登陆后将密码修改成新的。 解决步骤 跳过验证将密码置空 【CMD窗口1】停止服务，然后前台启动服务并跳过验证。 # 停止服务 net stop mysql # 前台启动服务并跳过验证 mysqld - ......