漏洞apache spark 2020
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
OFBiz RCE漏洞复现（CVE-2023-51467）
漏洞名称 Apache OFBiz 鉴权绕过导致命令执行 漏洞描述 Apache OFBiz是一个非常著名的电子商务平台，是一个非常著名的开源项目，提供了创建基于最新J2EE/XML规范和技术标准，构建大中型企业级、跨平台、跨数据库、跨应用服务器的多层、分布式电子商务类WEB应用系统的框架。 OFB ......
实验七：Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
mrctf2020_easyoverflow
mrctf2020_easyoverflow 控制栈上参数 程序控制流 bamuwe@qianenzhao:~$ checksec mrctf2020_easyoverflow [*] '/home/bamuwe/mrctf2020_easyoverflow' Arch: amd64-64-litt ......
Spark读写达梦数据库报错Decimal精度为负数以及解决方案
一、Spark读取DM数据库问题描述 当达梦的表格设计使用number数据类型时，如果没有指定精确，使用默认值，如下图所示 则在读取该表格数据时，报错如下： 24/01/12 10:43:48 ERROR Node: [47db01a8b6ff47e7840cb0a777033721]:compon ......
web项目启动时dubbo报错： No provider available for the service com.davidhu.shopguide.api.service.UserEventService from the url zookeeper ://localhost:2181/org.apache.du
Caused by: java.lang.IllegalStateException: Failed to check the status of the service com.davidhu.shopguide.api.service.UserEventService. No provider ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存 ......
Spark on YARN的两种部署模式
Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。 Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 ......
CVE-2020-11800
Zabbix Server trapper命令注入漏洞（CVE-2020-11800） Zabbix是由Alexei Vladishev开发的一种网络监控、管理系统，基于Server-Clinet架构。在CVE-2017-2824中，其Server端trapper command功能存在一处代码执行 ......
【LeetCode 1635. Hopper 公司查询 I】with recursive生成2020年每月的最后一天
题目地址 https://leetcode.cn/problems/hopper-company-queries-i/description/ 代码 -- CTE生成2020年每月的最后一天 WITH RECURSIVE months AS ( SELECT LAST_DAY('2019-12-01 ......
如何判断一个网站是用的Nginx，还是Apache
事件起因： 接手了同事移交过来的一个网站，但是不知道这个网站是用什么做代理的，于是就去网上查资料 解决办法： 打开cmd窗口，输入以下命令即可 curl--head 域名/IP ......
Spark - spark on yarn 的作业提交流程
客户端（Client）通过YARN的ResourceManager提交应用程序。在此过程中，客户端进行权限验证，生成Job ID和资源上传路径，并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后，客户端再次向ResourceManager提交作业执 ......
Spark - 面试题
Spark是什么？答案：Apache Spark是一个快速、通用的大数据处理引擎，它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源，如HDFS、Hive、Cassandra等，并提供了丰富的API和工具集，用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 ......
2020-2021 ACM-ICPC, Asia Seoul Regional Contest
Preface 这几天里打的最好的一场了，虽然后面写I唐的不行浪费了好多时间 但好在最后都改出来了并且最后Rush出了L题，4h57min绝杀，9题收场 只能说恰好在祁神缺席的这场没有几何，没有被腐乳 而且这场打完发现只有韩文题解没有英文题解，这下直接不用补题了爽歪歪 A. Autonomous V ......
spark的学习1-11
大数据第36期打卡-Day9-p102-p106学习笔记Spark并行度spark的并行：在同一时间内，有多少个tes k在同时运行并行度：并行能力的设置比如设置并行度6，其实是6个tast才并行在跑在有了6个tast并行的前提下，rdd的分区被规划成6个分区Driver的两个组件DAG调度器工作内 ......
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another ......
今天了解了spark。
Apache Spark（通常简称为Spark）是一个开源的、分布式计算系统，用于大规模数据处理和分析。它提供了高效、通用、可扩展的数据处理框架，支持多种编程语言，包括Scala、Java、Python和R。Spark最初由加州大学伯克利分校的AMPLab（Algorithms, Machines, ......
spark学习
Spark提供了6大组件： Spark Core：Spark Core 是 Spark 的基础，它提供了内存计算的能力，是分布式处理大数据集的基础。它将分布式数据抽象为弹性分布式数据集（RDD），并为运行在其上的上层组件提供 API。所有 Spark 的上层组件都建立在 Spark Core 的基础 ......
大数据 - 安装部署 Apache开源大数据集群
Step1：前期准备 虚拟机软件：VMware workstation 16 pro 网盘链接：https://pan.baidu.com/s/1Yd0JUqiM-N6rpQbO0RjG_w --来自百度网盘超级会员V2的分享 集群信息如下 主机名 IP 操作系统 node01 192.168.24 ......
apache2服务器数据爬取
代码如下 1 # -*-encoding:utf-8 -*- 2 """ 3 @Time ： 2024/1/10 18:57 4 @Auth ： ruqing 5 @File ：selenium apache2服务器数据爬取.py 6 @IDE ：PyCharm 7 @Motto：ABC(Alway ......
漏洞扫描以识别可能使企业面临网络威胁的安全漏洞
漏洞扫描 针对企业内部的IT资产进行漏洞扫描以识别可能使企业面临网络威胁的安全漏洞，以 高性价比的价格提供全面覆盖性的服务包括 (现场/远程) 扫描 (内网/外网)资产资产服务。 产品优势 漏洞管理平台 支持的资产类型多 | 覆盖面最广 | 最全的漏洞库 | 监管机构认可度最高，Tenable.SC ......
渗透测试，找出各种潜在的漏洞
渗透测试 针对企业安全系统，以合宜价格并多元化黑客攻击手法及思维尝试入侵该企业的网站和信息系统的渗透测试服务，目的是找出各种潜在的漏洞，验证企业的数据是否可被窃取或破坏，评估信息系统的安全性是否有需要加强。 产品优势 多元化攻击手法 针对不同漏洞提供多元攻击手法 项目支持全面 一次性测试 + 复测 ......
Spark 框架模块和Spark的运行模式 -
整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上 Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spa ......
Spark四大特点
Apache Spark是一个开源的分布式计算框架，拥有四大显著特点： 1. **速度快**：Spark基于内存的运算效率要快100倍以上，基于硬盘的运算效率也要快10倍以上。其先进的DAG调度程序、查询优化程序和物理执行引擎，使得Spark能高效处理数据流。 2. **易用性**：Spark支持J ......
Spark开始
定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 简而言之，Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的A ......
面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没 有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map t ......
装载数据时报错：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
错误还原 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching ......