基础 笔记 数据spark
数据泄露原因影响以及如何预防？
数据泄露涉及的范围广泛，可能因素也众多。以下列举了一些常见的数据泄露的原因，它们对企业造成的影响以及预防方式。 原因1：技术层面：不足的或过时的网络安全设置，如弱口令、未进行数据加密、服务器设置问题等，都可能让黑客和恶意软件有机可乘。 影响：技术层面的数据泄漏，通常会导致大量数据被窃取，影响范围广， ......
flowable适配人大金仓Kingbase数据库
背景 因为国产化的需求，需要把现有项目的数据库改成人大金仓，适配某个项目的时候因为使用了没适配Kingbase的flowable，导致无法启动。 原本使用的是Oracle数据库，kingbase兼容Oracle数据库，可以直接当成Oracle来使用。 错误1: couldn't deduct dat ......
笔记本为什么不出可升级CPU的，用台式CPU不行吗？
我十几年年前的thinkpad 通过更换cpu复活了：联想ThinkPad E430c i3变i7：笔记本电脑CPU升级思路—CPU参数 为什么现在的市面上可以更换cpu的笔记本非常稀少呢？ intel移动CPU1-3代，CPU是和台式机一样的可以更换的。4代以后都是焊死的 什么样的笔记本可以更换C ......
蓝凌OA 人事档案数据结构
<tbody><tr> <td colspan="5" class="td_normal_title"> 薪酬福利 </td> </tr> <tr> <td colspan="5"> 表名称：hr_staff_emolument_welfare </td> </tr> <tr> <td colspa ......
Spark 框架模块和Spark的运行模式 -
整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上 Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spa ......
Spark四大特点
Apache Spark是一个开源的分布式计算框架，拥有四大显著特点： 1. **速度快**：Spark基于内存的运算效率要快100倍以上，基于硬盘的运算效率也要快10倍以上。其先进的DAG调度程序、查询优化程序和物理执行引擎，使得Spark能高效处理数据流。 2. **易用性**：Spark支持J ......
EasyMR：为 AI 未来赋能，打造弹性大数据引擎的革命
如果要评一个2023科技圈的热搜榜，那么以人工智能聊天机器人 ChatGPT 为代表的 AI大模型 绝对会霸榜整个2023。 ChatGPT 于2022年11月30日发布。产品发布5日，注册用户数就超过100万。推出仅两个月后，它在2023年1月末的月活用户已经突破了1亿，成为史上用户增长速度最快的 ......
MyBatis实战指南（二）：工作原理与基础使用详解
MyBatis是一个优秀的持久层框架，它支持定制化SQL、存储过程以及高级映射。那么，它是如何工作的呢？又如何进行基础的使用呢？本文将带你了解MyBatis的工作原理及基础使用。 一、MyBatis的工作原理 1.1 MyBatis的工作原理 工作原理图示： 1、读取MyBatis配置文件 myba ......
Android——2个activity之间的数据传递返回
老版本2个activity之间传递反回数据，实例如：https://www.cnblogs.com/xiaobaibailongma/p/16440432.html 新版本如下：https://blog.csdn.net/freezingxu/article/details/124953918?sp ......
Spark开始
定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 简而言之，Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的A ......
面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没 有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map t ......
开源大数据集群部署（一）集群实施规划
作者：櫰木 本次集群规划信息 本次实际生产业务体量存在巨大差异，但集群规划内容相同，因此建议实际生产环境按照按照一定比例扩展即可。 主机操作系统要求 软件信息 参数 配置 8C16G 操作系统版本 CentOS Linux release 7.8.2003 (Core) java版本 java ve ......
python写数据到sql server
环境: python:3.6.5 pymssql:2.1.5 db:sql server 2012 #!/usr/bin/env python #coding=utf-8 import os, json, urllib, datetime, shutil import time import pym ......
考研408之C语言基础学习记录
考研408之C语言基础学习记录汇总 前言 这篇文章是我决定考研后写下的C语言基础学习记录，因为在此之前我有过Java项目开发的相关经验，对基础语言的学习也有一些心得，所以学习C语言时也只是快速过一下语法重点，并进行记录总结。这里只是第一次学习C语言基础进行的知识总结，未涉及到刷题后总结，后续刷题后如 ......
.net下，读取Excel数据和使用Bartender打印标签
背景：bartender 使用txt或Excel作为数据源打印标签时，有时候需要对数据源中的原生数据执行复杂的逻辑变化。例如，可能需要从Excel中读取某一行，然后根据该行的某个值打印相同数量的标签，每个标签上的流水号都不同。 实现：使用.net BTSDK实现。 效果如图所示： 准备： BT：安装 ......
工程监测领域振弦采集仪的数据处理与分析方法探讨
工程监测领域振弦采集仪的数据处理与分析方法探讨 在工程监测领域，振弦采集仪是常用的一种设备，用于测量和记录结构物的振动数据。数据处理和分析是使用振弦采集仪得到的数据的重要环节，可以帮助工程师了解结构物的振动特性，评估结构的安全性，以及检测结构的健康状况。下面是关于振弦采集仪数据处理和分析的方法探讨。 ......
IDEA Debug 调试技巧(基础版)
前言 Debug 是程序员的开发神器，使用好了可以帮助我们非常高效的工作、学习、排查问题等。毫不客气的说，是决定我们进阶到更高层级的一个重要技能。 正文 Debug 的常见使用场景 需求代码测试：通过debug你才能知道你的代码究竟是怎么运行的，更容易发现问题 问题排查：只要能进入到问题流程的deb ......
【Cpp 基础】分离式编译模式
模式定义 分离编译模式源于C语言，在C++语言中继续沿用。简单地说，分离编译模式是指：一个程序（项目）由若干个源文件共同实现，而每个源文件单独编译生成目标文件，最后将所有目标文件连接起来形成单一的可执行文件的过程。 模式由来 分离编译模式是C/C++组织源代码和生成可执行文件的方式。在实际开发大型项 ......
【JavaScript】JavaScript定义、引入方式、基础语法、函数、对象、继承
定义 JavaScript是一门跨平台、面向对象的脚本语言 用来控制网页行为的，可以使网页交互 引入方式 内部脚本 外部脚本 JS基础语法 书写语法 输出语句 变量 变量作用域 数据类型 运算符 == ?? .? ... 展开运算符 （1）打散数组传递给多个参数 （2）复制数组或对象 （3）合并数组 ......
达梦7数据库安装手册
第 1 章 安装简介 达梦数据库管理系统（以下简称DM）是基于客户/服务器方式的数据库管理系统，可 以 安 装 在 多 种 计 算 机 操 作 系 统 平 台 上 ， 典 型 的 操 作 系 统 有 ： Windows（Windows2000/2003/XP/Vista/7/8/10/Server ......
Flask-apscheduler获取或修改上下文中config数据
__init__.py 1 from flask_apscheduler import APScheduler 2 ... 3 4 scheduler = APScheduler() 5 6 7 from app import app 8 9 10 11 12 13 14 def create_ap ......
【字典树/trie树】实现高效插入和查询字符串的数据结构
本文是https://www.acwing.com/problem/content/description/837/的总结，有兴趣可以做做 字典树的实现依赖于树结构，有两种操作，1是插入字符串，2是查找字符串。使用idx维护最新的结点下标。如下图，假设我们维护一个 可以看到，我们维护了一个树形结构储 ......
EF First 生成数据模型
//创建目录：mkdir EFCoreScaffoldexample//进入目录：cd EFCoreScaffoldExample//创建控制台项目：dotnet new console//添加依赖：dotnet add package Microsoft.EntityFrameworkCore.S ......
PageOfficeV6.0提取在线编辑保存的excel单元格数据
转载：提取单元格数据 提取单元格数据 查看本示例演示效果 本示例关键代码的编写位置 Vue+Springboot 注意 本文中展示的代码均为关键代码，复制粘贴到您的项目中，按照实际的情况，例如文档路径，用户名等做适当修改即可使用。 在实际的开发过程中，经常会遇到提取Excel文档中数据保存到数据库中 ......
【Python基础】函数基础
简介 具有实现某种特定功能的代码块，当程序需要这个功能时，就可以直接调用这个函数，避免重复编写。 Python中函数可分为内建函数和自定义函数。内建函数是Python已经定义好的函数，可以直接使用。我们主要学习的是自定义函数。 函数定义 语法格式： def 函数名(参数): 函数体（功能代码） de ......
企业防止数据泄露的措施有什么方法吗？
随着信息技术的飞速发展，数据已经成为现代社会最为重要的资源之一。然而，随之而来的数据安全问题也日益突出，数据泄露事件频发，给企业和个人带来了巨大的损失。为了保护数据安全，防止数据泄露，人们采取了各种措施，如加密技术、访问控制、匿名化技术等。但是这些技术都需要专业知识来正确配置和管理，而且随着技术的发 ......
conda基础命令
conda 基础命令基于官方文档 All for windows 一. Managing conda 版本查看 conda --version 升级版本 conda update conda Managing environments create a new environments and in ......
【scikit-learn基础】--『监督学习』之 随机森林分类
随机森林分类算法是一种基于集成学习（ensemble learning）的机器学习算法，它的基本原理是通过对多个决策树的预测结果进行平均或投票，以产生最终的分类结果。 随机森林算法可用于回归和分类问题。关于随机森林算法在回归问题上的应用可参考：TODO 随机森林分类算法可以应用于各种需要进行分类或预 ......