基础 笔记 数据spark
一次spark任务提交参数的优化
起因 新接触一个spark集群，明明集群资源（core,内存）还有剩余，但是提交的任务却申请不到资源。 分析 环境 spark 2.2.0 基于yarn集群 参数 spark任务提交参数中最重要的几个： spark-submit --master yarn --driver-cores 1 --dr ......
oracle删除超过N天数据后释放表空间脚本
数据要求的是实时性，很久之前的数据可以自行删除处理，我们数据库用的oracle，所以就想着写一个脚本来删除，这样的话，脚本不管放在那里使用都可以达到效果 由于服务器是windows，参照Oracle Shell Scripting中，我们写一下windows下的脚本 首先删除数据的sql语句写一下 ......
LevelDb-基本数据结构
Slice 实现在slice.cc class LEVELDB_EXPORT Slice { ... void clear() { data_ = ""; size_ = 0; } void remove_prefix(size_t n) { assert(n <= size()); data_ + ......
通过Power Automate 添加关系数据或者接触关系数据。
1.Compose 组件： code 如下： @{outputs('get_Web_Role2')?['body/value'][0]?['@odata.id']} 2.Relate Rows组件：关联数据 3.解除数据关联： ......
IM开发者的零基础通信技术入门(十一)：为什么WiFi信号差？一文即懂！
WiFi对于现在的家庭来说，属于司空见惯的上网方式，但很多情况下，家里房间多、空间大、杂物乱的情况下，WiFi的信号就受影响。为什么WiFi信号会受影响？什么情况下该使用何种方式组网？如何改善WiFi信号差的问题？等等，本文将通俗易懂地为你找到这些问题的答案。 ......
sqlserver合并表格数据
1.页面数据 2.表格数据 a数据 select ContractID,LOACode,a.LiquidatedDamages, a.CalculationBase, a.CalculationProportion, a.ForCycle, a.CappingRatio, a.ContractTer ......
Springboot 系列 (24) - Springboot+HBase 大数据存储（二）| 安装配置 Apache HBase 和 Apache Zookeeper
Apache HBase 是 Java 语言编写的一款 Apache 开源的 NoSQL 型数据库，不支持 SQL，不支持事务，不支持 Join 操作，没有表关系。Apache HBase 构建在 Apache Hadoop 和 Apache Zookeeper 之上。Apache HBase 的应 ......
数据链路层
将物理层提供的可能出错的物理连接改造为逻辑上无差错的数据链路，使之对网络层表现为一条无差错的链路。 数据链路层功能 为网络层提供服务 主要为网络层提供如下服务： 无确认的无连接服务。发送时不需要建立连接，接收时不需要发送确认。对丢失的帧，数据链路层不负责重发而是交给上层处理。适用于实时通信或误码率较 ......
matlab学习笔记5 求导&数值微分&求根
#求导&偏导 diff(f(x),x,n)//关于x的n阶导数 jacobian([f(x,y,z),g(x,y,z),h(x,y,z)],[x,y,z])//求雅克比矩阵 factor(f(x))//分解成多项式相乘 用雅克比矩阵可求出二阶偏导 求区间最小值 求某点附近最小值并画图 求方程的精确解 ......
JAVA 数据类型,转换,变量,常量,命名规范
数据类型拓展 整数 binary: 0b octal: 0 hexadecimal: 0x 浮点数 避免浮点数进行比较 如果需要,用BigDecimal类 字节 字符的本质还是数值 编码unicode 2字节 0-65536 U0000 UFFFF 转义字符 \t \n 2.类型转换 强制转换 (类 ......
Django-admin实现管理员或特定组或人员可访问数据
比如有些时候用户只能看到自己登录用户的数据，其他不允许查看访问。 但对超级管理员或特定组或特定人员进行例外 1 def get_queryset(self, request): 2 qs = super(LinksAdmin, self).get_queryset(request) 3 if req ......
jmeter-结果数据写入指定文件
数据参数化 1、在请求之前使用CSV数据文件设置 2、CSV数据文件配置，注意：txt或者CSV文件，中的逗号，必须和分隔符中英文一致 txt文件： jsonpath提取 1、请求之后设置json提取器 2、json配置 beanshell保存变量 1、不需要导json包，直接写beanshell， ......
触发器插入多行数据，字符串逗号分隔
CREATE DEFINER =yfy_cloud@%TRIGGERubulAFTER INSERT ON无标题` FOR EACH ROW BEGIN DELETE FROM base_userrelation WHERE F_UserId = new.F_Id; INSERT INTO base ......
产品经理笔记5——什么是CRM
究竟什么是CRM？ 客户关系管理（Customer Relationship Management，简称CRM），是指企业为提高核心竞争力，利用相应的信息技术以及互联网技术协调企业与顾客间在销售、营销和服务上的交互，从而提升其管理方式，向客户提供创新式的个性化的客户交互和服务的过程。其最终目标是吸引 ......
第九第十章学习笔记
第9章生成随机性 熵的位数n：该数有2n 个?随机期望?取值，表示某种混乱程度 随机变量X的熵的常用定义如下∶ H(X):=-ΣP((X=x)log2P(X = x) 9.1真实随机 计算机的多种熵源：按键的精确时长、鼠标的精确移动轨迹、硬盘内部湍流引起的硬盘访问时间的随机波动 这些熵源是可疑的：“ ......
python基础篇：什么是函数？函数有什么用？
上一章介绍了python的一些基本数据类型和控制流程，本文将介绍Python的函数知识，以帮助初学者提高编写代码的能力。 Python函数的概念 Python函数是一段可重用的代码，它可以接受输入并返回输出。函数是在模块中定义的，可以在程序中的任何地方调用。函数可以接受参数，也可以不接受参数。函数可 ......
关于ECharts调用外部信息，然后将相关数据放入中国地图的具体实现
相关描述 之前我已经试过直接导入中国地图，但是仅仅只是将固定的数据导入进去，并没有涉及到将数据库+地图化显示，只能说是还没有学到精髓了； 所以这次在作业的压迫下，就正好实现了这个延迟了许久的事情啦！ 遗留问题的解决 想要获取到数据库里面的内容，还是少不了ajax的参与，将ajax部分写进去。源代码如 ......
Elasticsearch数据迁移工具之ESM
Elasticsearch数据迁移工具之ESM https://www.modb.pro/db/337630 git源码地址：https://github.com/medcl/esm/ ......
产品经理笔记4——什么是SaaS
SaaS即Software-as-a-service（软件即服务）的缩写，指提供商为企业搭建信息化所需要的所有网络基础设施网络基础设施及软件、硬件运作平台，并负责所有前期的实施、后期的维护等一系列服务。 SaaS平台是目前互联网技术的发展和应用软件的成熟而兴起的一种全新的软件应用模式。客户可根据自己 ......
分析RTP数据丢包与乱序
背景 问题描述： 某客户使用华为TE视频终端开会，会议偶发出现马赛克问题（每次马赛克持续2-4秒）。 设备通信： TE：视频终端，物理位置在A市 。MCU：类似视频服务器，物理位置在B市。开会时TE需要和MCU进行实时通信，中间经过运营商的专线。 初步分析： 视频有马赛克的话说明TE侧收到MCU发出 ......
产品经理笔记3——什么是解耦
在理解解耦之前，我们先来理解耦合度。耦合度是软件工程领域的概念，是指模块之间的依赖程度。 这里的模块可以小到一个小功能，也可以大到一个系统。 那么对应的，解耦就是解除模块之间的耦合关系。 降低模块之间的依赖程度也可以理解为解耦， 模块之间有依赖关系就必然存在耦合 ， 0耦合是基本无可能的，那是最理想 ......
数据库表为什么创建索引后查询效率变高了呢？left join 中 如果想使用索引提高查询效率，是放到where之后还是on条件中呢？
1.数据库表为什么创建索引后查询效率变高了呢 索引是一种数据结构，它可以帮助数据库快速定位到需要查询的数据，从而提高查询效率1。当我们在数据库表上创建索引时，它会为表中的每一行数据创建一个索引项，这个索引项包含了指向该行数据的指针，这样当我们查询数据时，数据库就可以通过索引项快速定位到需要查询的数据 ......
MySQL大量脏数据,如何只保留最新的一条？
因为系统的一个Bug，导致数据库表中出现重复数据，需要做的是删除重复数据且只保留最新的一条数据。 具体场景是这样的 有张订单关联额外费用表,而且一个订单号(order_no)记录只能关联同一个费用(cost_id)一次，但是数据库中出现了同一个订单号关联同一个费用n次 当然有人会说上面的问题我们可以 ......
JasperReport 如何利用list嵌套list循环展示数据
https://www.wanaright.com/2021/01/26/jasperreport-list-nest-list/ 需求描述 有时候我们在做 Jasper Report 报表的时候时常会遇到利用 list 循环数据的问题。这时候用工具自带的 list 可以解决问题。 但是如果是 li ......
NASTool 基础安装与配置
当前安装 NASTool 版本为 2.7.1（最新可搜索版本是2.9.1，可上网盘领取）， 其他版本可过程基本一致。 环境 目前我的黑群晖 DSM 7.1.1-42962。 安装 安装之前，需要提前安装 Python 3.9或以上版本， 我们直接到套件中心搜索并安装。 然后添加矿神的套件来源， 在套 ......
Qt+MySql开发笔记：Qt5.9.3的mingw32版本编译MySql8版本驱动并Demo连接数据库测试
前言 之前特定的mysql版本msvc版本已经调通了，但是为了更好的跨平台，所以选择用mingw32版本，于是需要编译mysql驱动的mingw32版本的驱动库，以便提供给qt连接mysql使用。 编译环境 Qt5.9.3 mingw32 安装得时候记得要勾选上源码 mysql-installer- ......
Huggingface微调BART的代码示例：WMT16数据集训练新的标记进行翻译
BART模型是用来预训练seq-to-seq模型的降噪自动编码器（autoencoder）。它是一个序列到序列的模型，具有对损坏文本的双向编码器和一个从左到右的自回归解码器，所以它可以完美的执行翻译任务。 如果你想在翻译任务上测试一个新的体系结构，比如在自定义数据集上训练一个新的标记，那么处理起来会 ......
机器学习算法（二）: 基于鸢尾花数据集的朴素贝叶斯(Naive Bayes)预测分类
优点：
朴素贝叶斯算法主要基于经典的贝叶斯公式进行推倒，具有很好的数学原理。而且在数据量很小的时候表现良好，数据量很大的时候也可以进行增量计算。由于朴素贝叶斯使用先验概率估计后验概率具有很好的模型的可解释性。
缺点：
朴素贝叶斯模型与其他分类方法相比具有最小的理论误差率。但是实际上并非总是如此，这... ......
机器学习算法（三）：基于horse-colic数据的KNN近邻(k-nearest neighbors)预测分类
机器学习算法（三）：基于horse-colic数据的KNN近邻(k-nearest neighbors)预测分类 项目链接参考：https://www.heywhale.com/home/column/64141d6b1c8c8b518ba97dcc 1 KNN的介绍和应用 1.1 KNN的介绍 k ......
mysql迁移数据到新硬盘
最近生产环境的磁盘占用告急，其中mysql数据占比较多，决定将mysql的数据文件迁移到一块新的磁盘，在此记录下。 1.硬盘初始化 1.查看硬盘信息 lsblk 2.分区 fdisk /dev/vdb 输入 n 按回车新建分区 输入 p 按回车新建主分区 设置分区数量 直接回车 默认1 设置分区起始 ......