基础 笔记 数据spark
2023年阅读笔记3
八、边界 使用第三方代码 第三方程序包和框架提供者追求普适性，这样就能在多个环境中工作，吸引广泛的用户 我们建议不要将Map（或在边界上的其他接口）在系统中传递，把它保留在类或近亲类中，避免从API中返回边界接口，或将接口作为参数传递给公共API 浏览和学习边界（学习新的第三方代码，需要些学习性测试 ......
stream后取数据集合
1.stream().collect(Collectors.toSet()) 排序出来的数据是按取到其中数据，每个做hashcode自动排序后的结果 2.stream().collect(Collectors.toList()) 排序出来的数据是按照之前数据默认的顺序的结果 ......
Linux 交换分区(虚拟内存) 笔记
交换空间(虚拟内存)： 虚拟内存是利用硬盘上的一块区域当作内存使用，windosw当作RAM使用，简单来说就是用硬盘的一部分当内存来使用，主要用于缓冲内存用量，缓解内存不足。 制作交换空间： 方法1:直接利用硬盘的分区，并将其格式化后充当交换空间，可将多个分区制作为交换空间也称交换分区。 方法2:创 ......
react学习笔记
一：创建一个react项目 npx create-next-app my-app(项目名称)cd my-appnpm start 二：项目初始化 index.js import React from "react" import ReactDOM from "react-dom" import Ap ......
Qt中使用的数据类型
https://blog.csdn.net/hiwoshixiaoyu/article/details/121783070 类型描述qint8charqint16short intqint32intqint64long long intqintptr整数类型，用于表示带符号整数中的指针（用于散列等） ......
SQL Server数据库加密解密使用案例
1 --创建数据库主秘钥 2 2 CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'pwd' 3 3 ==> pwd是用户自己设置的密码 4 4 5 5 --创建证书 6 6 CREATE CERTIFICATE TestCertName WITH SUBJEC ......
《美的历程》读书笔记
"审美思维起源于功利的巫术行为，但使用思维要早于审美思维，艺术起源于巫术，最早的艺术行为其实就是巫术行为，只不过是不带审美思维的艺术行为，其目的只是为了巫术。最早的艺术，只有外在的形式，内有内在的灵魂。" ......
EAS_数据查看隔离
一、管理单元隔离 默认情况下，框架会对单据数据进行简单的管理单元隔离，即：用户只能看到当前管理单元以及最顶层管理单元下创建的数据 一、主业务组织隔离 当单据实体上配置了主业务组织属性，则单据的数据隔离会在管理单元隔离的基础上，再增加一层主业务组织隔离。主业务组织隔离下：用户只能看到主业务组织属性的值 ......
课时09：Metasploit使用基础
下载地址：https://docs.metasploit.com/docs/using-metasploit/getting-started/nightly-installers.html Exploit（利用）： 定义： Exploit 是指一种用于利用计算机系统、应用程序或服务中存在的漏洞的代码 ......
PM-数据治理中，常用的术语解释
1 指标 是表征和评价一项或多项经营活动业务绩效的指示。指标由指标名称和指标数值两部分组成，指标名称及其涵义体现指标在质和量方面的规定性，指标数值反映指标在具体对象在特定时间、空间、条件下的数量表现。 2 维度 维度是指数据分析中用来描述和分类数据的属性或特征。在数据分析中，维度通常用于对数据进行分 ......
Kotlin学习笔记——第2天
1.基本类型 不同的类型有不同的功能和属性。Kotlin有推断类型的能力。比如，当你给customers赋值一个Int值时，Kotlin推断customers是一个int类型变量。 fun main(){ var customers = 10 customers = 8 customers = cu ......
PM-数据治理-数据资产管理
在组织中，并非所有的数据都构成数据资产，数据资产是能够为组织产生价值的数据，数据资产的形成需要对数据进行主动管理并形成有效控制。 数据资产管理是规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行、监控和共享数据资产（元数据、指标、维度、数据服务接口、标签、文件以及业务术语等）的方法和程序， ......
PM-企业数字化转型，数据治理是关键
企业数字化转型是大势所趋，通过数据治理、数据平台建设、数据分析与建模，把数据变成服务，使数据能在企业内顺畅流动起来，为企业带来巨大的价值。数据是企业数字化转型的重要基础。 数据能创造价值，但数据创造价值的功能并不能由数据自身来直接实现，数据要素也不能直接参与价值分配，而是要经过数据创造、加工并传输给 ......
【Python基础】Celery异步执行语法
1、简介 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。 消息中 ......
采用Union实现上位机交互中的数据解析
在计算机科学中，联合体（英语：union）又名共用体，是一种具有多个类型或格式的值，或者把它定义为一种由具有这样的值的变量形成的数据结构。一些编程语言（如C语言）可以支持被称为“联合体”的特殊类型，来表示上述的变量。与枚举和结构体不同的是，一个联合体的长度等于其内部长度最大的成员的长度，并且它们都共 ......
全球数据隐私相关专业薪酬趋势
数字经济时代，数据已经成为新型生产要素。而数据与其他生产要素的本质区别在于，数据隐私是数据流动过程中产生价值的根本出发点。因此，数据和隐私也就成为了人们不得不面对的问题，研究和处理这个问题的行业，可以统称为数据隐私相关行业。 ......
请注意，你的 Pulsar 集群可能有删除数据的风险
在上一篇 Pulsar3.0新功能介绍中提到，在升级到 3.0 的过程中碰到一个致命的问题，就是升级之后 topic 被删除了。 正好最近社区也补充了相关细节，本次也接着这个机会再次复盘一下，毕竟这是一个非常致命的 Bug。 现象 先来回顾下当时的情况：升级当晚没有出现啥问题，各个流量指标、生产者、 ......
Tailscale 基础教程：Headscale 的部署方法和使用教程
Tailscale 是一种基于 WireGuard 的虚拟组网工具，它在用户态实现了 WireGuard 协议，相比于内核态 WireGuard 性能会有所损失，但在功能和易用性上下了很大功夫： 开箱即用 无需配置防火墙 没有额外的配置 高安全性/私密性 自动密钥轮换 点对点连接 支持用户审查端到端 ......
Node.js开发：如何实现数据排序和筛选功能
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
Node.js开发：如何实现数据验证和过滤功能
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
Eureka服务注册笔记
一、工作流程： 1.Eureka 本身就是个微服务，所以需要在 cloud 服务里面声明； 2.声明三部曲：建包建启动类-EurekaApplication、在启动类上面引用注解-@EnableEurekaServer、引入依赖-server依赖（不是client依赖，client依赖是服务注册需要 ......
笔记本为什么不出可升级CPU的，用台式CPU不行吗？
我十几年前的thinkpad 通过更换cpu复活了：联想ThinkPad E430c i3变i7：笔记本电脑CPU升级思路—CPU参数为什么现在的市面上可以更换cpu ......
如何使用Vue实现数据可视化
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
大数据组件常见端口汇总
Hadoop:50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的HDFS RPC端口8088 ： Yarn 的WEB UI 接口8485 ： JournalNode 的RPC端口8019 ： ZKFC端口19888：jobhistory WEB ......
Spark任务存在大量Task失败记录分享
最近Spark任务调度任务跑的时间比平时慢很多，查看SparkUI发现有大量的Task被异常终止，查看日志发现了有几个问题，记录一下。 根据日志，主要涉及任务被终止、YARN集群中的抢占问题以及网络连接错误。 1、任务被终止的警告: WARN Lost task 87.0 in stage 6.0 ......
MySQL数据库 （1 增量添加列和alter的用法）
一、MySQL数据库 1、增量给表添加字段 有时候我们再给正式库添加字段的时候，经常使用Navicat这种软件导出全量表，但是导出全量表的时候会有drop函数，很容易删除正式库表中的所有数据，这个时候我们就可以使用增量的方式来添加字段，就不会删除正式库表的数据 alter table table_n ......
使用JavaScript函数实现图表和数据可视化
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
使用JavaScript函数实现表单验证和数据提交
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
使用JavaScript函数实现数据可视化的交互效果
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
使用JavaScript函数实现数据可视化的实时更新
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......