基础 笔记 数据spark
人月神话读书笔记
第一章—焦油坑。焦油坑是作者用来形容大型系统开发的一个概念。在史前时代，恐龙、猛犸象、剑齿虎这些大型食肉动物碰到焦油坑也是没有办法挣脱的，而且越用力就越容易被沉入坑底。这就像我们大型系统开发的工作。我们认识到真正的大型编程系统产品并不是简单程序的简单堆叠。这也就是所谓的“焦油坑”。既然是明知是焦油坑 ......
Spark源码解析（二）：Spark闭包检查
一、理解 Scala 闭包：Closures 1.1 闭包的定义 闭包就是一个函数和与其相关的引用环境组合的一个整体(实体)。进一步说，闭包是绑定了自由变量的函数实例。 通常来讲，闭包的实现机制是定义一个特殊的数据结构，保存了函数地址指针与闭包创建时的函数的词法环境以及绑定自由变量。 对于闭包最好的 ......
Spark源码解析（一）：RDD之Transfrom算子
一、延迟计算 RDD 代表的是分布式数据形态，因此，RDD 到 RDD 之间的转换，本质上是数据形态上的转换（Transformations） 在 RDD 的编程模型中，一共有两种算子，Transformations 类算子和 Actions 类算子。开发者需要使用 Transformations ......
《人月神话》读书笔记3
第一章-焦油坑。焦油坑是作者用来形容大型系统开发的一个概念。史前时代，恐龙、猛犸象、剑齿虎这些大型食肉动物碰到焦油坑也是没有办法挣脱的，而且越用力就越容易被沉入坑底。这种场景就像极了大型系统开发的工作。基本上一个大型的编程系统产品的开发成本会是单个的简单程序的9倍。这里的编程系统产品是指的由很多编程 ......
每日总结（读书笔记 ）
今日关键词：代码规范 代码规范，一个看似很小的问题，很小的细节，可能平时我们根本没有注意，但是随着我们所写问题的复杂化以及所写代码量的增大，这个问题越发显得重 要。以前写代码只是为了去完成作业而去完成，代码规范的问题早就被抛到脑后，只要运行成功显示出自己想要的结果就觉着有了很大的成功。大多数变量 和 ......
《人月神话》读书笔记1
《人月神话》是软件工程大师弗雷德里克·布鲁克斯所著，是一本经典的软件开发管理书籍。书中讲述了在软件开发过程中的种种问题和挑战，并给出了一些解决问题的建议和方法。 首先，布鲁克斯指出，没有任何一种单一的方法或工具可以解决软件开发中所有的问题，这也被称为“没有银弹”原则。因此，我们需要不断尝试和实验，以 ......
《人月神话》读书笔记2
首先，布鲁克斯提出了“没有银弹”的原则：没有任何一种单一的方法或工具可以解决软件开发中所有的问题。因此，我们需要不断尝试和实验，以找到最适合我们项目的方法。 其次，布鲁克斯强调了“延迟演示效应”的问题。他认为，开发人员往往会将演示功能的时间推迟到最后，这可能会导致无法及时发现和解决问题。相反，应该尽 ......
内网docker安装mongodb并且初始化数据库和账号
由于在内网，只能通过外网打包镜像然后传入内网加载启动 一、安装部署mongo docker容器 1.在外网下载镜像 docker pull mongo 2.打包镜像 docker save -o mongodb_save.tar 镜像id 3.把镜像包传入内网docker服务器，载入镜像 docke ......
以太网交换基础
以太网协议 以太网不是一种具体的网络，是一种技术规范。以太网是当今现有局域网采用的最通用的通信协议标准。该标准定义了在局域网（LAN）中采用的电缆类型和信号处理方法。以太网络是建立在CSMA/CD（载波监听多路访问/冲突检测）机制上的一种广播型网络。CSMA/CD的工作原理可简单总结为：先听后发，边 ......
mongodb--数据库操作与集合操作
一、数据库操作 1、新建数据库和切换数据库 use DATABASE_NAME -- DATABASE_NAME 创建数据库的名字 -- 如果刚创建完数据库，使用查看命令后没有的话，其实因为里面没有数据，所以才看不到 2、查看所有数据库 -- 查看所有数据库 show dbs -- 查看当前数据库 ......
LIDC-IDRI肺结节项目 -- 预处理数据集
实战参考代码：代码 一、路径、参数配置（lung.conf） lidc_dicom_path: LIDC_IDRI数据集原始位置 image_path，mask_path：保存处理后的含有结节的肺部图像和掩码图像路径 clean_path_image，clean_path_mask：保存处理后的不含 ......
人月神话读书笔记2
画蛇添足这一章主要是告诫系统设计师们，不要过度设计，尤其是在第二个系统(第一个系统完成后开发的第二个系统)中，不要过度自信，保持警觉，避免初始的概念和目标得到充分的体现，而不让一些次要的功能喧宾夺主。(是不是可以说是保持初心？) 贯彻执行概念的完整性不仅仅要在专制的贵族和系统设计师这一层面上充分传达 ......
2023年3月31日(软件工程日报）人月神话读书笔记3内容
第8章：胸有成竹软件工作量是根据规模成指数型增长的，指数大约是1.5，即：工 作 量 = 常 数 × 指 令 的 数 量 1.5 工作量 = 常数 \times 指令的数量^{1.5}工作量=常数×指令的数量 1.5 实践是最好地老师实践是最好地老师，但智者还能从其他地方有收获。 第9章 削足适履这 ......
04-网络安全-渗透测试扫描工具（基础篇）
01 渗透测试扫描工具 （企业一般有专门的工具如天眼） 需要使用扫描工具对系统或者web应用进行全面的扫描。 phpstudy作用是使你计算机具有了AMP架构平台，使你能够访问一些网站。 可以使用phpstudy管理站点域名，然后就可以在浏览器直接访问了。 漏洞扫描原理 1.链路检测扫描 通过链路检 ......
Linux基础15 yum概述，yum仓库搭建
YUM管理: yum是RedHat以及CentOS中的软件包管理器，能够通过互联网下载以rpm结尾的包，并且安装，并可以自动处理依赖性关系，无需繁琐的一次次下载安装。 yum install nginx 1.联网获取软件 2.基于RPM管理 3.自动解决依赖 4.命令简单好记 5.生产最佳实践 什么 ......
阅读笔记
通过阅读《构建之法》，学习到了单元测试，单元测试是指开发者编写一小段代码，用于检验被测代码的一个小的、明确的功能是否正确，使用 单元测试是为了验证某段代码的行为是否和开发者所期望的一致，使代码变得更加完美，让自己负责的模块功能定义尽量明确，模块内部的改变 不会影响其他模块，而且模块的质量能得到稳定的 ......
计网学习笔记四 Bridge && Switch
在前面的学习中，我们学习了MAC和LAN。在一个LAN里可以通信是很不错的，我们可以用一些东西让它变得更加不错！那就是我们接下来学习的网桥和交换机，其中包括了一点802.1D机制。😄 Bridge 网桥 注意：在自顶向下这本书中并没有介绍网桥的机制。 什么是网桥？ The bridge is a ......
使用EFCore的Code First和MySql数据库迁移（转载 ）
下辈子还当程序员 博客园 首页 新随笔 联系 订阅 管理 随笔 - 4 文章 - 0 评论 - 9 阅读 - 44432 使用EFCore的Code First和MySql数据库迁移 1. 感慨一下 随着.net core的持续更新和升级，至少对于从事.net开发的人员和即将踏入这个领域的人来说，我 ......
【做题笔记】树形 dp
1. luoguP2016 战略游戏 1.1 Solve 设计状态 $dp[i][0/1]$ 表示在 $i$ 子树内， 放/不放 第 $i$ 个节点使其合法所需的最少的士兵数目。则有： 不选 $i$ 节点，则 $i$ 的儿子必须选； 选 $i$ 节点，则 $i$ 的儿子可选可不选； 因此，转移方程为 ......
记录使用mybatis时踩到的坑-integer类型数据为0时，会判断为：等于空字符串为true
因为做查询操作时，需要设置为传入参数值才进行查询，于是判断条件是： status != null and status != '' 即mapper层的写法： <if test="status != null and status != ''">and status=#{status}</if> 但设 ......
使用SqlBulkCopy sqlserver 批量插入数据(C#)
先说实现原理:将需要插入数据库的集合里面的数据存在datatable里面，列名需相同，然后调用SqlBulkCopy方法。 1.新建datatable，并赋值 DataTable dataTable = new DataTable(); dataTable.Columns.Add("NAME1"); ......
《游戏编程模式》 部分笔记
游戏编程模式_中文版 GPT3.5 bot 以下代称 伊芙琳(她提供的内容不完全可靠，需自行分辨) 伊芙琳: 软件架构和抽象化是为了使代码更灵活、易于理解、易于维护和扩展。但是，这些模式通常会增加运行时的开销。例如，虚拟调度可能会导致代码执行速度较慢，因为程序需要花费更多的时间进行函数查找和指针操作 ......
net6+canal 实现数据实时同步数据
前言： 前几天在做公司的一个项目，需求：把A项目数据，同步到B项目，A\B项目数据结构不一样（我们用的是mysql），B项目可以接受几秒内的数据同步；我当时第一时间就想到了flink和canal，然后发现flink并不支持net，所以转用canal；那么接下来我们看看canal到底是什么； cana ......
读书笔记(CSAPP)01
第2章 2.1 信息存储 既然现代计算机使用二进制, 那么整数, 小数(计算机叫做浮点数), 日常书写的文字该怎么表示呢, 编码吗 16进制方便阅读和书写二进制数, char类型只不过是因它用于编码单个字符而得名, 其本质也就是一个字节的数字而已, 多于一个字节的数据类型, 有大端法和小端法的字节顺 ......
任务运维 | 怎么补数据？这有一篇实践案例
在任务运维同学的日常工作中，经常需要使用补数据功能，例如当一个新的数据开发任务提交上线后，需要将历史的数据也能写入对应的时间分区；或者当发现某个任务产出数据有误时，需要重新刷新数据，这时候也会需要用到补数据功能。 通过本篇文章，你能够收获： 了解补数据的场景和流程； 掌握补数据的步骤和内容，体验Ea ......
使用事务和SqlBulkCopy批量插入数据
DataTable table = new DataTable(); table.Columns.AddRange(new DataColumn[]{ new DataColumn("flow_id",typeof(int)), new DataColumn("sheet_no",typeof(st ......
使用SqlBulkCopy批量插入，批量更新数据解决方案
1） 根据取过来的数据（DataTable）字段创建临时表 ‘ tmp_表名‘ 2）SqlBulkCopy数据导入临时表 3） 根据正式表主键对数据进行处理，删除相同主键数据，批量导入数据 4） 删除临时表 点击查看代码 public class DataBaseUtil { public even ......
大数据经典论文解读 - BigTable
BigTable 定位是分布式表格系统。步入21世纪后，单机关系db无法支撑海量数据，GFS等分布式文件系统可低成本支持存储但效率低。分布式事务模型、共识算法和Percolator、Spanner等NewSQL到2010年前后才成熟。所以当时取各项目共性，在GFS上封装一层KV结构。技术对标HBas ......
后端基础——rom,ram,memory compiler
一，memory基础 1，导览 Memory用来存储和读写的大量的二进制数据。按功能上分类，基本可以分为两大类：只读存储器（ROM）和随机存取存储器（RAM）。ROM只能读，不能写；RAM既能读又能写。RAM具有易失性。断电以后，RAM中保存的数据将全部丢失；而ROM中的数据则可以长久保存。 RAM ......