笔记spark

spark调用HTTP请求并返回数据落地到数仓(or数据库)

POM xml复制代码 com.alibaba fastjson spark-sql依赖 --> org.apache.spark spark-sql_${scala.tools.version} org.apache.spark spark-hive_${scala.tools.version} ......
数据 数据库 spark HTTP

【笔记】矩阵

#矩阵 ## 定义: 数学意义上有更加严谨的矩阵定义,这里不过多展开,如有需要还请自行查询。 由$n\times m$个数排成$n$行$m$列,第$i$行$j$列的数记为$a_{i,j}$。我们称这$n \times m$个数为矩阵$A$的元素,记作: $$ A=\begin{bmatrix} &1 ......
矩阵 笔记

读数据压缩入门笔记04_统计编码

一种新的精确熵编码方法,所得到的结果可以和最优熵任意接近,它的压缩率与算术编码接近,而性能则与哈夫曼编码相当 ......
编码 笔记 数据 04

node笔记

使用淘宝镜像的命令:npm install -g cnpm --registry=https://registry.npmmirror.com cnpm install express npm install express # 本地安装 npm install express -g # 全局安装 ......
笔记 node

docker笔记

# docker笔记: ```python 1.查看docker版本: docker -v 2.启动和停止docker systemctl start docker # 启动 systemctl status docker # 查看docker的状态(看运行状态) ps aux | grep doc ......
笔记 docker

EasyUI——学习笔记

资源文件介绍 locale:easyui的css内置样式 easyui核心样式:easyui.css 图标演示:icon.css themes:汉化内置文字文件 jquery.easyui.min.js:所有easyui封装好的jquery代码和ajax代码 jquery.min.js:jquery ......
笔记 EasyUI

GameHub项目开发笔记

## 技术栈 ## 搭建项目 项目在**HbuilderX**中进行开发,新建时使用**默认模板**,选择**Vue2**版本,并且**启用uniCloud(阿里云)** 项目代码托管到GitHub,**.gitignore**文件配置如下 ```.gitignore #/test/表示忽略根目录下 ......
项目开发 GameHub 笔记 项目

人月神话读书笔记之二

上次阅读的主题是团队,这次依然如此,上次提及的是对于我们做项目,团队的重要性,而这次我们则要说交流在团队中都发挥着深刻的作用。 每个团队之间都应该拥有多种方式来进行相互之间的交流,可以是相对休闲的茶话会,也可以是正式项目工作手册(共享资源)。为了方便团队间的交流,我们就可以看出交流对于团队的重要性, ......
神话 笔记

人月神话读书笔记之三

通过一段时间的阅读,人月神话终于进入尾声,即将结束本书的阅读,同时,我也了解到了不少关于程序员的信息,越是了解,就越觉得自己和理想之间差距很大。 以前,我觉得,程序员嘛,想怎么编就怎么编咯,反正最后能够交差就行,自己看得过去就OK啦,后来我才发现,我的想法是错误的,自我满足本身就是一件错误的事情,而 ......
神话 笔记

构建之法读书笔记之一

和人月神话一样,构建之法也是老师所推荐的书目,当然这也是一本早有耳闻却现今才刚刚上手的一本。 此书开始便告诉我们什么是软件工程,以及它与现代计算机技术之间的关系。 什么是软件工程呢?软件工程是把系统的、有序的、可量化的方法应用到软件的开发、运营和维护上的过程。它包括下列领域:软件需求分析、软件设计、 ......
笔记

构建之法读书笔记之二

继续我的阅读之旅,上次说到我们编程时要规范化代码,这样方便他人也方便自己,其次就是要交流,来使我们的合作更加顺利。 第五章又是团队,果然在软件工程这一领域扩展到信息技术乃至整个人类社会,最不能忽视的就是团队,这也是老生常谈了。 本章讲了团队模式。团队模式有很多种如作者给我们罗列出来的:主治医师模式、 ......
笔记

构建之法读书笔记之三

首先还是回顾一下之前的阅读,团队的合作模式、敏捷流程。对于合作,我们需要足够的交流,足够的耐心,同时也要积极发展个人能力,争做软件工程界面的优等生。这次我们要讲的是用户,每一个程序、项目,最终的审核者都是我们的目标受众——用户。因此我们最终的目的就是让用户满意。那怎么才能让用户满意呢? 首先我们要知 ......
笔记

RDS 、HDFS、 mapreduce 、spark 、hive、 hbase 、zookeeper 、kafka 、flume、mysql 安装时之间配置文件是如何依赖的?

这些技术是大数据领域的常用组件,它们之间的配置文件依赖关系如下: RDS是一种关系型数据库,可以独立安装和使用,不需要依赖其他组件。 HDFS是Hadoop分布式文件系统,通常与MapReduce一起使用。在Hadoop集群中,HDFS需要配置core-site.xml和hdfs-site.xml两 ......
mapreduce zookeeper 之间 文件 hbase

python笔记

python官方文档 bytes打印成hex 在一些时候,我们会读取一些bytes类型的数据,我们可能想输出的他的16进制,当用print(bytes)的时候,就会直接打印出对应的字符,这不符合要求。看下官方怎么说: 即,对于bytes类型,官方已经给出了相应的操作函数,不需要再写什么循环了。 可以 ......
笔记 python

构建之法阅读笔记04

第二次阅读《代码大全》有感: 在我过去的学习中,经常遇到代码冗余和复杂度高的问题。我通常会重复编写相同的代码,因为我认为这样能够加快工作进展,并且让我更快完成任务。然而,《代码大全》这本书指出这样做是不好的,因为它会导致代码过于冗长和难以维护。除此之外,我也发现在我的代码中缺少注释,可能会导致代码阅 ......
笔记

构建之法阅读笔记02

人月神话读书有感: 在我的软件开发经验中,我曾经认为增加人力就能够加快软件开发速度。但是,我在读完《人月神话》后,意识到这种做法是错误的。 根据书中的描述,增加开发人员的数量并不一定能加速软件开发的进度,反而可能会延迟项目的完成时间。这是因为在一个时间节点上,有很多的沟通和协作成本。开发人员的增加会 ......
笔记

构建之法阅读笔记03

阅读《人件》有感: 在我的学习中,我曾经认为技术才是软件开发中最重要的方面。因此,我在项目学习中更注重了技术层面,而忽视了人性层面。然而,通过阅读《人件》这本书,我意识到这种做法是错误的。 根据书中的描述,技术是软件开发中非常重要的一部分,但是人性因素同样重要。充分考虑用户需求、开发人员的意见和沟通 ......
笔记

构建之法阅读笔记01

阅读代码大全有感: 在我的软件开发经验中,我经常会写出冗长且难以理解的代码。我认为将所有功能都放在一个函数或者一个类中是最简单的方法,同时也不需要处理代码的复杂性。但是,在读完《代码大全》后,我意识到这种做法会导致代码的可维护性降低,而且使代码的重复性也增加。 根据书中的讲解,当将所有功能放在一个函 ......
笔记

「学习笔记」对拍

在考试中,我们对于一道题目,一般会有两份代码,一份暴力,一份正解。 ~~只有一份的情况不算~~ 这时,我们需要通过自己造数据来检查我们的正解是否正确,当然,在此之前,请先确保你的暴力是正确的。 下面是一份暴力的代码 ```cpp #include using namespace std; typed ......
笔记

flume传输日志文件到hdfs笔记

1、flume官网 https://flume.apache.org/ 2、安装kerberos客户端 由于我在hdfs开启了kerberos认证,所以要先装kerberos客户端: yum install krb5-devel krb5-workstation -y再将kerberos serve ......
文件 笔记 flume 日志 hdfs

Unity URP简单笔记by me

URP的特点 相对于内置管线,具有更好的性能和更高的画质 更好的跨平台性,能在VR、移动端、PC端、主机端保持接近的性能与效果 和HDRP一样,是基于SRP的可定制渲染管线,在多个方面具有更好的自定义性 可以使用连连看ShaderGraph 需要掌握URP的新知识 如何将内置管线转换为URP(导入包 ......
笔记 Unity URP me

《绘图库 QCustomPlot 学习笔记》目录

本篇为随笔《绘图库 QCustomPlot 学习笔记》的目录 ## A 篇 QCustomPlot 背景 ### A.1 [【QCP】简介](https://www.cnblogs.com/young520/p/17208962.html) ### A.2 [【QCP】版本迭代日志](https:/ ......
QCustomPlot 笔记 目录

Rogue7: Rogue Engineering-Station Attacks on S7 Simatic PLCs 阅读笔记

![image](https://img2023.cnblogs.com/blog/2796093/202306/2796093-20230606145134109-442747138.png) ### **基本信息** **题目:** **Rogue7: Rogue Engineering-Sta ......

webpack笔记

# **webpack笔记** *webpack* 是一个现代 JavaScript 应用程序的*静态模块打包器(module bundler)*。当 webpack 处理应用程序时,它会递归地构建一个*依赖关系图(dependency graph)*,其中包含应用程序需要的每个模块,然后将所有这些 ......
webpack 笔记

《大学物理实验上》期末笔记(一)不确定度的计算

# 《大学物理实验上》期末笔记(一)不确定度的计算 ## 什么是不确定度? ​ ★不确定度表示**测量值可能变动(不能确定)的范围,也是与测量结果相关的一个参数,用于合理表示由于测量误差的存在而对被测量值的不能肯定的程度。** ​ 简单来说,我们测得一组值,分别为$x_1,x_2,x_3...x_n ......
大学物理 物理 笔记 大学

Asp-Net-Core开发笔记:API版本管理

## 前言 对于Web API应用程序而言,随着时间的推移以及需求的增加或改变,API必然会遇到升级的需求。事实上,Web API应用程序应该从创建时就考虑到API版本的问题。业务的调整、功能的增加、接口的移除与改名、接口参数变动、实体属性的添加、删除和更改等都会改变API的功能,从而带来版本的变更 ......
Asp-Net-Core 版本 笔记 Core Asp

OpenCV笔记

#### Linux上Opencv的安装 ``` 如果没有安装 OpenCV: 从 https://opencv.org/releases/ 下载opencv-3.4.16.zip sudo apt update sudo apt install -y cmake g++ wget unzip cm ......
笔记 OpenCV

MyBatis-plus学习笔记

1、MyBatis-Plus(简称 MP)是一个 MyBatis 的增强工具,在 MyBatis 的基础上只做增强不做改变,为简化开发、提高效率而生。 2、特性: 无侵入:只做增强不做改变,引入它不会对现有工程产生影响,如丝般顺滑 损耗小:启动即会自动注入基本 CURD,性能基本无损耗,直接面向对象 ......
MyBatis-plus MyBatis 笔记 plus

尚硅谷ts笔记

# 第一章 快速入门 ## 0、TypeScript简介 1. TypeScript是JavaScript的超集。 2. 它对JS进行了扩展,向JS中引入了类型的概念,并添加了许多新的特性。 3. TS代码需要通过编译器编译为JS,然后再交由JS解析器执行。 4. TS完全兼容JS,换言之,任何的J ......
笔记

JAVA学习笔记基础篇_02

恢复内容开始 # java高级应用 ## 1.补充 当方法中不存在与对象相关的方法时 比如 直接的数字计算 输出 等 都可以写成静态方法 集合成一个工具类 ### 1.类变量与类方法(静态变量 / 静态方法) 也就是记录变量和方法的使用次数 , 每次随着类的生成而生成 随着类的消失而消失? stat ......
基础 笔记 JAVA 02