20220804笔记本 笔记spark

Linux 防火墙策略: 严格过滤入站，允许出站 防火墙有两类: 硬件防火墙(可以组成集群保护)，软件防火墙(本机安装的软件，本机防护)。 1.firewalld防火墙服务： Linux默认安装的防火墙系统服务： firewalld防火墙是centos7系统默认的防火墙管理工具，一般是自带的无需安装 ......

1. 方法 fun main(){ println("Hello, World!") } fun 方法声明关键字 main() 程序入口 方法体用{}包含 println() 、print() 标准输出方法 2. 变量 任何程序都需要存储数据，变量可以帮助我们做到这一点。在Kotlin中，有两种变量 ......

find 命令作用 根据预设条件递归查询文件，当查询一个文件时他会将目录下所有的文件包括子目录全部查询一遍，就算找到了对应文件也不会停止会一直查询到所有文件都查过为止。 命令格式 - find [目标] [条件] [-a|-o] [条件2] # -a(并且) -o(或者) 常见的条件： -type ......

--通过函数处理除法，获取百分比 alter function [dbo].[fungetrate]( @num1 int, @num2 int) returns nvarchar(10) as begin declare @res varchar(10) select @res = case wh ......

1. 设置--网络--移动热点 启用热点，编辑设置，关闭节能 2. 控制面板--网络和 Internet--网络连接--更改适配器设置 关闭 Microsoft Wi-Fi Direct Virtual Adapter #2 的网卡电源节能设置（防止热点自动关闭） ......

Support for running on YARN (Hadoop NextGen) was added to Spark in version 0.6.0, and improved in subsequent releases. spark自0.60版本开始支持在YARN上运行，并在后续版本 ......

SAM学习笔记 在开始之前，先给一个画出 SAM 的网站：link SAM是个啥？ SAM 是一个可以接受一个字符串 \(S\) 的所有后缀，且最小的 DFA。 SAM 是一个 DAG，其中节点被称为状态，而变被称为转移。每条边上都有一个字符。 SAM 还应当满足以下性质： 一个 SAM 从同一个节 ......

Secenario: MAU -- monthly active users step1: 罗列功能 register/login user profile display/edit upload image/video search post/share a tweet timeline/news ......

rust 学习梳理 数据类型 基于已明确的类型，Rust会推断剩下大部分类型。基于类型推断Rust具备了与动态类型语言近似的易读性，并仍能在编译期捕获类型错误。 函数可以是泛型的：单个函数ujiu可以处理不同类型的值。 Rust的类型根基是一组固定宽度的数值类型，匹配几乎所有现代处理器直接硬件实现的 ......

Spark: 1.Apache Spark是用于大规模数据处理的统一分析引擎 2.一款分布式内存计算的分析引擎 源数据层: 1.sdk日志埋点 2.日志文件:爬虫日志,业务日志 3.关系型数据库:mysql,oracle等 数据采集层: 1.离线:flume,sqoop,Nifi 2.实时:file ......

最近自己录了一个自学C语言系列，笔记发出来，视频还在传 ......

从第八章《数据库设计》中总结了一下知识内容：类模型和BCED类包反映了应用类，而不是存储数据库结构，实体类表示了应用中的永久数据库对象，但不是数据库中的永久类；永久数据库层可以是关系数据库，对象关系数据库或者对象数据库；数据库模型是表示数据库结构的这种抽象，包含三种抽象，分别是：外部数据模型，逻辑数 ......

安装 首先你需要一个 python 和 pip。 然后 pip install flask 就好啦！ 使用 from flask import Flask 导入。 pip install flask_form 创建网站 from flask import Flask app=Flask(__name ......

(1)整体来说，这本书到底在谈些什么？本书围绕“注重实效”讲述了关于编程的各种话题，个人责任、拽光弹开发、调试策略、元程序设计、按合约设计、重构、无情的测试，等等。作者认为注重实效的程序员的特征是程序员在处理问题、寻找解决方案时的态度、风格、哲学，他们能够超越直接的问题去思考，总是设法把问题放在更大 ......

通过一周时间对"构建之法-现代软件工程"快速阅读，我对软件工程这个专业有了一种更深刻的认识.软件工程，顾名思义，就是把系统的、有序的、可量化的方法应用到软件的开发、运营和维护上的过程。 一个人的成功不是天生的，而是慢慢积累的。当然，一个优秀的程序员也是慢慢学成的；正所谓：千里之行始于足下，我们必须从 ......

Spark有多种运行模式，可以运行在一台机器上，称为本地（单机）模式——local模式；可以使用Spark自带的资源调度系统，称为Spark Standalone模式；也可以以YARN或Mesos作为底层资源调度系统以分布式的方式在集群中运行，称为Spark On YARN模式。本文就介绍前两种运行 ......

异常处理 异常 在Go语言中，异常被定义为实现了 error 接口的类型；error 接口只包含一个方法 Error() ，用于返回错误信息。 error 除了输出错误外，往往需要输出当时的业务相关信息（错误地址，错误码，错误信息等），举个简单例子： package main import ( "f ......

设计： get 如何在缓存中，返回关键字的值 O(1) 的时间复杂度，这里我们比较容易想得到是用map 去存储 put 如果key 已经存在，则变更数据，不存在则写入数据 如果插入关键字数量超过 capacity,则逐出最久未使用的关键字 总结下操作： 获取数据比较简单直接从map中判断存在，如果存 ......

1. 神经网络 1.1 神经元 神经元（Neuron）或节点（Node） 是神经网络的基本单元。下图是一个简单的神经元示意图，\(x\) 表示 输入（\(\text{Input}\)）， \(x_i\) 表示来自于前面第 \(i\) 个 神经元（\(\text{Neuron}\)）的输入，通常会增加 ......

前言 本文采用 BY-NC-SA 协议发布。 这是一篇问答风格的学习笔记。 作者约等于民科，如果发现本文有错误或建议修改请告诉我。 正文 例题：定义多项式 \(F_n(x)=\sum\limits_{k=0}^n \dbinom nk A[n-k]x^k\)，求证 \(F_n(x+y)=\sum\l ......

这本书是很老的一本书了，篇幅特别的大，涵盖软件工程的方方面面（提纲挈领的讲解了一些概念及原则）。 从书中我可以看到作者的深厚功力，能够深入浅出的讲解一个软件从需求调研再到结构设计，再到具体开发，再到测试，再到集成构建的整个生命周期。本书不仅从软件构建的整个生命周期给到读者切实可行的建议，而且针对不同 ......

最近在 《代码大全》这本书, 包括的内容非常多, 从软件设计到代码开发,团队管理都有,更像是一个软件编程领域的百科全书. 但是,对于书中提到的一点印象最为深刻, 其实在 《人月神话》和《卓有成效的程序员》这两本书都有提到, 那就是: 软件设计与开发的核心就在于 控制复杂度 这句话的核心其实包括几个问 ......

一. 同步交互： 就是用户在浏览器上所有的动作都操作完毕后再将信息发送给服务器端，然后服务器端做出响应后返回给浏览器数据 同步交互的优点 可以保留浏览器后退按钮的正常功能。在动态更新页面的情况下，用户可以回到前一个页面状态，浏览器能记下历史记录中的静态页面,用户通常都希望单击后退按钮时，就能够取消他 ......

一. 安装 在创建你的第一个 Laravel 项目之前，你应该确保你的本地机器已经安装了 PHP 和 Composer。如果你是在 macOS 上开发，可以通过 Homebrew 安装 PHP 和 Composer。此外，我们建议安装 Node 和 NPM。 安装了 PHP 和 Composer 后 ......

写在前面 首先，本人很菜。 其次，本文只也许够应付考试，个人使用。而且其实就是ppt内容只是我自己喜欢这样整理。虽然全力理解内容且认真书写但也可能存在错误，如有发现麻烦指正，谢谢🌹 最后，因为不知道考试怎么考，本人的复习方式是照着目录讲一遍自己的理解+写伪代码（如果来的及会再做一个综合纯享版），再 ......

写在前面 首先，本人很菜。 其次，本文只也许够应付考试，个人使用。而且其实就是ppt内容只是我自己喜欢这样整理。虽然全力理解内容且认真书写但也可能存在错误，如有发现麻烦指正，谢谢🌹 最后，因为不知道考试怎么考，本人的复习方式是照着目录讲一遍自己的理解+写伪代码（如果来的及会再做一个综合纯享版），再 ......

CMU DLSys 课程笔记 2 - ML Refresher / Softmax Regression 本节 Slides | 本节课程视频 这一节课是对机器学习内容的一个复习，以 Softmax Regression 为例讲解一个典型的有监督机器学习案例的整个流程以及其中的各种概念。预期读者应当 ......

「学习笔记」二项式反演、斯特林数、Min-max 容斥 点击查看目录 目录「学习笔记」二项式反演、斯特林数、Min-max 容斥格路计数二项式反演形式零形式一证明 1证明 2形式二形式三斯特林数第一类斯特林数定义递推式第二类斯特林数定义递推式通项公式应用：普通幂、下降幂与上升幂互相转化Min-max ......

async await async（异步）函数（方法）是 Swift 并发所引入的一种新的函数类型。 async 函数（方法）在定义时用 async 关键字来标记。 async 函数（方法）具有中断和恢复功能。中断点用 await 关键字来标记。 async 函数（方法）在中断并恢复前后所处的线程可 ......

1. RNN 1.1 RNN 简介 循环神经网络（\(\text{Recurrent Neural Network}\)，简称 \(\text{RNN}\)）是一种用于处理序列数据的神经网络。其核心思想是使用循环结构来保持一个内部状态，这个状态理论上可以捕获到目前为止的全部信息流。\(\text{R ......