基础 笔记 数据spark

列表 推导式 格式: 列表变量 = [表达式 for 变量 in range(10)] 表达式中需要使用后面的变量 组包和拆包 组包: 将多个值同时赋给一个变量时,解释器会进行自动组包操作 拆包: 将一个容器值(元组),里面的多个数据同时赋值多个变量,解释器会进行拆包操作 注意: 拆包要注意被赋值的 ......

import pandas as pd import matplotlib.pyplot as plt inputfile ='data5/original_data.xls' # 输入的数据文件 data = pd.read_excel(inputfile) # 读取数据 # 查看有无水流的分布 ......

解决策略 建立一个大根堆和一个小根堆，用一个临时变量（count）来统计数据流的个数 当插入的数字个数为奇数时，使小根堆的个数比大根堆多1；当插入的数字个数为偶数时，使大根堆和小根堆的个数一样多 当总的个数为奇数时，中位数就是小根堆的堆顶；当总的个数为偶数时，中位数就是两个堆顶的值相加除以2 imp ......

硬件系统(科普了解) 主机系统 CPU(中央处理器) 控制器 运算器 内存储器 RAM Random Access Memory 随机存储器 (保存不住数据) ROM Read-Only Memory 只读存储器 外部设备: 输入设备 键盘 鼠标 输出设备: 显示器 音箱 外存储器: 软盘 U盘 硬 ......

题记： 在众多单机管理系统中，往往使用的就是Access数据库。一般数据存放在安装软件的data文件夹中，数据库文件一般以： ".mdb" 结尾的文件，注：一般将.mdb文件打开后会产生一个：".ldb"结尾的数据库锁文件。 记录问题背景： 有一次，朋友帮忙一个用户迁移单机管理工具。由于迁移前期没有 ......

分类算法之k-近邻 k-近邻算法采用测量不同特征值之间的距离来进行分类 优点：精度高、对异常值不敏感、无数据输入假定 缺点：计算复杂度高、空间复杂度高 使用数据范围：数值型和标称型 一个例子弄懂k-近邻 电影可以按照题材分类，每个题材又是如何定义的呢？那么假如两种类型的电影，动作片和爱情片。动作片有 ......

import pymysql # 获取连接 conn = pymysql.connect( host='10.105.212.1', port=3306, user='root', password='DemoDemo', database='db', charset='utf8' ) cursor ......

1. 手工新增 import pymysql # 获取连接 conn = pymysql.connect( host='10.105.212.1', port=3306, user='root', password='DemoDemo', database='db', charset='utf8' ......

import pandas as pd import matplotlib.pyplot as plt inputfile = 'D:\PhotoWork\大数据\数据\第七次\original_data.xls' # 输入的数据文件 data = pd.read_excel(inputfile) ......

查看数据库表使用情况 //show table status是有缓存的，执行前最好先执行以下语句 ANALYZE TABLE 表名; //update_time列表示表数据最后修改时间 show table status; 查看数据库表数据空洞大小 SELECT table_schema AS '数 ......

import pymysql # 获取连接 conn = pymysql.connect( host='10.105.212.1', port=3306, user='root', password='DemoDemo', database='db', charset='utf8' ) # 获取游标 ......

stm32学习笔记 i2c学习 1、半双工，不能同时发送数据，一个设备发送另一个设备接受 2、接受到数据有有应答 3、能够挂在多个模块，且通信之间不受干扰,支持一主多从，多住多从 4、有两根通信线：scl,cda(serial clock ,serial data)采用同步时序（加一根clk线）通信 ......

为什么建议InnoDB表必须建主键?并且推荐使用整型的自增主键？ 如果不由我们人工去创建主键，mysql也会帮我们去建立主键，没有必要把这么简单地工作交给Mysql。整型比较比UUID比较要快，而且更加节省空间。 设置自增有一个考虑就是在插入元素数据的时候由于需要维护一颗B+树，这颗树根据主键排序的 ......

第四章是《构建之法》中关于编程范式的章节，介绍了两种主流编程范式：面向对象编程和函数式编程。作者首先介绍了面向对象编程的概念和特点，通过一个简单的实例介绍了面向对象编程中的类、对象、封装、继承和多态等基本概念。然后，作者介绍了函数式编程的概念和特点，通过几个简单的例子介绍了函数式编程中的高阶函数、闭 ......

图的基本概念不再详细描述 有顶点（node, V）、边（edge, E），这里还有一个全局属性（global, U），但不知道具体表示什么 边分为无向的边和有方向的边 三者都是通过向量来表示（embedding） 将图像表示成图的方法：一个像素是一个节点 下图左边是原图，中间是邻接矩阵，右边是图 文 ......

P3 创建数据库 CHARACTER SET：指定数据库采用的字符集，如果不指定字符集，默认utf8 COLLATE：指定数据库字符集的校对规则（常用的 utf8_bin[区分大小写]、utf8_general_ci[不区分大小写]，注意默认是utf8_general_ci） 创建指令：CREATE ......

连续洗浴事件 数据预处理 import warningswarnings.filterwarnings('ignore')import pandas as pdpd.set_option('display.max_rows',None)import numpy as npimport matplot ......

#说一下Volatile关键字 volatile使Java中的关键字，它的中文意思是“不稳定的”。在Java中，该关键字主要修饰变量（实例变量和类变量<静态变量，使用static修饰>），而此变量一般是临界资源。 要说volatile的作用，就需要先了解一下计算机的内存模型和JMM（Java Mem ......

import pandas as pdimport matplotlib.pyplot as plt inputfile ='D:/Users/Lenovo/Documents/WeChat Files/wxid_jiprlm7rzg9u11/FileStorage/File/2023-03/ori ......

go 入门 hello world 仪式感还是要有的 package main func main() { println("hello world") } print系列主要用于输出，主要包含了三个方法： package main import "fmt" func main() { // 一次输 ......

写在前面 上次的博客主要介绍了Go语言中的变量和if，for循环等。见Go语言基础（一）。 这次主要来学习一下Go语言中的函数，数组与切片。 函数的具体定义 基本定义 直接上例子： func add() { fmt.Println("Hello World") } func max(num1 int ......

IHome主页插件是一款方便实用的浏览器扩展，可以帮助用户快速访问常用的网站、应用和工具，提高上网效率和使用体验。它可以自定义主页，支持多种主题和布局，同时还提供了各种实用的功能，如天气预报、即时通讯、书签管理、备忘录、日历等。无论是工作、学习还是生活，IHome插件都能为用户带来便利和舒适的使用体 ......

在现今越来越强调环保节能的法规要求下, 新一世代的产品需要具备更高的高效性能, 在永磁无刷电机驱动上亦是如此, 除了高效率的电机外, 电子组件及驱动算法也必须尽可能的高效。为此灵动微电子提出了以 MM32 SPIN 系列 32 位微处理器开发的风机无位置传感器 FOC 弦波驱动解决方案。以下表格为此 ......

CF526F Pudding Monsters 典题，发现这本质上是一个一维问题，一个区间合法当且仅当 $\max - \min = r - l$，枚举右端点维护左端点的变化量，用两个单调栈维护到 $r$ 的最大最小，用线段树维护区间最小值及其个数，由于 $[r, r]$ 满足条件且 $\max - ......

基于hello_world.cc的IO流程 // 创建rados对象 librados::Rados rados; // 初始化rados对象 ret = rados.init("admin"); // 读取配置文件，-c 或 --config后接配置文件 ret = rados.conf_pars ......

#10-1 import pandas as pd import matplotlib.pyplot as plt inputfile="D:\数据分析\original_data.xls" data=pd.read_excel(inputfile) lv_non=pd.value_counts(d ......

1.pom.xml 参考 JDBC通过SSH Tunnel连接MySQL数据库 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> </dependency> <dependency> ......

import pandas as pd import matplotlib.pyplot as plt inputfile ='./data/original_data.xls' #'./demo/data/original_data.xls' # 输入的数据文件 data = pd.read_ex ......

大数据运算 BigInteger BigDecimal BigIntegerjava中long型为最大整数类型,在Java中,超过long型的整数已经不能被称为整数了,它们被封装成BigInteger对象.在BigInteger类中,实现四则运算都是方法来实现,并不是采用运算符. BigIntege ......

1、最初的问题一、什么是分布式存储？传统定义：分布式存储系统是大量 PC 服务器通过 Internet 互联，对外提供一个整体的服务。通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。二、为什么需要分布式存储？大型企业面对海量的数 ......