数据库 笔记 数据mysql

数据采集实验一

实验一 作业① (1)实验1-1 from bs4 import BeautifulSoup from urllib import request import urllib url = "http://www.shanghairanking.cn/rankings/bcur/2020 " res ......
数据采集 数据

项目开发难点-项目中两个窗口的页面,其中一个选择数据后回显到另一个项目页面中

方法一:sessionStorage 如果项目是在浏览器中,打开或跳转另一个页面(可以使用同一个控制台)的情况下,可以用sessionStroage来存储数据,然后另一个页面获取数据 方法二:postMessage 适用情况与方法一一致(两个页面可以使用同一个控制台)。 第二个页面选择后发送数据给第 ......
项目 页面 项目开发 难点 两个

数据库表设计规范

数据库表设计规范 设计数据表一般分为四部分 1.主键以及代表通常作为特殊标识的唯一id(eg:其它表的主键作为本表的逻辑关联外键),这部分字段通常需要设计索引 2.实际业务中的业务字段,根据实际业务决定设计那些字段,其他表的业务冗余字段如果本表需要大量使用的可以加进去。根据实际业务增加索引或者联合索 ......
数据库 数据

怒肝两个月MySQL源码,我总结出这篇2W字的MySQL协议详解(超硬核干货)!!(转)

作者个人研发的在高并发场景下,提供的简单、稳定、可扩展的延迟消息队列框架,具有精准的定时任务和延迟队列处理功能。自开源半年多以来,已成功为十几家中小型企业提供了精准定时调度方案,经受住了生产环境的考验。为使更多童鞋受益,现给出开源框架地址: https://github.com/sunshinely ......
干货 MySQL 源码 两个

操作mysql

import pymysql import pandas as pd connection = pymysql.connect( host='127.0.0.1', # 服务器ip地址 port=3306, # mysql默认端口号 user="root", # 用户名 password="1234 ......
mysql

EMQX学习笔记:安装

本文更新于2023-03-01。 目录Docker下运行CentOS 7.5下安装在Windows下安装端口DashboardMQTTX 下载网址:https://www.emqx.com/zh/try?product=broker。更多版本可访问:https://www.emqx.com/zh/d ......
笔记 EMQX

第二周博客(笔记):如何快速使用开源控件库MaterialDesignInXamlToolkit开发Wpf UI

因为MaterialDesignInXamlToolkit这个控件库比较受人推崇,也是免费开源的。而且开发UI对我来说真的是一件非常tedious的事情,秉着专业的人干专业的事的原则,我学习一下这个控件库,希望以后能给别人提供解决方案。 控件库地址 https://github.com/Materi ......

一个监控数据的思考-sockets_used

一个监控数据的思考-sockets_used 背景 最近跟踪一个项目问题. Grafana的监控了里面有一个tcp的使用监控 CurrEstab 的数据量是: 700-2000 左右 但是同时有一个非常大的: Sockets_used的数据 数据量一般是 CurrEstab的十倍以上. 大家看起来感 ......
sockets_used sockets 数据 used

mysql精准匹配和模糊匹配排序问题

背景: 对数据库中商品名称匹配,比如 `蜂蜜`,查询结果默认id升序排列,导致想要的结果并不一定在前面 解决: SELECT NAME FROM goods WHERE STATUS = 1 AND ( NAME = #{keyword} OR NAME LIKE concat( concat('% ......
问题 mysql

学习笔记3

第10章 sh编程 sh脚本 sh脚本是一个包含sh语句的文本文件,命令解释程序sh要执行该语句。 sh脚本的第一行通常以 #! 组合开始,通常称为shebang。 sh脚本和C程序 sh: (1)是一个解释程序,逐行读取sh脚本文件并直接执行这些行。如果行是可执行行且为内置命令,则sh可执行;否则 ......
笔记

高性能MySQL实战(一):表结构

最近因需求改动新增了一些数据库表,但是在定义表结构时,具体列属性的选择有些不知其所以然,索引的添加也有遗漏和不规范的地方,所以我打算为创建一个高性能表的过程以实战的形式写一个专题,以此来学习和巩固这些知识。 一、实战 我使用的 MySQL 版本是 5.7,建表 DDL 语句如下所示:根据需求创建接口 ......
高性能 实战 结构 MySQL

读高性能MySQL(第4版)笔记13_备份与恢复(上)

1. 每个人都知道需要备份,但并不是每个人都能意识到需要的是可恢复的备份 1.1. 如果你没有提前做好备份规划,也许以后会发现已经错失了一些最佳的选择 1.2. 在服务器已经配置好以后,才想起应该使用LVM,以便获取文件系统的快照——但这时已经太迟了 1.3. 如果你没有计划做定期的恢复演练,当真的 ......
高性能 备份 笔记 MySQL 13

菜鸟的Python学习笔记_源码阅读1_records(part1)

records 使用原生sql,可以操作大多数的关系型数据库 PART_1 - records引入的包(部分) 1. from sys import stdout 说明:标准输出流 具体请参考:(https://pythonjishu.com/python-sys-stdout/)[https:// ......
源码 records 笔记 Python part1

2023数据采集与融合技术实践作业一

作业① 1)实验 实验要求 要求:用requests和BeautifulSoup库方法定向爬取给定网址(http://www.shanghairanking.cn/rankings/bcur/2020 )的数据,屏幕打印爬取的大学排名信息。 输出信息: 排名 学校名称 省市 学校类型 总分 1 清华 ......
数据采集 数据 技术 2023

Mysql忘记密码后如何重置密码

长时间不使用本机的Mysql后把密码忘记了咋整?直接上干货: 第一步(Mysql部署的位置,若自己能找到就忽略这一步):任务管理器中也可以找到 第二步:修改配置文件 在my.ini末尾加上 skip-grant-tables=1(这一句是为了忽略数据库密码) 第三步:重启数据库服务并重置数据库密码( ......
密码 Mysql

标记永久化学习笔记

标记永久化是线段树的另一种写法,顾名思义,就是让懒标记永久作用于结点上不下传。 回顾一下下传标记的写法。对于一个结点,懒标记作用于其管辖的范围。换句话说,其所有子孙结点都会被懒标记作用恰好一次。在进入下一层时,我们先将懒标记作用于其儿子,然后再将懒标记和其儿子的懒标记合并。所以普通线段树需要满足结合 ......
标记 笔记

多源异构数据信息的融合方式3 - 数据层/特征层融合

一、数据层融合 通过统一的数据格式来描述各个异构数据源。采用中间件整合的形式,利用轻量级的JSON来描述格式进行数据格式转换,以消除底层数据源之间的异构问题,实现多个数据源的统一访问。多源异构数据融合的关键在于语法异构和语义异构,本文使用JSON Schema来对数据源进行映射,来消除数据类型异构。 ......
数据 特征 方式 信息

Python - 读取CSV文件发现有重复数据,如何清洗以及保存为CSV文件,这里有完整的过程!!!! 片尾有彩蛋

语言:Python 功能: 1、清洗CSV文件中重复数据。 2、保存为CSV文件 大体流程: 1、首先观察CSV文件中的数据布局格式如何? 2、通过csv包读取数据。并根据规则使用continue,来跳过本次循环,并将所需数据保存到列表A中,当列表A中的数据变成len(列表A) == 2时,将此数据 ......
文件 彩蛋 片尾 CSV 过程

[算法学习笔记] 浅谈二路归并&双指针&归并排序

二路归并 · 双指针 是一种优化思想。它可以在 \(O(n)\) 的复杂度下把两个长度为 \(n\) 的有序数组合并为一个有序数组。 它的具体处理方法如下: 定义两个长度为 \(n\) 的升序数组 \(a,b\)。,合并完后长度为 \(2n\) 的数组 \(c\),初始化两个指针 \(x=y=1\) ......
指针 算法 amp 笔记

2023数据采集与融合技术作业一

作业①: 1)、作业②: o 要求:用requests和re库方法设计某个商城(自已选择)商品比价定向爬虫,爬取该商城,以关键词“书包”搜索页面的数据,爬取商品名称和价格。 o 输出信息: 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 综合 852.5 2...... 代码: #爬取学校 ......
数据采集 数据 技术 2023

java--内存与数据结构

JVM 内存划分 栈一种数据结构特点:先进后出(FILO)入栈:把元素放到栈里栈顶:栈中的第一个元素栈底:栈中的最后一个元素出栈:把元素从栈里移除 基本数据类型–值传递 引用类型–地址传递 堆数组在堆中存储 若堆中的内存空间没有被引用的时候,就会变成垃圾,等着垃圾回收器回收 垃圾回收机制 对象在堆中 ......
数据结构 内存 结构 数据 java

SQL数据导入出现-----[ERR] 1273 - Unknown collation: 'utf8mb4_0900_ai_ci'

[ERR] 1273 - Unknown collation: 'utf8mb4_0900_ai_ci' 大致原因:sql对应的mysql版本高于当前要导入的mysql库的版本,引发的1273错误。 解决方案: 打开sql文件,将文件中的所有utf8mb4_0900_ai_ci替换为utf8_gen ......
collation Unknown 数据 utf8mb ai_ci

VAE 学习笔记

VAE 是 AE的变体。主要目的是让模型学习数据的分布,最后让解码器(decoder)部分具有生成样本的能力。 VAE可看做高斯混合模型(GMM)的扩展。 GMM中,数据由多个高斯分布来描述: \[p(x) = \sum_{k=1}^{K}P(z_{k})P(x|z_{k}) \]其中 $z \si ......
笔记 VAE

刷题笔记(2023.9.21)

求和 由题意很容易得 \(x\) , \(z\) 的奇偶性是相同的,但是由于 \(n\) 的范围是 \(\le 100000\) 的,所以直接枚举 \(x\) ,\(z\) 的时间复杂度是 \(O(n^2)\) ,显然会 \(TLE\) 。 所以可以先对输入的颜色进行分组,然后再在每一种颜色中按奇偶 ......
笔记 2023 21

Python 内置数据类型详解

内置数据类型 在编程中,数据类型是一个重要的概念。 变量可以存储不同类型的数据,不同类型可以执行不同的操作。 Python默认内置了以下这些数据类型,分为以下几类: 文本类型:str 数值类型:int、float、complex 序列类型:list、tuple、range 映射类型:dict 集合类 ......
类型 数据 Python

关于mysql安装过程中的密码设置问题

在使用set password = password("0000000000");更改密码时出现的ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your M ......
过程 密码 问题 mysql

9.21日数据结构练习题

用栈操作去判断一个字符串是不是回文数列 1 #include <iostream> 2 #define MAXSIZE 100 3 using namespace std; 4 //定义一个栈的结构体 5 //包含顶指针,尾指针,长度 6 typedef struct{ 7 char* base; ......
日数据 日数 练习题 结构 9.21

软考笔记

1.计组与体系结构 1.数据的表示 1.1进制转换 按权展开求和 n进制 -> 十进制 每一位八进制数与三位二进制数对应 除n取余法 十进制 -> n进制 每一位十六进制数与四位二进制数对应 计算机的基本单位 位(比特)bit b 字节byte B 千字节 KB 兆字节 MB 吉字节 GB 太字节 ......
笔记

「学习笔记」树链剖分

树链剖分用于将树分割成若干条链的形式,以维护树上路径的信息。 具体来说,将整棵树剖分为若干条链,使它组合成线性结构,然后用其他的数据结构维护信息。 树链剖分有很多种形式,本文要讲的是其中的轻重链剖分。 树链剖分本质上就是把链从树上砍下来,然后放到树状数组或线段树上来维护。 轻重链剖分 我们给出一些定 ......
笔记

C语言-数据结构之顺序表

#include <stdio.h> #define N 128 typedef int data_type; typedef struct { data_type data[N]; int last; }sqlist; sqlist * list_create(); int list_show(s ......
数据结构 顺序 语言 结构 数据