数据库 笔记 数据mysql
数据采集与融合技术作业1
作业①: 要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020）的数据，屏幕打印爬取的大学排名信息。 输出信息： 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 综合 8 ......
生信教程：使用全基因组SNP数据进行ABBA-BABA分析
动动发财的小手，点个赞吧！ 简介 ABBA BABA 统计（也称为“D 统计”）为偏离严格的分叉进化历史提供了简单而有力的测试。因此，它们经常用于使用基因组规模的 SNP 数据（例如来自全基因组测序或 RADseq）来测试基因渗入。 在本次实践中，我们将结合使用可用软件和一些用 R 从头编写的代码来 ......
MMU复习--Apple的学习笔记
一，前言以前看过MMU，因为这是单片机OS中没有的，当时我记得理解的不是很清晰，包括MMU中哪部分是硬件的，哪部分是软件的都没有太搞清楚。由于看了一个自己写linux操作系统的视频，里面有介绍MMU，且演示了虚拟地址和物理地址的转换，此时我才深刻的理解了，所以在看qemu源码的内存管理前，我先复习下 ......
数据库连接池长时间不用，乍一用还用不了，结果是防火墙的锅
前言 我们的程序，在实际的网络部署时，一般比较复杂，会经过很多的网络设备，防火墙就是其中的一种。做开发的同事，一般对这块了解不多，也很可能被防火墙坑到。比如，应用一般需要访问数据库，为了避免频繁建立连接，一般是会提前建立一个连接池，每次来一个请求，就从连接池取一个连接来用，用完再归还到池子里。 连接 ......
在excel表格插入标黄的这列数据 实现合并单元格，并统计单元格个数？
大家好，我是皮皮。 一、前言 前几天在Python最强王者交流群【哎呦喂 是豆子～】问了一个Python自动化办公的问题，一起来看看吧。 下图是他的原始数据和他想得到的目标数据，如下所示： 需要在标黄的两行里边进行相关操作。 二、实现过程 这里【瑜亮老师】给了一个思路，groupby系统.漏洞数.s ......
JMockit学习笔记
1 基本概念1.1 常用注解@Mocked：被修饰的对象将会被Mock，对应的类和实例都会受影响（同一个测试用例中）@Injectable：仅Mock被修饰的对象@Capturing：可以mock接口以及其所有的实现类@Mock：MockUp模式中，指定被Fake的方法1.2 常用的类 Expect ......
2023数据采集与融合技术实践作业一
第一次作业 作业①: 要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的数据，屏幕打印爬取的大学排名信息。 输出信息： 排名 学校名称 省市 学校类型 总分 1 清华大学 ......
Hive中创建ETL表进行数据清洗
问题描述 今天看到这么一个问题： 看到清洗这两个字，就觉得可高级可高级了！！！ 所以，就把这个问题的解决方法也看了看，学了学； 问题的具体解决方法 看到了对ETL的分析（抽取-->过滤-->加载）： 首先创建一个在原表的结构基础上，新增我们所需数据的字段的表； 然后执行insert+select操作 ......
stm32开发笔记
STM32F103C8T6单片机简介 标准库与HAL库区别 寄存器 寄存器众多，需要经常翻阅芯片手册，费时费力； 更大灵活性，可以随心所欲达到自己的目的； 深入理解单片机的运行原理，知其然更知其所以然。 标准库 将寄存器底层操作都封装起来，提供一整套接口（API）供开发者调用 每款芯片都编写了一份库 ......
2023数据采集与融合技术实践作业1
作业① o 要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的数据，屏幕打印爬取的大学排名信息。 o 输出信息： 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 ......
手写数字数据集AutoEncoder降噪算法
对训练数据加噪声的方法，在训练里面对 x 做如下处理，添加椒盐噪声： bs, ch, h, w = x.shape x = x.reshape(bs, ch, h*w) + 0.2*np.random.normal(size=28*28) x = x.to(torch.float32) 数据集里面的 ......
Springboot简单功能示例-6 使用加密数据源并配置日志
博主尝试通过gitee的发行版，使用Springboot为基础框架，逐步整合JWT、JPA、VUE等常用功能项目。【本节完成】配置logback；配置了数据源，对数据库账号密码进行加密；增加了系统启动配置 ......
102102146洪松渝数据采集与融合技术作业1
作业①: 要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020）的数据，屏幕打印爬取的大学排名信息。 输出信息： 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 综合 8 ......
2023数据采集与融合技术实践作业一
作业1： 要求：用REQUESTS和BEAUTIFULSOUP库方法定向爬取给定网址（HTTP://WWW.SHANGHAIRANKING.CN/RANKINGS/BCUR/2020）的数据，屏幕打印爬取的大学排名信息。 输出信息： 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 综合 8 ......
数据结构优化
写在前面：本蒟蒻并没有足够的实力与自信去完成这样一件作品，所谓的“优化”也不过是我个人拙劣理解，但是形成这样一个完整的知识框架必然有益无害，与我而言，这件事一定要做，所以本蒟蒻会坚持很长时间，去完善本篇博客。因此本博客在某种意义上相当于我个人成长记录，在它逐渐成型的过程中必然伴随着漏洞，谬误，以及幼 ......
MySQL-5.7版本官方文档二进制离线安
官网二进制包 脚本安装 #!/bin/bash # 解决软件的依赖关系 yum install cmake ncurses-devel gcc gcc-c++ vim lsof bzip2 openssl-devel ncurses-compat-libs -y # 解压mysqql二进制安装包 t ......
动态规划——状压DP 学习笔记
动态规划——状压DP 学习笔记 引入 前置知识：位运算 动态规划的过程是随着阶段的增长，在每个状态维度上不断扩展的。 在任意时刻，已经求出最优解的状态与尚未求出最优解的状态在各维度上的分界点组成了 DP 扩展的“轮廓”。对于某些问题，我们需要在动态规划的“状态”中记录一个集合，保存这个“轮廓”的详细 ......
Hive数据仓库的学习——DML学习
1、load加载 load语法： 2、Hive3.X新特性 能够使用load将文件数据存储到分区中，将分区默认作为表格数据的最后一列； 3、insert+select向表插入数据 这个语法就是在上次测试的时候遇到过的问题嘞！ insert+values这个语法执行效率就很慢，而换用insert+se ......
九月份《程序员修炼之道：从小工到专家》读书笔记1
《程序员修炼之道：从小工到专家》是一本非常受欢迎的计算机科学类书籍，作者Andrew Hunt和David Thomas通过通俗易懂的语言和生动的案例，向读者介绍了如何成为一名优秀的程序员。作为一名大二学生，我阅读了这本书，并从中受益匪浅。首先，书中强调了编程中的实践和实证。它教导我们不仅仅要掌握理 ......
九月份《程序员修炼之道：从小工到专家》读书笔记2
《程序员修炼之道：从小工到专家》是一本极具启发性的计算机科学类书籍，对于像我这样的大二学生来说，阅读这本书是一次学习和成长的机会。作者Andrew Hunt和David Thomas通过书中的经验分享和实践指南，为我们展示了成为一名卓越程序员的道路。首先，本书强调了编程中的基本原则和方法。作者提到了 ......
【Docker】使用 Docker 启动 mysql，配置挂载数据文件夹与配置文件
# 1 :先创建挂载文件夹 mkdir -p /mysql/config ; mkdir -p /mysql/data ; mkdir -p /mysql/logs # 2: 创建配置文件 vim /mysql/config/my.cnf # 3: 修改权限 chmod 777 /mysql/con ......
异质数据环境下的联邦学习
近年来，大量数据的产生和边缘设备算力的提高，以及对数据隐私的要求使得以联邦学习为代表的分布式机器学习得到研究关注。传统的联邦学习优化方法如FEDAVG由于其简单实现且具有较低的通信代价得到了广泛的应用，但是其在异质数据环境下很难取得优秀的效果。联邦学习中各客户端的数据分布是非独立同分布的（Non-I ......
利用Python 去重聚合Excel数据并对比两份数据的差异
需求描述: 现在有两份Excel数据 数据结构一致 需要根据订单号和店铺名称去重聚合之后，再把两份数据合并对比差异，需要对比出两份数据的差异 import pandas as pd import numpy as np # 读取两个 Excel 文件 left_df = pd.read_excel( ......
软考笔记——面向对象设计原理
  SQL 语句
MySQL 高级(进阶) SQL 语句 use gy; create table location (Region char(20),Store_Name char(20)); insert into location values('East','Boston'); insert into loc ......