数据库 笔记 数据mysql
开源+实时+数据即服务的架构——唐建法受邀出席2023数据技术嘉年华【干货回顾】
依据现代数据栈的定义，Tapdata 是一个专注于数据集成和数据准备的现代数据栈工具，主要承担数据的采集、集成、准备和服务模块，其核心价值体现在数据集成上：将企业的数据进行联通，为新的数据业务提供新鲜的数据。 ......
李宏毅BERT笔记
Self-supervised是LeCun提出的 常用于NLP，一段文字分成两部分，用第一部分来预测第二部分 BERT有两种训练的方式， 第一种是Masking Input，可以用特殊的MASK token或是Random token来替换原有的，经过BERT模型后，输出为原先的token 第二组是 ......
pandas drop、loc和iloc函数对数据框进行操作
pandas.DataFrame.drop—从行或列中删除指定的标签 参考：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop.html 语法格式 DataFrame.drop(labels ......
mysql忘记密码
在忘记 MySQL 密码的情况下，可以通过 --skip-grant-tables 关闭服务器的认证，然后重置 root 的密码，具体操作步骤如下。 步骤 1)：关闭正在运行的 MySQL 服务。打开 cmd 进入 MySQL 的 bin 目录。 步骤 2)：输入mysqld --console - ......
解决MySQL自动弹出命令行窗口
自从装了MySQL之后，我的电脑就会在某些时刻弹出一个黑乎乎的命令行窗口，然后立马消失。一开始还以为是电脑出了什么故障，但一直没有出现其他什么问题，就是玩游戏时弹出来有点难受。有一次我眼睛看到了一闪而过的窗口有MySQL几个字，就确定了是MySQL的原因。 于是上网找解决方法，找到了一个可行的方法 ......
【大数据】Hive 分区和分桶的区别及示例讲解
一、概述 在大数据处理过程中，Hive是一种非常常用的数据仓库工具。Hive分区和分桶是优化Hive性能的两种方式，它们的区别如下： 1）分区概述 Hive分区是把数据按照某个属性分成不同的数据子集。 在Hive中，数据被存储在HDFS中，每个分区实际上对应HDFS下的一个文件夹，这个文件夹中保存了 ......
mysql优化参数
-- 隔离级别 select * from `performance_schema`.variables_by_thread where variable_name='transaction_isolation'; -- 全局级别和回话级参数 作用于 set session binlog_rows_ ......
mysql -- 事件
MySQL的EVENTS是用来处理计划任务的。MySQL使用称为事件调度线程的特殊线程来执行所有预定事件。默认情况下，事件调度线程是未启用（版本低于8.0.3）的状态， 如要启用它，可以执行以下命令： > SET GLOBAL event_scheduler = ON ; > show variab ......
举一个数据库死锁的例子，MySQL 怎么解决死锁？
转载：https://juejin.cn/post/7072000882128191518 分析&回答 在数据库中有两种基本的锁类型：排它锁（Exclusive Locks，即X锁）和共享锁（Share Locks，即S锁）。当数据对象被加上排它锁时，其他的事务不能对它读取和修改。加了共享锁的数据对 ......
linux学习笔记（29）linux共享目录，NFS，使用autofs实现NFS 自动挂载
【1】 NFS简介 （1.1）什么是NFS NFS 是Network File System的缩写，即网络文件系统。英文Network File System(NFS)，是基于UDP/IP协议的应用，可以通过网络，让不同的机器、不同的操作系统可以共享彼此的文件。 NFS在文件传送或信息传送过程中依赖 ......
volatility 3 内存取证入门——如何从内存中寻找敏感数据
volatility 3 内存取证入门——如何从内存中寻找敏感数据 上面说的思路，我自己在本机验证下，首先，我在虚拟机里使用IE登录我的qq邮箱，如下： 我自己登录IE的进程是2052，虚拟机dump vmem文件以后，vol3下： python .\vol.py -f "D:\Virtual Ma ......
关于如何使用pandas将不同的数据写入到同一个Excel的不同Sheet表中
笔者在之前使用python将数据写入到Excel表格中，一般都只需要写入一张Sheet表中就可以了 因最近一个小的需求，需要将不同的大列表数据写入到不同的Sheet表中 这样，再使用之前的 pandas.DataFrame(content_list)，然后.to_excel("./xxxxx.xls ......
Azure DevOps Server 数据还原方式三：增量还原
Contents1. 概述2. 操作方式2.1 创建共享文件夹，并将备份文件复制到共享文件夹中2.2 还原数据3 验证还原的数据库3.1 方式一：核对工作项所在的表的数据3.2 方式二：将数据库配置到应用层，在应用中验证数据4. 常见问题：4.1 不能使用\localhost作为共享文件夹4.2 还 ......
电商产品评论数据情感分析
# 代码12-1 评论去重的代码 import pandas as pd import re import jieba.posseg as psg import numpy as np # 去重，去除完全重复的数据 reviews = pd.read_csv("D:/school/three/bel ......
Bootstrap学习笔记
本文是笔者在学习Bootstrap框架时整理的笔记，通过本文，读者可以初步了解该框架的基本用法和前端开发的大体思路。 1 总览 Bootstrap官网：https://getbootstrap.com/ 官方文档：https://getbootstrap.com/docs/5.3/getting-s ......
【统计数据分析专论】01-Revisiting linear regression 重新审视线性回归
Revisiting linear regression 重新审视线性回归 课件翻译 Linear regression 线性回归 最经典的统计模型之一，但仍被广泛使用 用线性函数建模输入输出关系 $$ y_{i}=\beta_1 x_{i 1}+\beta_2 x_{i 2}+\cdots+\be ......
MNIST 数据集训练及测试代码
简单概念 MNIST 是一个手写体数字的图片数据集，统计了来自 250 个不同的人手写数字的图片。该数据集可以通过算法，实现机器对手写数字的识别。 训练代码 import torch from torchvision import transforms, datasets from torch.ut ......
python学习笔记8（json数据格式、pycharts简单折线图）
1. json json是一种轻量级的数据交互格式，可以以json指定的格式去组织和封装数据； json本质上是一个带有特定格式的字符串； json负责不同编程语言中的数据传递和交互； 1.1python数据与json数据相互转化 引入json模块 import json 1.1.1python数据 ......
23 网络数据在内核中流转
一次具体的网络收发过程： 发送过程： 应用程序准备好数据，调用用户态下的库函数，调用系统API接口函数，进入到内核态；内核态对应的系统服务函数会复制应用程序的数据到内核的内存空间中，然后将数据移交给网络协议栈，在网络协议栈中将数据层层打包；最后，包装好的数据会交给网卡驱动，网卡驱动程序负责将打包好的 ......
nginx配置导致过长数据截断问题
使用js fetch请求php的时候，出现了The operation was abort SyntaxError: JSON.parse: unterminated string at line xxx of the JSON data错误，nginx日志出现了2022/04/09 18:58:1 ......
MySQL 8.0以上安装步骤、下载后的安装操作和一些注意事项：
一：下载 1.下载免费版社区MySQL (已经更新到8.0版本以上) 下载地址： https://dev.mysql.com/downloads/mysql/ 2.此步骤只适用于 Windows(x86,64-bit),ZIP Archive (就是111.1M这个) 3.依次点击Download ......
网络流学习笔记
啊啊是的，又来学网络流了。 网络 设有一张有向图 $G = (V,E)$，每条边 $(u,v) \in E$ 都有一个权值 $c(u,v)$，称为容量，当 $(u,v)\not\in E$ 的时候有 $c(u,v) = 0$。 在这之中有两个特殊的点：源点 $S \in V$ 和汇点 $T \in ......
ZooKeeper 避坑指南： ZooKeeper 3.6.4 版本 BUG 导致的数据不一致问题
ZooKeeper 作为分布式系统的元数据中心，对外服务的数据一致性需要得到很好的保证，但是一些老版本的 ZooKeeper 在一些情况下可能无法保证数据的一致性，导致依赖 ZooKeeper 的系统出现异常。 ......
电商产品评论数据情感分析
# 代码12-1 评论去重的代码 import pandas as pd import re import jieba.posseg as psg import numpy as np # 去重，去除完全重复的数据 reviews = pd.read_csv("D:/JupyterLab-Porta ......
java基于springboot+vue非前后端分离的影城管理系统、影院销售管理系统，附源码+文档+PPT+数据库
1、项目介绍 本影城管理系统主要包括二大功能模块，即用户功能模块和管理员功能模块。 （1）管理员模块：系统中的核心用户是管理员，管理员登录后，通过管理员功能来管理后台系统。主要功能有：首页、个人中心、用户管理、电影类型管理、放映厅管理、电影信息管理、购票统计管理、系统管理、订单管理等功能。 用户前台 ......
22 URL到网卡：网络数据流动
输入URL，从一个请求到响应都发生了什么事? 常规网络交互过程：1、从客户端发起网络请求，用户态的应用程序会生成HTTP请求报文，并通过DNS协议查找到对应的远端 IP地址；2、在套接字生成以后进入内核态，游览器会委托操作系统内核协议栈中的上半部分，即TCP/UDP协议发起连接请求；3、然后由协议栈 ......