clickhouse数据flink
开源+实时+数据即服务的架构——唐建法受邀出席2023数据技术嘉年华【干货回顾】
依据现代数据栈的定义，Tapdata 是一个专注于数据集成和数据准备的现代数据栈工具，主要承担数据的采集、集成、准备和服务模块，其核心价值体现在数据集成上：将企业的数据进行联通，为新的数据业务提供新鲜的数据。 ......
pandas drop、loc和iloc函数对数据框进行操作
pandas.DataFrame.drop—从行或列中删除指定的标签 参考：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop.html 语法格式 DataFrame.drop(labels ......
【大数据】Hive 分区和分桶的区别及示例讲解
一、概述 在大数据处理过程中，Hive是一种非常常用的数据仓库工具。Hive分区和分桶是优化Hive性能的两种方式，它们的区别如下： 1）分区概述 Hive分区是把数据按照某个属性分成不同的数据子集。 在Hive中，数据被存储在HDFS中，每个分区实际上对应HDFS下的一个文件夹，这个文件夹中保存了 ......
举一个数据库死锁的例子，MySQL 怎么解决死锁？
转载：https://juejin.cn/post/7072000882128191518 分析&回答 在数据库中有两种基本的锁类型：排它锁（Exclusive Locks，即X锁）和共享锁（Share Locks，即S锁）。当数据对象被加上排它锁时，其他的事务不能对它读取和修改。加了共享锁的数据对 ......
volatility 3 内存取证入门——如何从内存中寻找敏感数据
volatility 3 内存取证入门——如何从内存中寻找敏感数据 上面说的思路，我自己在本机验证下，首先，我在虚拟机里使用IE登录我的qq邮箱，如下： 我自己登录IE的进程是2052，虚拟机dump vmem文件以后，vol3下： python .\vol.py -f "D:\Virtual Ma ......
关于如何使用pandas将不同的数据写入到同一个Excel的不同Sheet表中
笔者在之前使用python将数据写入到Excel表格中，一般都只需要写入一张Sheet表中就可以了 因最近一个小的需求，需要将不同的大列表数据写入到不同的Sheet表中 这样，再使用之前的 pandas.DataFrame(content_list)，然后.to_excel("./xxxxx.xls ......
Azure DevOps Server 数据还原方式三：增量还原
Contents1. 概述2. 操作方式2.1 创建共享文件夹，并将备份文件复制到共享文件夹中2.2 还原数据3 验证还原的数据库3.1 方式一：核对工作项所在的表的数据3.2 方式二：将数据库配置到应用层，在应用中验证数据4. 常见问题：4.1 不能使用\localhost作为共享文件夹4.2 还 ......
电商产品评论数据情感分析
# 代码12-1 评论去重的代码 import pandas as pd import re import jieba.posseg as psg import numpy as np # 去重，去除完全重复的数据 reviews = pd.read_csv("D:/school/three/bel ......
【统计数据分析专论】01-Revisiting linear regression 重新审视线性回归
Revisiting linear regression 重新审视线性回归 课件翻译 Linear regression 线性回归 最经典的统计模型之一，但仍被广泛使用 用线性函数建模输入输出关系 $$ y_{i}=\beta_1 x_{i 1}+\beta_2 x_{i 2}+\cdots+\be ......
MNIST 数据集训练及测试代码
简单概念 MNIST 是一个手写体数字的图片数据集，统计了来自 250 个不同的人手写数字的图片。该数据集可以通过算法，实现机器对手写数字的识别。 训练代码 import torch from torchvision import transforms, datasets from torch.ut ......
python学习笔记8（json数据格式、pycharts简单折线图）
1. json json是一种轻量级的数据交互格式，可以以json指定的格式去组织和封装数据； json本质上是一个带有特定格式的字符串； json负责不同编程语言中的数据传递和交互； 1.1python数据与json数据相互转化 引入json模块 import json 1.1.1python数据 ......
23 网络数据在内核中流转
一次具体的网络收发过程： 发送过程： 应用程序准备好数据，调用用户态下的库函数，调用系统API接口函数，进入到内核态；内核态对应的系统服务函数会复制应用程序的数据到内核的内存空间中，然后将数据移交给网络协议栈，在网络协议栈中将数据层层打包；最后，包装好的数据会交给网卡驱动，网卡驱动程序负责将打包好的 ......
nginx配置导致过长数据截断问题
使用js fetch请求php的时候，出现了The operation was abort SyntaxError: JSON.parse: unterminated string at line xxx of the JSON data错误，nginx日志出现了2022/04/09 18:58:1 ......
ZooKeeper 避坑指南： ZooKeeper 3.6.4 版本 BUG 导致的数据不一致问题
ZooKeeper 作为分布式系统的元数据中心，对外服务的数据一致性需要得到很好的保证，但是一些老版本的 ZooKeeper 在一些情况下可能无法保证数据的一致性，导致依赖 ZooKeeper 的系统出现异常。 ......
电商产品评论数据情感分析
# 代码12-1 评论去重的代码 import pandas as pd import re import jieba.posseg as psg import numpy as np # 去重，去除完全重复的数据 reviews = pd.read_csv("D:/JupyterLab-Porta ......
java基于springboot+vue非前后端分离的影城管理系统、影院销售管理系统，附源码+文档+PPT+数据库
1、项目介绍 本影城管理系统主要包括二大功能模块，即用户功能模块和管理员功能模块。 （1）管理员模块：系统中的核心用户是管理员，管理员登录后，通过管理员功能来管理后台系统。主要功能有：首页、个人中心、用户管理、电影类型管理、放映厅管理、电影信息管理、购票统计管理、系统管理、订单管理等功能。 用户前台 ......
22 URL到网卡：网络数据流动
输入URL，从一个请求到响应都发生了什么事? 常规网络交互过程：1、从客户端发起网络请求，用户态的应用程序会生成HTTP请求报文，并通过DNS协议查找到对应的远端 IP地址；2、在套接字生成以后进入内核态，游览器会委托操作系统内核协议栈中的上半部分，即TCP/UDP协议发起连接请求；3、然后由协议栈 ......
kissat分析01_基本数据结构02_solver
solver在internal.h中定义 下面从使用的角度来了解solver个主要数据成员 assign.c中几个函数 static inline void kissat_assign (kissat * solver, #ifdef INLINE_ASSIGN value * values, as ......
HJ25 数据分类处理
判断一个输入行是否含有另一个输入行字符，并记录输出 1 ''' 2 测试案例 3 输入 4 15 123 456 786 453 46 7 5 3 665 453456 745 456 786 453 123 5 5 6 3 6 3 0 6 输出 7 30 3 6 0 123 3 453 7 3 9 ......
harbor数据库迁移
harbor数据库迁移(相同版本间迁移) 一、数据导出（旧harbor机） 1、进入数据库容器 [root@localhost ~]#docker exec -u root -it d53efe26b3da /bin/bash1 2、导出registry数据库 **root [** / **]#** ......
Win11系统，VS2022编写数据库程序，小体积，绿色单文件，支持密码保护，XP到Win11都能运行
在WIN11中用VS2022编写 小体积的绿色单文件,支持密码保护，XP到WIN11都能运行的数据库程序 1. 用VC60 建立一个Win32工程，VC60建立的工程默认是字节型的。2. 用VS2010 读取并转换为2010格式，再用VS2022 读取，选择SDK和平台都不升级3. 把 wxsqli ......
数据交换格式：XML、JSON
XML XML是什么 可扩展标记语言（XML）是存储和交换数据的重要方法。它文档的形式类似于HTML，不过比HTML低级，都是标签里放内容。XML只包含少量的预定义标签，其他都由程序员来定义，只要数据的读者和编写者都知道标签的含义，标签就可以包含任何设计者希望的有用信息。XML的标签有单双，双标签包 ......
随机造数据的技巧总结
以下是一个简单的使用 C++11 新特性生成随机数数据的程序示例： #include <iostream> #include <random> // 引入随机数生成器的头文件 using namespace std; int main(){ // 创建 C++11 随机数生成器 mt19937_64 ......
【pytorch】土堆pytorch教程学习（五）torchvision 中的数据集的使用
torchvision 中的数据集使用 在torchvision.datasets模块中提供了许多内置的数据集。 内置的数据集有 CIFAR10、MNIST、COCO等，更多可进入 pytorch 官网查看。 所有内置的数据集都继承了 torch.utils.data.Dataset 类，并且实现了 ......