数据 持久性 数据备份 分布式
golang 使用redis设置分布式锁 demo
内容来自对 chatgpt 的咨询 分布式锁是在多个节点上运行的应用程序中协调工作的一种常用方法，而Redis是实现分布式锁的流行选择。以下是使用Go语言和github.com/go-redis/redis库来设置Redis分布式锁的一个简单示例： 首先，确保你已经安装了该库： go get -u ......
MySQL备份与恢复
一、MySQL 日志管理 MySQL 的日志默认保存位置为 /usr/local/mysql/datavim /etc/my.cnf[mysqld]##错误日志，用来记录当MySQL启动、停止或运行时发生的错误信息，默认已开启log-error=/usr/local/mysql/data/mysql ......
JMeter 分布式集群远程压测及搭建常见问题
1、JMeter可以在以下场景下使用分布式远程压测： 性能测试：JMeter可以模拟大量用户并发访问，进行性能测试。当需要模拟成千上万的用户请求时，单台机器可能无法承受如此大的负载，此时可以使用分布式远程压测来将测试负载分发到多台机器上，提高测试的效率和准确性。 稳定性测试：在一段时间内持续发送请求 ......
【4.0】Pandas Panel三维数据结构
【一】三维数据结构 Panel 结构也称“面板结构”，它源自于 Panel Data 一词，翻译为“面板数据”。 如果您使用的是 Pandas 0.25 以前的版本，那么您需要掌握本节内容，否则，作为了解内容即可。 自 Pandas 0.25 版本后， Panel 结构已经被废弃。 Panel 是一 ......
数据结构
链表的建立 #include <bits/stdc++.h> //#pragma GCC optimize("Ofast") #include <iostream> #include <cstdio> #include <cstring> #include <algorithm> #include ......
Docker容器数据卷（命令的方式）
Docker容器数据卷（持久化数据 + 数据共享） 具体操作： 1-创建连接： 1- docker images //查看镜像名字 2- （小提示：pwd可以查看绝对路径） 公式：docker run -it -v 宿主机绝对目录(文件) : 容器内绝对目录（文件） [镜像名字] 公式2：docke ......
crash —— 获取系统内存使用统计数据
crash> kmem -i PAGES TOTAL PERCENTAGE TOTAL MEM 197646761 754 GB FREE 33983015 129.6 GB 17% of TOTAL MEM USED 163663746 624.3 GB 82% of TOTAL MEM SHAR ......
MySQL数据库备份命令
转载自：https://www.cnblogs.com/acpp/archive/2010/01/06/1640542.html mysqldump -hhostname -uusername -ppassword databasename > backupfile.sql备份MySQL数据库为带删 ......
传输过中如何保证 数据既能不被篡改，又能不被窃取
公加私解，私加公解 公钥加密私钥解密，只能保证数据不会篡改，但是可以被窃取 私钥加密公钥解密，只能保证数据不会窃取，但是可能被整个替换 签名和信封 数据取摘要，然后私钥加密这种做法可以加快速度，保证数据不被篡改，这种方式叫做签名 数据取摘要，然后公钥加密这种方式可以加快速度，保证数据不被窃取，这种方 ......
crash —— 如何知道哪些数据结构内嵌了指定的数据结构或者内嵌了指向指定数据结构的指针
需求 有时我们有这样的需求，比如我们知道了结构体task_struct，然后我们又想知道内核中有哪些数据结构中包含了task_struct，或者包含了指向task_struct的指针。 做法 用whatis -m可以做到： crash> whatis -m task_struct SIZE TYPE ......
crash —— 查看数据结构内部成员的偏移量和地址
whatis 如果提前知道数据类型的定义，可以直接用struct、union等，否则可以直接用whatis。 crash> whatis -o page struct page { [0] unsigned long flags; union { struct { union { [8] struc ......
多表数据动态图表
问题：一簿若干工作表，每表结构相同，现需要制作动态图表，通过勾选等方式动态显示不同维度的数据。 解决思路： 第一步：多表合并 第二步：打开新生成的合并表中的“总表”工作表 第三步：删除A列 第四步：制作数据透视图 第五步：通过勾选或勾销字段的方式实现动态显示，或插入切片器后以点选切片器的方式实现动态 ......
crash —— 如何查看数据是什么类型以及函数原型
在crash中可以用whatis命令查看数据类型信息以及函数的原型。 如果想知道某个数据是什么类型那么可以用下面的方法： 查看结构体的定义 crash> whatis mm_struct struct mm_struct { struct { struct maple_tree mm_mt; uns ......
Linux数据库备份：高效使用mysqldump工具
在现代企业管理中，数据库是企业重要的数据资产linux 备份数据库，因此备份数据库显得尤为重要。Linux系统下有各种不同的工具可以用于备份数据库，其中最常用的是 mysqldump 工具。在本文中，我们将介绍如何使用 mysqldump 工具备份 MySQL 数据库，并探讨其他备份工具和备份策略。 ......
使用sqoop export命令将hive数据导入mysql
描述一下 因为我前两天的测试里面，用的是另外一种方法，所以今天想要尝试一下sqoop export的方法，这个方法我之前也试过，但是一直报错，但是！我又来啦！！！ 相关步骤 自己设置一个数量不多的csv文件： 然后按照之前的步骤：上传，导入数据库： 然后在mysql里面同时创建一个与hive数据库中 ......
2023数据采集与融合技术实践第一次作业
作业①: 要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的数据，屏幕打印爬取的大学排名信息。 输出信息： 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 综合 ......
【基本数据结构】队列
一、先进先出（FIFO） 队列是一种操作受限的线性表，只允许在队头进行删除操作，在队尾进行添加操作。向队尾添加元素叫做入队，从队头删除元素叫做出队。 适用场景：对于大部分资源有限的场景，当没有空闲资源时，基本上都可以通过队列来实现请求排队。比如，线程池、连接池、消息队列等。 二、队列的实现 队列可以 ......
解密TCP连接断开：四次挥手的奥秘和数据传输的安全
本文将介绍TCP连接的断开过程，重点关注四次挥手的过程和状态变迁，以及为什么挥手需要四次和为什么需要TIME_WAIT状态。在TCP连接断开的过程中，双方需要发送FIN和ACK报文来确保数据的可靠传输和连接的正确关闭。挥手需要四次的原因是为了确保数据的完整传输和连接的可靠关闭。 ......
数据通信与网络必背考点（黑书）
补充部分 数据通信与网络必背考点（黑书） 填空题 1. 数据通信效率取决于 传递性、准确性、及时性、抖动性。2. 数据通信系统的组成 报文、发送方、接收方、传输介质、协议。3. 网络准则为 性能、可靠性、安全性。4. 协议三要素为 语义、语法、时序。5. 4层地址为 物理地址、逻辑地址、端口地址、专 ......
用okhttp提交post数据（json，java,后端netcore(frombody)）
用okhttp提交post数据（json，java,后端netcore(frombody)） 2023年09月23日 点提交按钮，把拼接好的JSON字符串提交到后端接口,okhttp的github上列出来的示例就是提交POST JSON字符串的，照抄就是了，这里只是把自己写的代码列出来 https: ......
黄靖—102102151 数据采集与融合第一次实践课
作业一 （1）要求： 用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的数据，屏幕打印爬取的大学排名信息。 (2) 下面给出代码实现： import requests impor ......
数据库
redis + mysql，对这一块没有像c++那么上心，后端必备技术栈，涉及资源简单出包，笔记记录同样不好记录 黑马不错的redis，适合入门 黑马mysql同上 小林coding八股，但不错的mysql redis回顾[ 小孩子mysql进阶书籍必神书 redis书籍，经验之谈不错 笔记记录补充 ......
.Net Linq语句去除A集合中存在的B集合数据
这算是一个取巧的场景,在添加数据库的时候,存在一种场景,主数据表的Id和关系表的Id关联,那么在添加子表的时候,为了避免重复,就可以使用到,当然避免重复的方法有很多,这算是一种偷懒的方式,以下是用过C#代码模拟场景,本片随笔为了记录..... using System.Collections.Gen ......
crash —— 获取系统的磁盘IO统计数据
crash的dev命令可以获取系统磁盘IO的统计数据。 获取所有磁盘的IO统计数据 crash> dev -d MAJOR GENDISK NAME REQUEST_QUEUE TOTAL ASYNC SYNC 8 ffff88de95d51000 sdm ffff88de94a90000 6537 ......
Hive的使用以及如何利用echarts实现可视化在前端页面展示(三)---hive数据利用sqoop导出到mysql数据库里
1、安装sqoop 我的版本 jdk1.8 hadoop3.1.3 sqoop1.4.6 基本上就安装这个版本都没问题，如果是执行连接数据库命令时报错：java.lang.NoClassDefFoundError;报错，在lib下再放一个commons-lang-2.6.jar即可， sqoop安装 ......
DTS Data Transfer Service 数据传输服务是什么
DTS（Data Transfer Service，数据传输服务）是一种用于在不同数据库之间迁移数据的服务。 DTS可以帮助用户在不同数据库、不同数据存储之间传输数据，以满足业务需求和技术升级等场景。 DTS通常支持多种源数据库和目标数据库之间的数据迁移，如MySQL、PostgreSQL、Orac ......
数据类型以及可能的面试题
数据类型以及可能的面试题 基础类型 int zs = 30; long num = 30L; //这个一般在后面加一个L float f = 0.1f; double d = 0.1; //字符 char str1 = '刘'; //字符只能用单引号 ， 并且只能有一个字符 //字符串 String ......
2023数据采集与融合技术实践作业一
作业① 1）、实验 代码 import re import urllib.request from bs4 import BeautifulSoup url = "http://www.shanghairanking.cn/rankings/bcur/2020" response = urllib. ......