数据恢复 常用 方式 环境
数据中台概述
一、大数据平台组件总结 1、数据存储 HDFS，HBase，Kudu等 2、数据收集和迁移 常用技术：flume，canal，sqoop，datax，waterdrop 等 3、任务调度 常用技术：azkaban，oozie，dophinscheduler，airflow 等 4、部署运维 常用技术 ......
开源数据收集引擎 Logstash 讲解和示例讲解
目录一、概述二、Logstash 架构二、ElasticSearch 部署1）部署 docker2）部署 docker-compose3）创建网络4）修改 Linux 句柄数和最大线程数5）下载部署包开始部署三、Logstash 部署与配置讲解1）下载Logstash安装包2）解压安装包文件3）不同 ......
数据库复习总结（并发控制一）
目录前言3种并发异常丢失修改（写写异常）不可重复读（包括幻读情况 读写异常）脏读为处理并发异常出现的机制--加锁加锁规范--封锁协议一级封锁协议（解决修改丢失）举例二级封锁协议（解决修改丢失，脏读）举例三级封锁协议（解决修改丢失，脏读，不可重复读）举例加锁产生问题活锁死锁解决办法针对活锁针对死锁一次 ......
什么是计算机科学和数据管理领域的 source of truth
"Source of Truth"（真实源）在计算机科学和数据管理领域中，是一个非常重要的概念。简单来说，"Source of Truth" 是指在一个系统或者应用中，为了确保数据的一致性和准确性，设置的一个权威性的数据来源或数据存储位置。 在一个系统里，可能会有很多不同的数据源，这些数据源可能会有 ......
气象数据中心梳理
气象数据中心实战项目 目录气象数据中心实战项目项目介绍开发环境项目框架服务程序常驻后台服务程序的调度守护进程的实现数据采集子系统&数据交换子系统ftp客户端下载模块ftp客户端下载模块数据处理和统计系统数据入库子系统数据同步子系统刷新同步模块增量同步模块数据管理子系统数据清理模块数据迁移模块数据服务 ......
（私人lora数据准备）MJ数据转lora训练的处理流程
1.【删除乱码并打标签】删前缀（用户名），删后缀（乱码），加统一标签，并打开excel微调。（输入项为1.单个文件夹地址 2.需要文件夹内加上的标签名） *注意：此时若要加多个标签，请用英文逗号“,”隔开。 import os import openpyxl import re UNWANTED_U ......
Unity学习笔记--数据持久化XML文件(1)
XML相关 Xml是可拓展标记语言，一种文件格式。我们使用xml来完成对数据持久化的存储。等待我们有一程序运行结束之后，将内存中的数据进行保存，（保存在硬盘/服务器）实现对数据的持久化存储。 xml文件的读取和保存以及修改 要点： XMl文件的加载 XML文件节点的查找访问 XML文件节点内容的读取 ......
rsync+inotify数据传输
rsync+inotify数据传输 说明与名称 IP 应用 操作系统 源端：server 192.168.58.146 rsync inotify-tools 脚本 centos7 目标：node 192.168.58.152 rsync centos7 一、在node服务器操作 1. 关闭防火墙与 ......
数据结构线性表
线性表的两种存储结构： 1.顺序存储（线性表若采用链式存储结构时，内存中可用存储单元的地址连续或不连续都可以） 2.链式存储（线性表若采用顺序存储结构时，必须占用一片连续的存储单元） 线性表的顺序存储结构 顺序存储结构在存、读数据时，不管是哪个位置，时间复杂度都是O(1)；而插入或删除时，时间复杂度 ......
linux简单常用命令
1 用户相关 创建新用户、新账号（账户） useradd -m -g 组 新建用户名 -m 自动建立用户家目录 -g 指定用户所在的组，否则会建立一个和用户名同名的组 最好加上 -m，否则没有家目录，还需要一些其他操作，-g可以不加 设置密码 passwd 用户名 Linux下对文件和文件夹切换所有 ......
常用的linux命令 docker常用命令
mkdir 新建目录 rmdir 删除目录 rm只能删除文件，不能删除目录 cp test.txt Documents 进入容器的目录 docker exec -it <container_id_or_name> /bin/bash 挂载容器目录到本地目录 docker run -it -v /ho ......
SQL 中的 NULL 值：定义、测试和处理空数据，以及 SQL UPDATE 语句的使用
SQL NULL 值 什么是 NULL 值？ NULL 值是指字段没有值的情况。如果表中的字段是可选的，那么可以插入新记录或更新记录而不向该字段添加值。此时，该字段将保存为 NULL 值。需要注意的是，NULL 值与零值或包含空格的字段不同。具有 NULL 值的字段是在记录创建期间留空的字段。 如何 ......
Spring_2023_11_20_2 -DI 依赖注入=》构造方式的形式
DI 依赖注入=》构造方式的形式 构造方法的注入，使用实体类对象进行注入 Student类 集合的注入（数组、List、Set、Map） <!-- <bean/> 等同于 new Student() 通过构造方法的形式进行依赖注入 constructor-arg:构造方法参数的注入标签 1. ind ......
数据的查，改，删
# 先讲数据库中的数据全部展示到前端 然后给每一个数据两个按钮 一个编辑一个删除 # 查看def userlist(request): # 查询出用户表里面所有的数据 # 方式1 # data = models.User.objects.filter() # print(data) # 方式2 us ......
pycharm链接数据库 django链接MySQL
# 找到pycharm database选项(三个地方查找) # 选取对应的数据库 下载对应的驱动"""明明链接上了数据库 但是看不到表无法操作这个时候你只需要将刚刚创建的链接删除 重新链接一次即可""" # 1.配置文件中配置DATABASES = { 'default': { 'ENGINE': ......
痞子衡嵌入式：在IAR开发环境下手动拷贝自定义程序段到RAM中执行的方法
大家好，我是痞子衡，是正经搞技术的痞子。今天痞子衡给大家分享的是IAR下手动拷贝自定义程序段到RAM中执行的方法。 在痞子衡旧文 《IAR下RT-Thread工程自定义函数段重定向失效分析》 里，我们知道 IAR 链接器处理自定义程序段重定向是有一些限制的，只要用户重写了底层 __low_level ......
Redis：Key-Value的NoSQL数据库
Redis：Key-Value的NoSQL数据库（基础） 主要内容： 数据库分类 Redis入门 客户端连接Redis Redis数据类型及操作 Springboot整合Redis Spring Cache 学习目标： 知识点 要求 数据库分类 熟悉 Redis使用场景 熟悉 Redis下载与安装 ......
【C++】【OpenCV】【NumPy】图像数据的访问
接上一随笔，这次学习针对图像数据的访问（Numpy.array） 在OpenCV中，使用 imread() 方法可以访问图像，其返回值是一个数组，而根据传入的不同图像，将会返回不同维度的数组。 针对返回的图像数据，即数组，我们是可以进行操作的： 1 import cv2 2 3 # MyPic.pn ......
sodick 成型机 沙迪克 数据采集 制程参数
1、工业电脑主机设置2个共享文件夹，比如在D盘：EXPORT和DATA ，名字不能改。新建Window登录账号sodick和plustech，密码111 手册中有账号密码 2、sodick机台设置成型机的ip和工业电脑主机的ip，保证在同一个网段。sodick自己会放共享里面写文件。账号密码如上面， ......
Docker自定义网段实现容器间的互访【开发环境中】
我们都知道docker容器之间是互相隔离的，不能互相访问，但如果有些依赖关系的服务要怎么办呢,所以自定义网段实现容器间的互访。 Docker 安装好之后默认会创建三个虚拟网卡，可以使用 docker network ls 命令来查看，三个虚拟网卡和 VMware 的类似。 bridge 是默认的网卡 ......
day01 容器化的几种架构方式-pod创建过程原理-Scheduler的多种调度策略总结 （1.1-1.3.2 ）
一、容器化的几种架构方式 1.、容器的由来及变迁史 Docker->Docker-compose ->Docer swarm ->Kubernetes 2、微服务容器化的几种解决方案 特性 Docker Swarm Kubernetes 安装和集群配置 安装简单，集群不强大 但在很复杂，集群非常强大 ......
不同数据库创建用户,数据库的SQL语句整理
不同数据库创建用户,数据库的SQL语句整理 MySQL mysql -uroot -p # 输入密码登录数据库 CREATE DATABASE IF NOT EXISTS xxxdata_someinfo DEFAULT CHARSET utf8mb4 ; create user 'xxx_some ......
yolo v5 下载新数据集被防火墙proxy挡住，如何设置proxy. torch.hub.download_url_to_file问题；
当我们想运行yolo v5时候，我们发现有的时候，由于网关问题，proxy会成为阻碍。例如如下错误； 将代码如下修改，就能改好： 1. 原始代码： 2. 增加proxy设置： import urllib.request import torch.hub # 设置代理信息 proxy_support ......
关于群晖下面存储池硬盘被错误标记的处理方式
群辉7.x系统下，如果使用了软RAID1，在重建时有可能会出现重建失败，HDD磁盘被标记为错误的情况，这种情况下，很有可能磁盘本身没有问题，SMART也能检测通过，但是系统存储了相关的错误日志，导致磁盘无法重新初始化，搜了一圈没找到解决方案，最终在外网找到解决方法，如下： SSH连接到NAS（需要事 ......
软件测试/人工智能|测试数据很头疼，ChatGPT帮你造
简介 在我们完成了测试用例的编写之后，我们就需要造不同的测试数据去进行实际的测试工作了，我们要让我们的测试尽可能地覆盖所有的情况，就需要我们根据测试用例的设计方法，去设计更多的测试数据，执行更多地测试用例，使得测试更加完善。在造测试数据的时候，ChatGPT当然也可以帮我们很多。 测试数据 测试数据 ......
请求扩展，蓝图 ， flask-session，数据库连接池，wtforms ，flask-script，信号，flask-cache
1 请求扩展🪐 #1 before_request:请求来了会走，依次从上往下执行，但是如果其中一个返回了 响应对象 ,后续的就不走了，视图函数也不走而来 #2 after_arequest：请求走了，会从下往上依次执行，它必须返回 响应对象 假设 ： 写了3个before_request 第二个 ......
Windows部署Java环境
下载Java开发工具包JDK（Java Development Kit） 进入Java官网下载页。 找到需要的JDK版本，选择Windows系统，在Downloads下，单击下载链接。 双击运行JDK安装包。 单击下一步，然后修改安装目录，再单击下一步。 等待安装完成，单击关闭。 修改环境变量，将J ......
Golang VScode 开发环境搭建
写在前面 工作遇到简单整理 理解不足小伙伴帮忙指正 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》 安装插件下载 安装选择合适的版本 htt ......
Orcal数据库的开始创建
sqlplus /@course as sysdba; show con_name; show pdbs; sqlplus /@orcl as sysdba;中有可插入数据库 alter session set container=orclpdb; create user scott identif ......