常用 数据库 数据python
数据中台概述
一、大数据平台组件总结 1、数据存储 HDFS，HBase，Kudu等 2、数据收集和迁移 常用技术：flume，canal，sqoop，datax，waterdrop 等 3、任务调度 常用技术：azkaban，oozie，dophinscheduler，airflow 等 4、部署运维 常用技术 ......
Python中的UnboundLocalError是什么错误？怎样解决？详解全局变量、局部变量与关键字global
解决报错：UnboundLocalError: cannot access local variable 'XXX' where it is not associated with a value. 详解Python中，全局变量与局部变量的区别，以及何时需要使用关键字global. ......
开源数据收集引擎 Logstash 讲解和示例讲解
目录一、概述二、Logstash 架构二、ElasticSearch 部署1）部署 docker2）部署 docker-compose3）创建网络4）修改 Linux 句柄数和最大线程数5）下载部署包开始部署三、Logstash 部署与配置讲解1）下载Logstash安装包2）解压安装包文件3）不同 ......
数据库复习总结（并发控制一）
目录前言3种并发异常丢失修改（写写异常）不可重复读（包括幻读情况 读写异常）脏读为处理并发异常出现的机制--加锁加锁规范--封锁协议一级封锁协议（解决修改丢失）举例二级封锁协议（解决修改丢失，脏读）举例三级封锁协议（解决修改丢失，脏读，不可重复读）举例加锁产生问题活锁死锁解决办法针对活锁针对死锁一次 ......
什么是计算机科学和数据管理领域的 source of truth
"Source of Truth"（真实源）在计算机科学和数据管理领域中，是一个非常重要的概念。简单来说，"Source of Truth" 是指在一个系统或者应用中，为了确保数据的一致性和准确性，设置的一个权威性的数据来源或数据存储位置。 在一个系统里，可能会有很多不同的数据源，这些数据源可能会有 ......
气象数据中心梳理
气象数据中心实战项目 目录气象数据中心实战项目项目介绍开发环境项目框架服务程序常驻后台服务程序的调度守护进程的实现数据采集子系统&数据交换子系统ftp客户端下载模块ftp客户端下载模块数据处理和统计系统数据入库子系统数据同步子系统刷新同步模块增量同步模块数据管理子系统数据清理模块数据迁移模块数据服务 ......
（私人lora数据准备）MJ数据转lora训练的处理流程
1.【删除乱码并打标签】删前缀（用户名），删后缀（乱码），加统一标签，并打开excel微调。（输入项为1.单个文件夹地址 2.需要文件夹内加上的标签名） *注意：此时若要加多个标签，请用英文逗号“,”隔开。 import os import openpyxl import re UNWANTED_U ......
Unity学习笔记--数据持久化XML文件(1)
XML相关 Xml是可拓展标记语言，一种文件格式。我们使用xml来完成对数据持久化的存储。等待我们有一程序运行结束之后，将内存中的数据进行保存，（保存在硬盘/服务器）实现对数据的持久化存储。 xml文件的读取和保存以及修改 要点： XMl文件的加载 XML文件节点的查找访问 XML文件节点内容的读取 ......
rsync+inotify数据传输
rsync+inotify数据传输 说明与名称 IP 应用 操作系统 源端：server 192.168.58.146 rsync inotify-tools 脚本 centos7 目标：node 192.168.58.152 rsync centos7 一、在node服务器操作 1. 关闭防火墙与 ......
数据结构线性表
线性表的两种存储结构： 1.顺序存储（线性表若采用链式存储结构时，内存中可用存储单元的地址连续或不连续都可以） 2.链式存储（线性表若采用顺序存储结构时，必须占用一片连续的存储单元） 线性表的顺序存储结构 顺序存储结构在存、读数据时，不管是哪个位置，时间复杂度都是O(1)；而插入或删除时，时间复杂度 ......
linux简单常用命令
1 用户相关 创建新用户、新账号（账户） useradd -m -g 组 新建用户名 -m 自动建立用户家目录 -g 指定用户所在的组，否则会建立一个和用户名同名的组 最好加上 -m，否则没有家目录，还需要一些其他操作，-g可以不加 设置密码 passwd 用户名 Linux下对文件和文件夹切换所有 ......
常用的linux命令 docker常用命令
mkdir 新建目录 rmdir 删除目录 rm只能删除文件，不能删除目录 cp test.txt Documents 进入容器的目录 docker exec -it <container_id_or_name> /bin/bash 挂载容器目录到本地目录 docker run -it -v /ho ......
SQL 中的 NULL 值：定义、测试和处理空数据，以及 SQL UPDATE 语句的使用
SQL NULL 值 什么是 NULL 值？ NULL 值是指字段没有值的情况。如果表中的字段是可选的，那么可以插入新记录或更新记录而不向该字段添加值。此时，该字段将保存为 NULL 值。需要注意的是，NULL 值与零值或包含空格的字段不同。具有 NULL 值的字段是在记录创建期间留空的字段。 如何 ......
数据的查，改，删
# 先讲数据库中的数据全部展示到前端 然后给每一个数据两个按钮 一个编辑一个删除 # 查看def userlist(request): # 查询出用户表里面所有的数据 # 方式1 # data = models.User.objects.filter() # print(data) # 方式2 us ......
pycharm链接数据库 django链接MySQL
# 找到pycharm database选项(三个地方查找) # 选取对应的数据库 下载对应的驱动"""明明链接上了数据库 但是看不到表无法操作这个时候你只需要将刚刚创建的链接删除 重新链接一次即可""" # 1.配置文件中配置DATABASES = { 'default': { 'ENGINE': ......
Python小白入门指南：避免踩雷的10大错误！
hello，大家好！新手小白踏入 Python 的大门有点像冒险，但别担心，我已经整理了一个超实用的入门指南，帮你规避学习过程中的十大雷区。这里有关于 Python 的错误你应该注意的建议，一起来看看吧！ 1. 拼写错误 小心 prin 和 print 的奇妙之旅！ # 错误示例 prin("Hel ......
Redis：Key-Value的NoSQL数据库
Redis：Key-Value的NoSQL数据库（基础） 主要内容： 数据库分类 Redis入门 客户端连接Redis Redis数据类型及操作 Springboot整合Redis Spring Cache 学习目标： 知识点 要求 数据库分类 熟悉 Redis使用场景 熟悉 Redis下载与安装 ......
Python123第五周作业
import turtleimport datetimeimport timedef draw_gap(): # 绘制数码间隔 turtle.penup() turtle.fd(5)def draw_line(draw): # 绘制单段数码管 draw_gap() turtle.pendown() ......
【C++】【OpenCV】【NumPy】图像数据的访问
接上一随笔，这次学习针对图像数据的访问（Numpy.array） 在OpenCV中，使用 imread() 方法可以访问图像，其返回值是一个数组，而根据传入的不同图像，将会返回不同维度的数组。 针对返回的图像数据，即数组，我们是可以进行操作的： 1 import cv2 2 3 # MyPic.pn ......
sodick 成型机 沙迪克 数据采集 制程参数
1、工业电脑主机设置2个共享文件夹，比如在D盘：EXPORT和DATA ，名字不能改。新建Window登录账号sodick和plustech，密码111 手册中有账号密码 2、sodick机台设置成型机的ip和工业电脑主机的ip，保证在同一个网段。sodick自己会放共享里面写文件。账号密码如上面， ......
不同数据库创建用户,数据库的SQL语句整理
不同数据库创建用户,数据库的SQL语句整理 MySQL mysql -uroot -p # 输入密码登录数据库 CREATE DATABASE IF NOT EXISTS xxxdata_someinfo DEFAULT CHARSET utf8mb4 ; create user 'xxx_some ......
yolo v5 下载新数据集被防火墙proxy挡住，如何设置proxy. torch.hub.download_url_to_file问题；
当我们想运行yolo v5时候，我们发现有的时候，由于网关问题，proxy会成为阻碍。例如如下错误； 将代码如下修改，就能改好： 1. 原始代码： 2. 增加proxy设置： import urllib.request import torch.hub # 设置代理信息 proxy_support ......
软件测试/人工智能|测试数据很头疼，ChatGPT帮你造
简介 在我们完成了测试用例的编写之后，我们就需要造不同的测试数据去进行实际的测试工作了，我们要让我们的测试尽可能地覆盖所有的情况，就需要我们根据测试用例的设计方法，去设计更多的测试数据，执行更多地测试用例，使得测试更加完善。在造测试数据的时候，ChatGPT当然也可以帮我们很多。 测试数据 测试数据 ......
请求扩展，蓝图 ， flask-session，数据库连接池，wtforms ，flask-script，信号，flask-cache
1 请求扩展🪐 #1 before_request:请求来了会走，依次从上往下执行，但是如果其中一个返回了 响应对象 ,后续的就不走了，视图函数也不走而来 #2 after_arequest：请求走了，会从下往上依次执行，它必须返回 响应对象 假设 ： 写了3个before_request 第二个 ......
Python——第三章：函数的定义
函数: 对某一个特定的功能或者代码块进行封装. 在需要使用该功能的时候直接调用即可 定义: def 函数的名字(): 被封装的功能或者代码块->函数体 调用: 函数的名字() 好处: 让程序更加简洁. 代码更加合理 def buy_cai(): # 定义函数 print("1. 打车") print ......
Orcal数据库的开始创建
sqlplus /@course as sysdba; show con_name; show pdbs; sqlplus /@orcl as sysdba;中有可插入数据库 alter session set container=orclpdb; create user scott identif ......
Linux常用命令记录
Linux常用命令记录 系统目录结构 文件与目录管理命令 Linux的文件目录是树状结构，最顶级的目录为根目录/，其他目录是通过挂载将其添加到文件树上，通过解除挂载将其移除。 首先先了解什么是绝对路径和相对路径 绝对路径：从根目录开始的完整路径描述，通常以 / 开头，从根目录root一直到目标目录 ......
idea连接mysql数据库
关于配置环境的崩溃心理历程： （我哭） 跟着黑马连接本地数据库的时候，测试连接显示不成功 启动命令行，在命令行输入：mysql -uroot -p**** 最后给我返回的是：ERROR 2003 (HY000): Can't connect to MySQL server on 'localhost ......
聊聊分布式 SQL 数据库Doris(一)
MPP MPP:Massively Parallel Processing, 即大规模并行处理. 一般用来指多个SQL数据库节点搭建的数据仓库系统. 执行查询的时候, 查询可以分散到多个SQL数据库节点上执行, 然后汇总返回给用户. Doris Doris 作为一款开源的 MPP 架构 OLAP 高 ......
大数据应用算法作业一
假设有一个包含90个数据的数据流，该数据流一共有5个不同的元素，即(x1,x2,x3, X4,x5),其中×1出现的频率为50，x2出现的频率为10，x3出现的频率为10，x4出现的频率为10，x5出现的频率为10。考虑在该数据流上运行参数为k=2的Misra-Gries算法，尝试解决以下问题： ( ......