数据库 数据mysql平台
开发笔记-大数据技术栈-spark基础
Spark是一个快速、通用、可扩展的大数据分析引擎，是集批处理、实时流处理、交互式查询、机器学习与图计算为一体的大数据开源项目。 一、对比MapReduce 1.Hadoop中的job处理流程： 》从hdfs读取数据 》 在map阶段，执行mapper function,然后split到磁盘 》在r ......
编写涉及多个数据库的 MySQL 存储过程注意事项
在编写涉及多个数据库的 MySQL 存储过程时，有一些注意事项需要考虑。以下是一些重要的注意事项： 1. 数据库权限：确保您在存储过程中使用的数据库用户具有足够的权限来访问和操作涉及的所有数据库。这包括对表、视图、存储过程等对象的读取和写入权限。 2. 数据库连接：在存储过程中，您可能需要连接到不同 ......
.NET Evolve数据库版本管理工具
原帖 ：.NET Evolve 数据库版本管理工具 - 宣君 - 博客园 (cnblogs.com) Evolve即.NET领域的Flyway .NET Evolve数据库版本管理工具 1.简介 提到数据库版本管理，Java领域开发首先会想到大名鼎鼎的flyway。但是它不适用.NET领域，那么.N ......
Sentinel-2数据获取及处理
Sentinel-2数据获取及处理 哨兵2号数据简介 哨兵2号（Sentinel-2，高分辨率多光谱成像卫星）是欧洲空间局哥白尼计划下的一个地球观测任务，该任务主要对地球表面进行观测以提供相关遥测服务，例如森林监测、土地覆盖变化侦测、天然灾害管理。Sentinel-2包括2A(2015年6月23日~ ......
Mysql projects表`status` int DEFAULT NULL COMMENT '项目状态：1未开始,2进行中,3已完成,4搁置,5已结项',根据status计算每种状态个数
要根据MySQL中projects表的status字段计算每种状态的数量，你可以使用`GROUP BY`和`COUNT`函数进行分组和计数。 以下是一个示例的查询语句： ```sqlSELECT status, COUNT(*) as countFROM projectsGROUP BY statu ......
DBeaver转储数据库数据报错解决(即免安数据库提取mysqldump.exe)
原因: DBeaver转储数据功能使用的是mysqldump.exe这个工具,本机安装的是mysql5.7,而需要导出的数据库是MariaDB10.5.16,应该对应mysql8,导致出错 解决方法: 当然是换新版本的mysqldump,但是这有个问题,只是为了导出,新装一个数据库实属没有必要,有文 ......
阿里云函数计算FC，连接数据库超时的原因
使用阿里云函数计算，连接sql server 数据库 一直超时 经过分析是sqlserver 版本问题，sql2008r2必须升级到SP3 Microsoft SQL Server 2008 R2 (SP3) - 10.50.6000.34 (X64) Aug 19 2014 12:21:34 Co ......
Linux实现多硬盘数据存储
fdisk -l 查看可用磁盘设备 1 / # fdisk -l 2 Disk /dev/mmcblk1: 7456 MB, 7818182656 bytes, 15269888 sectors 3 238592 cylinders, 4 heads, 16 sectors/track 4 Unit ......
用户案例 | 蜀海供应链基于 Apache DolphinScheduler 的数据表血缘探索与跨大版本升级经验
 ## 导读 蜀海供应链是集销售、研发、采购、生产、品保、仓储、运输、信息、金融为一体的餐饮供应链服务企 ......
快速部署灵活、强大、易用的开源spug 运维平台
Docker安装 vi docker-compose.yml version: "3.3" services: db: image: mariadb:10.8.2 container_name: spug-db restart: always command: --port 3306 --chara ......
准备测试数据
需要在数据库准备100万条数据，进行性能测试。 使用存储过程在MySQL准备测试数据。 ### Q： 你作为一名数据库专家，有两张表，结构如下： CREATE TABLE `user_base` ( `id` bigint(20) NOT NULL, `apply_no` varchar(50) D ......
EDS从小白到专家丨打造数据交换的六边形卫士，让你的数据你做主
你还在担心数据共享后一旦“失控”将爆炸式扩散吗？华为云EDS基于六类策略打造“数据交换六边形卫士”，轻松搞定数据使用控制，让您共享数据再无后顾之忧！ ......
数据结构维护 mex 总结
## [P4137](https://www.luogu.com.cn/problem/P4137) ### solution 1： 我最初做这题是莫队，这是一道练习莫队+值域分块的好题。 莫队的时候记录两个东西，$b_i$ 表示 $i$ 在当前出现的次数，$c_i$ 表示值域第 $i$ 块中**有 ......
另一个开源数据库管理工具HeidiSQL的使用及注意事项(轻量级替代navicate)
1.此工具支持的数据库类型比较有限,主要有 MariaDB, MySQL, Microsoft SQL, PostgreSQL and SQLite 2.此工具占用资源较少,运行速度较快,当然缺点是功能也相对较少,但基本的建表查询等功能都有. 3.可以与DBeaver进行互补,结合使用,比如其导出数 ......
MySQL数据库的DDL语法汇总
# SQL分类 - DDL（数据定义语言）：针对数据库对象结构的操作，如：数据库、表、视图、索引等 - DML（数据操纵语言）：对数据库对象中的数据进行操作，比如数据的增删改查 - DCL（数据控制语言）：授权及取消授权等 - TCL（事务控制语言）：对事务的控制，如事务的提交及回滚 # 一、DDL ......
postgresql 通过dblink连接其他数据库表
1、直接连接方式#创建连接create extension if not exists dblink; #查询SELECT * FROM dblink ( 'host=172.17.115.116 port=3306 dbname=test user=root password=newdd789*' ......
Redis数据库学习
Redis 数据库的存储格式就有点像Map集合，有key-value，一个key指向一个value。 下载和安装 链接: https://pan.baidu.com/s/174vGmyAcUwaIvl4FgXRfnA?pwd=1234 提取码: 1234 解压后文件夹的内容： 然后在当前目录下运行c ......
直播电商平台开发，自定义日期区间选择器组件
直播电商平台开发，自定义日期区间选择器组件 <!-- * @Description: 自定义日期区间选择器 * @Author: knight * @Date: 2022-10-08 09:39:46 * @LastEditTime: 2022-10-08 17:03:39 * @LastEdito ......
mysql常见问题
1 ERROR 2059 (HY000): Authentication plugin 'caching_sha2_password' cannot be loaded: linux上连接docker上面的mysql,安装客户端： sudo yum install mysql 设置环境变量： exp ......
升讯威在线客服系统的并发高性能数据处理技术：高性能TCP服务器技术
客户组织多名客服上线后，所有员工**同一时间**打开访客页面**疯狂不停**的给在线客服发消息，系统稳定**无异常无掉线**，客服回复消息正常。消息**实时到达**无任何延迟。我会通过一系列的文章详细分析升讯威在线客服系统的并发高性能技术是如何实现的，使用了哪些方案以及具体的做法。 ......
[数据库] SQL特定查询场景之时间段切分方法
# 1 序言 大数据项目、数据分析场景中，经常遇到需要切分时段的需求。 如下是一些项目上的经验总结。 # 2 实时数仓即席查询场景的解决方法 ## 2.1 函数拼接法 + 方法特点： > + 时间数据以`时间戳`形式存储在数据库，而非以`时间字符串` > + 查询时**实时运算时间段** >> 基于 ......
[转]Mysql中普通索引key 、主键索引(primary key) 、唯一索引(unique key)与index区别
原文地址:Mysql中普通索引key 、主键索引(primary key) 、唯一索引(unique key)与index区别 - 元小疯 - 博客园 一、索引的定义和由来： 索引被用来快速找出在一个列上用一特定值的行。没有索引，MySQL不得不首先以第一条记录开始并然后读完整个表直到它找出相关的行 ......
linux 安装mysql
官网下载地址 https://downloads.mysql.com/archives/community/ 我的是centos7 下载的是这个 2.上传到服务器，解压 # 在当前目录下（mysql）下创建一个 mysql-8.0.33 文件夹 mkdir mysql-8.0.33 # 解压安装包到 ......
SpringBoot获取树状结构数据-SQL处理
前言 在开发中，层级数据（树状结构）的获取往往可能是我们一大难点，我现在将自己获取的树状结构数据方法总结如下,希望能给有需要的小伙伴有所帮助！ 一、测试数据准备 /* Navicat Premium Data Transfer Source Server : 本地MySQL-local Source ......
启动mysql数据库
首先确定电脑是否安装mysql 在命令行终端输入以下命令来检查MySQL是否已安装： mysql --version 如果已安装，将会返回MySQL的版本信息，否则需要先安装MySQL。 手动启动mysql 在 此电脑-- 管理 -- 服务和应用程序 -- 服务 -- MySQL 右键启动； 只有先 ......
Tick数据的清洗
程序筛选 测试的品种如下 ''' # 以下日盘交易时间一样 9:00-10:15、10:30-11:30、13:30-15:00 郑商所 日夜盘 'FG401' 21:00-23:00 郑商所 无夜盘 'AP310' 大商所 日夜盘 'i2401' 21:00-23:00 大商所 无夜盘 'jd23 ......
mysql 执行sql 文件
方法一：source命令，登录mysql client执行 use 【库名】;source 【sql脚本文件路径全名】 例如：source /tmp/test.sql 方法二：使用 MySQL 命令行工具 mysql -u username -p < file_name; ......
mysql取最大日期数据
# 1. 使用SELECT语句和ORDER BY子句 SELECT * FROM table_name ORDER BY date_column DESC LIMIT 1; # 2. 使用MAX()函数和SELECT语句 SELECT * FROM table_name WHERE date_col ......
MySQL的Equality Range Optimization of Many-Valued Comparisons
最近新上线的系统中遇到一个SQL，明明可以使用索引，但是发现实际执行并没有使用到索引。SQL的主要特点是where子句中，in判断中有大量的条件。类似如下： select * FROM a WHERE td in ('2023-08-01') and fuid in ('2','3','41','4 ......