数据 持久性 数据备份 分布式
使用Flink完成流数据统计
Flink程序构建的基本单元是stream和transformation（DataSet实质上也是stream）。stream是一个中间结果数据，transformation对数据的加工和操作，该操作以一个或多个stream为输入，计算输出一个或多个stream为结果，最后可以sink来存储数据。 ......
各个数据库存二进制大文件的性能测试
1前言 有个项目软件前端将二进制大文件存在了indexDB,每次给后端传文件（需要传到底层C++进行调用）都会导致内存占用飙升，想着使用前后端都能共同操作的数据库来解决这个内存占用的问题，并且希望这个更具尽可能的轻量，可以嵌入到程序中是最好的，通过一个安装包进行安装。 2各个数据库的性能比较 2 ......
五金厂数据字典
财务数据字典 1.采购计划信息（Purchase Plan Information） 计划ID（Plan ID） 数据类型：整数（Integer） 含义：采购计划的唯一标识符 示例：1001 计划日期（Plan Date） 数据类型：日期（Date） 含义：计划创建的日期 示例：2023-01-15 ......
FTP、U盘等数据安全摆渡方式的6个弊端
数据安全摆渡，即数据在不同的网络之间，进行安全流转。做网间隔离的初衷，就是为了保护数据安全，但是在数据摆渡时，除了安全，企业还是需要考虑其他的要素，比如可靠性、易用性、兼容性等等。而传统的文件摆渡，如U盘、FTP等，已无法满足企业对于数据摆渡的要求了，具体体现在以下6个方面： 1、安全性低。FTP、 ......
权威数据库市场排名出炉，腾讯爆出王炸！
1第一！前天也就是12月6号。全球领先的IT研究和咨询公司IDC发布的《IDC MarketScape：中国分布式关系型数据库 2023年厂商评估》报告（以下称“报告”）显示：腾讯云位居中国分布式关系型数据库“领导者”类别，并在市场份额上取得国内领先成绩。 IDC 大家都知道吧，主要在ICT和科技行 ......
数据库性能优化八大方案
毫不夸张的说咱们后端工程师，无论在哪家公司，呆在哪个团队，做哪个系统，遇到的第一个让人头疼的问题绝对是数据库性能问题。如果我们有一套成熟的方法论，能让大家快速、准确的去选择出合适的优化方案，我相信能够快速准备解决咱么日常遇到的80%甚至90%的性能问题。从解决问题的角度出发，我们得先了解到问题的原因 ......
Excel数据统计分析
 海量的Key-V ......
python原生数据类型（上）
python原生数据类型有int、float、str、tuple、list、set、dict七类，本次随笔介绍了几种类型的定义，同时用实验验证各数据类型之间的嵌套，以实验结果证明各个数据类型的基本特征。 ......
Python Numpy 数据分析常用数学运算
Python 的 NumPy 库是数据分析和科学计算的核心库之一，提供了广泛的数学运算功能，使得处理大型多维数组和矩阵运算变得简单高效。NumPy 是进行数据分析和科学计算的基石，掌握其数学运算功能对于进行有效的数据处理和分析至关重要。本文主要介绍Python Numpy 中数据分析常用数学运算，以 ......
mysql数据库文件丢失恢复---惜分飞
联系：手机/微信(+86 17813235971) QQ(107644445) 标题：mysql数据库文件丢失恢复 作者：惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.] 客户服务器重启,mysql相关数据文件丢失 通过底层工具进行分析,无法正确恢复数据库名字, ......
分布式配置中心
为什么要有分布式配置中心： 1、项目背景 现在有一个项目，使用SSM进行开发的，配置文件的话我们知道是一个叫做application.properties的文件。 #业务参数相关配置 user.register.default.name=小强 user.register.default.sex=男 ......
python使用pymysql连接mysql数据库
# 连接数据库 con = pymysql.connect(host="localhost", port=3306, user="xxx", password="xxxxxx", database="xxx", charset="utf8") cur = con.cursor() cur.execu ......
分布式缓存
分布式系统中常用的缓存方案有哪些？ 客户端缓存：页面和浏览器缓存，APP缓存，H5缓存，localStorage和sessionStorage CDN缓存： 内存存储：数据的缓存 内容分发：负载均衡 nginx缓存：本地缓存，外部缓存 数据库缓存：持久层缓存（mybatis，hibernate多级缓 ......
【数据库】sql server 中的sql语句--增删改查
create database 学生 go use 学生 go CREATE TABLE Student ( Sno char (7) PRIMARY KEY , Sname char (10) NOT NULL , Ssex char (2) check(ssex in('男','女')) , S ......
17-数据库平滑扩容
1. 扩容问题 B+树，一般就三层，上边两层是索引，最后一层是数据记录。 扇区：4k，一页：16k 假设一条数据记录： 1k => 一页可以放16条记录 上面两层，每一个 item 的结构是：[索引 6B, 主键 8B] 16k*1024 = 16384(B) 16384 / (6+8) = 117 ......
Excel数据统计与分析
1. 学习附件中"利用Excel统计分析学生成绩"的内容 2. 我们的成绩计分规则见附件 image1.png 3. 按照上面规则在Excel中计算全班成绩，要求： 得出最高分，最低分，平均分，均方差 用柱状图从最高到最低显示全班成绩 用饼图显示不及格（<60）,及格（大于等于60，小于70），中等 ......
flink事件时间的水印延迟不会导致延迟数据在上一个窗口内
设窗口为5，延迟为3。 假如数据为：0 1 2 5 6 7 3 4 8 则两个窗口为 ： window = TimeWindow{start=0, end=5} 0 1 2 3 4 window = TimeWindow{start=5, end=10} 5 6 7 8 即：5 6 7 的数据不会包 ......
User 什么是结构化、半结构化和非结构化数据
结构化、半结构化和非结构化数据是根据数据的组织和表示形式来分类的，这种分类主要用于描述数据的组织结构和处理方式。 结构化数据（Structured Data）： 定义： 结构化数据是一种具有明确定义和固定格式的数据，通常存储在关系型数据库中，表现为行和列的结构。 特征： 数据的组织和关系在预定义的模 ......
同位素二氧化碳数据记录软件
同位素二氧化碳数据记录软件用于实现同位素二氧化碳分析仪数据的获取与存档，阀箱数据的获取、记录以及阀箱的远程操作，数据的FTP上传等功能。其主操作界面如下： 软件的左侧为操作目录区域，实现显示界面的切换和连接操作及其状态指示。右侧为主显示区域，实现数据展示、配置管理等功能。 左侧为操作按钮和状态显示。 ......
C++学习笔记五：变量与数据类型（Auto类型）
Auto 允许编译器自己来推断变量的类型，这种新功能是在c++11引入的。这个关键字结合for循环使用可以节省变量类型的重复输入。VS Code可以在鼠标移动到变量上之后直接显示变量的类型。 auto var1 {12}; //int auto var2 {13.0}; //double auto ......
精准农业中的大数据和人工智能革命
目录 标题: Big Data and AI Revolution in Precision Agriculture: Survey and Challenges 单位：台湾清华大学 关键词：精准农业，大数据分析，机器学习，可持续农业，智能农业，数字农业 本文通过分析2000-2020年间的主要相关 ......
国际水稻所为你提供了一套免费开源的表型育种数据分析流程
背景 每年国际水稻所（IRRI）的雨养稻育种（Rainfed Rice Breeding,RRB；所谓雨养就是无人工灌溉，仅靠自然降水作为水分来源）计划都会与区域合作伙伴共享耐旱、耐盐、耐热和耐淹的育种种质进行表型评估，从不同地点的几项试验中获得原始表型数据。例如，RRB在2019年从NARES合作 ......
分布式事务
什么是分布式事务？ 对于分布式系统而言，需要保证分布式系统中的数据一致性，保证数据在子系统中始终保持一致，避免业务出现问题。 简单的说，在分布式系统上，一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务节点上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。 举个 ......
分布式锁
为什么需要分布式锁？ 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。我们需要使用互斥操作对共享资源进行保护，即同一时刻只允许一个线程访问共享资源，其他线程需要等待当前线程释放后才能访问。这样可以避免数据 ......
C++学习笔记四：变量与数据类型（布尔型）
今天来整理一下布尔型变量的使用方法 1. 声明和初始化 一个布尔类型的变量占据1 Byte空间，数值0代表false，其他非0数值代表true bool red_light {false}; bool green_light{true}; std::cout << "sizeof(bool) : " ......
Redis的数据类型以及使用场景，看这一篇就够啦
Redis的数据类型以及使用场景，看这一篇就够啦 原创2021-06-20 18:02·猿视野 Redis 数据类型 string String hash HashMap list LinkedList set HashSet sorted_set TreeSet redis 数据存储格式 redi ......
转换考勤系统中的数据（II）（Power Query）
let 源 = Excel.CurrentWorkbook(){[Name="表1"]}[Content], 添加姓名列 = Table.AddColumn(源, "姓名", each if [列10] = "姓名：" then [列5] & [列11] else null), 姓名列填充 = Ta ......