随笔 数据
【视频】Python的天气数据爬虫实时抓取采集和可视化展示
全文链接：http://tecdat.cn/?p=32715 原文出处：拓端数据部落公众号 分析师：Xiaoyang Zhou 本文以天气数据实时抓取和可视化展示为主题，旨在探讨如何使用Python编写程序来实现对天气数据的抓取、可视化和预测。 从中国气象局天气预报网来获取数据 首先，我们需要从中国 ......
从宏基因组测序数据生成宏基因组组装基因组的计算工具
从宏基因组测序数据生成宏基因组组装基因组的计算工具 小组成员及分工 王嘉璐 22020080046：负责摘要、引言部分 王涵 22020080045：负责用于构建mag的上游分析工具部分 王婷 22020080047：负责总结，查找文献，博文整理汇总 1 摘要 微生物本质上与地球上的人类生活有着错综 ......
pg数据库upsert使用
upsert顾名思义是update和insert，即插入的记录存在重复则会更新这条记录，否则就插入；这个语法可以简化我们的操作；upsert是一个简称的术语，并不是标准的sql标志符，因此在不用的数据库体系中表现的语法不一样，在pg数据库中语法为 1.将某个数据更新为输入的值 :Insert int ......
JAVA的springboot+vue学习平台管理系统，校园在线学习管理系统，附源码+数据库+论文+PPT
**1、项目介绍** 在Internet高速发展的今天，我们生活的各个领域都涉及到计算机的应用，其中包括学习平台的网络应用，在外国学习平台已经是很普遍的方式，不过国内的管理平台可能还处于起步阶段。学习平台具有学习信息管理功能的选择。学习平台采用java技术，基于springboot框架，mysql数 ......
关于jsp的MySQL数据库连接问题
<%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8" %> <%@ page import="java.sql.*" %> <!DOCTYPE html PUBLIC "-//W3C/ ......
Mysql必知必会教程--【检索数据】
首先给出本次教程需要用到的数据表的内容：products + + + + + + | prod_id | vend_id | prod_name | prod_price | prod_desc | + + + + + + | ANV01 | 1001 | .5 ton anvil | 5.99 | ......
vue使用localStorage.setItem()存储对象数据的注意事项
如数据对象： ruleForm: { name: '', password:'',}, 使用localStorage localStorage.setItem("person", JSON.stringify(this.ruleForm)); 取值 localStorage.getItem("per ......
使用axios的post方法传输对象数据和后台数据进行解析判断
使用vue的v-model绑定生成对象数据的通过axios传输数据操作的时候，对象中属性的命名必须和实体中的一致。 实体： private Integer id; private String name; private String nickname; private String passwor ......
墨天轮国产关系型分布式数据库榜单解读
墨天轮榜单中现已收录85款关系型分布式数据库产品，为何分布式数据库受到关注？有哪些值得关注的关系型分布式数据库？分布式技术发展有何趋势、难点，本文进行了详细解读。 ......
几种常见的 Python 数据结构
摘要：本文主要为大家讲解在 Python 开发中常见的几种数据结构。 数据结构和序列 元组 元组是一个固定长度，不可改变的 Python 序列对象。创建元组的最简单方式，是用逗号分隔一列值： In [1]: tup = 4, 5, 6 当用复杂的表达式定义元组，最好将值放到圆括号内，如下所示： ......
activiti 工作流历史数据删除
1. 查找已完成的流程 SELECT PROC_INST_ID_ FROM ACT_HI_PROCINST WHERE END_ACT_ID_ IS NOT NULL OR DELETE_REASON_ IS NOT NULL; 2. 删除已完成流程的相关记录 DELETE FROM ACT_HI_ ......
数据分析的数据源
数据分析的数据源 公开的数据库 － 国家数据 － http://data.stats.gov.cn/index.htm 数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。最关键的是，网站简洁美观，还有专门的可 ......
Gauss （openGauss轻量版）数据库安装配置
1、修改操作系统配置 为了在防火墙开启的状态下，确保openGauss轻量版的正常使用。用户需要将轻量版相关的服务、协议、IP以及端口添加到主机的防火墙白名单中。 目前仅支持在防火墙关闭的状态下进行安装。 修改/etc/selinux/config文件中的“SELINUX“值为“disabled“。 ......
es删除索引数据
一、清空索引数据，不包含结构 请求体也是需要的 post 索引名称/_delete_by_query{ "query": { "match_all": {} }} ......
Python大数据分析——豆瓣读书数据分析
一、选题背景 豆瓣的发起者发现，对多数人做选择最有效的帮助其实来自亲友和同事。随意的一两句推荐，不但传递了他们自己真实的感受，也包含了对你口味的判断和随之而行的筛选。他们不会向单身汉推荐育儿大全，也不会给老妈带回赤裸特工。遗憾的是，你我所有的亲友加起来，听过看过的仍然有限。而且，口味最类似的人却往往 ......
009 数据库学习笔记--判断是否存在(表、试图、存储过程、触发器、索引、外键......)
https://blog.csdn.net/qq_44034384/article/details/106090525 在对数据库进行新增操作时，往往需要进行判断是否存在之后方可进行相关操作，如下所示： 可使用——object_id(‘name’,‘type’)方法 --创建学生表数据备份表 判断是 ......
多数据源切换
# 多数据源解决方案 ## mybatis-plus动态切换数据源 - 该方法简单便捷，直接通过注解@DS("xxx")就可以切换数据源 - 但是这边官方建议只添加在方法上或类上，所以在同一个方法中只能使用一种数据源 > 依赖配置 ~~~java 1.添加依赖 com.baomidou dynami ......
Redhat8安装MySQL8操作方法（超简单Linux无依赖安装mysql数据库）
一、安装说明 1.1、相关说明： Redhat8在线安装Mysql8数据库，使操作系统找到并自动安装自适应的版本及相关依赖组件； 1.2、系统版本 二、安装方法 2.1、下载应用软件 [root@GuoDC ~]# wget https://dev.mysql.com/get/mysql80-com ......
MySQL——远程连接非本地MySQL数据库服务器，报错ERROR 1130: Host 192.168.3.100 is not allowed to connect to this MySQL server的解决方案
一、问题二、解决方案前提条件，：要先确认被访问的电脑防火墙关闭：控制面板-系统与安全-Windows Defender 防火墙-关闭-确定 一、问题连接非本地数据库时，输入对方ip、账号和密码后点击连接测试，报错： ERROR 1130: Host 192.168.3.100 is not allo ......
zabbix 存储数据清理
故障排查# 背景调查：最近几天zabbix告警信息总是报Zabbix agent on xxxxxxxxx is unreachable for 5 minutes 错误，开始没有留意，通过两天观察，发现报警时间是有规律的，每天的凌晨12点05分、早晨6点05分、中午12点05分、下午18点05分， ......
OpenGauss数据库创建新用户
Table of Contents 学习目标 1. 创建新用户 2. 使用新用户访问数据库 3. 使用新用户查看数据库中有哪些表 学习内容 摘要 课前准备 1. 创建用户user1、user2、user3 2. 在终端中，分别使用user1、user2、user3用户访问数据库musicdb。 3. ......
【C#】JSON转DataTable存入数据库
由于JSON直接转DataTable可能会存在类型丢失 如下：  # 采用读取数据库表字段类型构建DataTable ```csharp /// ......
基于 canal 的 RDS Mysql 数据实时同步到 Es 服务器
#背景 > 考虑到我们的数据在密码变大，与数据分析的需求，前面我们是一直在使用 Sphinx 来做全文搜索。主要也是这块我们也没有更为核心的Sphinx 开发人员，从而我们在这块的使用上，一直都还是还有比较老的基于 coreseek 来处理中文分词技术。 现在这套也比较久没有继续更新维护了，从而我们 ......
如何兼顾性能+实时性处理缓冲数据？
我们经常会遇到这样的数据处理应用场景：我们利用一个组件实时收集外部交付给它的数据，并由它转发给一个外部处理程序进行处理。考虑到性能，它会将数据存储在本地缓冲区，等累积到指定的数量后打包发送；考虑到实时性，数据不能在缓冲区存太长的时间，必须设置一个延时时间，一旦超过这个时间，缓冲的数据必须立即发出去。 ......
二、六大数据结构
简单动态字符串SDS 杜绝缓冲区溢出（SDS会先扩展再修改） 减少字符串操作中的内存重分配次数（预分配和惰性清除） 二进制安全（二进制处理，使用len属性而非空格来判断字符串是否结束） 链表 指针相连，空间不连续，天然支持扩容，插入删除操作高效(时间复杂度为O(1))，但缺点是随机访问低效(时间复杂 ......
三、五大基本数据类型
字符串对象（String） 字符串对象底层是简单动态字符串SDS 使用场景： 1、作为缓存 缓存一些热点数据。一般在读取数据的时候会先从Redis中读取，如果Redis中没有，再从数据库中读取，从而降低后端的压力。（需要注意缓存穿透、雪崩以及缓存更新等问题......） 2、计数器\限速器\分布式系 ......
七、如何保证 Redis 中的数据不丢失
单机单节点模式使用 AOF 和 RDB 结合的方式 RDB 做镜像全量持久化，AOF 做增量持久化。因为 RDB 会耗费较长时间，不够实时，在停机的时候会导致大量丢失数据，所以需要 AOF 来配合使用。 Redis 集群模式 1、master 节点持久化 2、Redis断点续传：主从复制过程中，如果 ......
Docker部署postgres数据库
下载镜像 ```sh docker pull postgres:13.11 ``` 启动容器 ```sh docker run -d --name postgresql --restart always -v /data/postgres/data:/var/lib/postgresql/data ......
coe_xfr_sql_profile.sql脚本 适用 oracle数据库版本：10.2, 11.1, 11.2, 12.1, 12.2 18c_and 19c
coe_xfr_sql_profile.sql脚本 内容如下： 适用 oracle数据库版本：10.2, 11.1, 11.2, 12.1, 12.2 18c_and 19c 注明：复制粘贴即可。 SPO coe_xfr_sql_profile.log;SET DEF ON TERM OFF ECH ......