缓存 服务器 数据log4j2
7种数据库的存在则更新，不存在则插入（UPSERT）SQL写法
在工作中遇到了这么一个需求，在往数据库插入数据时，如果一条数据不存在则插入，如果存在（根据主键或唯一索引判断）则更新，也就是所谓的UPSERT操作。大部分数据库都没有UPSERT语句，不过他们都有一些SQL的写法来实现这样的操作。 1. MySQL 使用ON DUPLICATE KEY UPDATE ......
读取串口数据
/// <summary> /// 压力 传感器 /// </summary> public class ForceSensor { private static SerialPort _serialPort = new SerialPort(); /// <summary> /// 初始化参数 / ......
springboot中yml中数据库中的设置
2023-09-10 spring: datasource: type: com.alibaba.druid.pool.DruidDataSource driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://localhost:33 ......
elastic索引管理-数据流
8，数据流 数据流数据流允许您跨多个索引存储仅附加的时间序列数据，同时为您提供单个命名资源用于请求。数据流非常适合日志、事件、指标和其他连续生成的数据。您可以将索引和搜索请求直接提交到数据流。流自动将请求路由到存储流数据的支持索引。您可以使用索引生命周期管理(ILM)来自动管理这些支持索引。例女，您 ......
MongoDB下载和可视化工具NoSQL Manager for MongoDB 软件的下载，连接数据库
在官网下载MongoDB的版本为4.0.28，之前试了好几个高版本和低版本，都不行，最后，4.0.28版本好了。下载网页：https://www.mongodb.com/try/download/community 安装和配置环境变量的方法一搜就行了，不难。 打开安装MongoDB的bin路径，输入 ......
sqoop把hive中的数据导入mysql中文乱码问题解决
sqoop导出数据中文乱码问题我参考的这个博客sqoop把hive数据导入mysql出现中文乱码_mysql的表数据导入到hive表中文乱码_bboy枫亭的博客-CSDN博客 用方法一就行。剩下的就是测试。 测试样例 bin/sqoop export \ --connect "jdbc:mysql: ......
go微服务开发：go-zero入门教程（三）
背景：开发中，免不了要对代码进行debug调试，go也不例外，使用go-zero框架时，该怎么对项目进行调试呢？ 以user模块为例，找到service/user/api/user.go，这是user模块的入口，打开user.go可以看到main函数。 TRANSLATE with x Englis ......
【学习笔记】(25) 可持久化数据结构
可持久化线段树（主席树） 主席树，一个数据结构，能访问到历史版本的数据，常用于可持久化和区间k大值，是线段树的一个升级版。 可持久化的意思是可以访问任意版本的数据，一眼想到的暴力做法就是开n个数组来记录，这显然是不可取的。 那么我们考虑优化。若只有单点修改，不难发现每两个版本的差别最多为1，那么我们 ......
Hadoop3.3.6配置历史服务器和日志
一、配置历史服务器 1.增加配置属性 Hadoop部署模式主要有3种：本地、伪分布式、完全分布式。云服务器只有一台所以我使用的是伪分布式模式部署的。要配置历史服务器只需修改mapred-site.xml文件。在里面增加如下配置。 <!-- 历史服务器端地址 --> <property> <name> ......
分布式缓存与本地缓存的优缺点
本地缓存：1.访问速度快，但是无法进行大数据存储2.集群数据更新问题3.数据随应用的重启而丢失分布式缓存：1.支持大数据量存储，不受应用进程影响2.数据集中存储，保证数据的一致性3.数据读写分离，高性能，高可用4.数据跨网络传输，性能低于本地缓存 ......
Spring Boot 中使用 Poi-tl 渲染数据并生成 Word 文档
项目中有这么一个需求，需要将用户填写的数据填充到一个 Word 文档中，而这个 Word 文档是人家给定了的。换句话说，让你按照这个文档的内容格式生成新的文档。 ......
【9.0】Redis之缓存优化
【一】缓存的收益与成本 【1】受益 1 加速读写 2 降低后端负载：后端服务器通过前端缓存降低负载，业务端使用redis降低后端mysql负载 【2】成本 1 数据不一致：缓存层和数据层有时间窗口不一致，和更新策略有关 2 代码维护成本：多了一层缓存逻辑 3 运维成本：比如使用了Redis Clus ......
【5.0】Redis五大数据类型
【图解Redis数据结构】 【Redis单线程架构】 【1】单线程架构 一个瞬间只会执行一条命令 Redis的主要任务是处理来自客户端的请求并执行命令。 在任意时刻，Redis只会处理一条命令，通过串行执行命令保证了数据的一致性。 Redis在内部使用事件驱动（epoll）的非阻塞I/O模型，以提高 ......
如何正确地开启hiveserver2服务
1、开启hadoop服务 主目录输入下面的语句即可： start-all.sh 使用jps命令查看进程，即可确定hadoop是否已经启动； 2、开启hive的metastore服务 nohup /export/server/apache-hive-3.1.2-bin/bin/hive --servi ......
数据库基本操作
mysql的utf8编码的一个字符最多3个字节，但是一个emoji表情为4个字节，所以utf8不支持存储emoji表情。但是utf8的超集utf8mb4一个字符最多能有4字节，所以能支持emoji表情的存储 <1> 修改标的字符集编码 ALTER table userinfo convert to ......
关于IDEA里面连接数据库找不到org.apache.hive.jdbc.Driver的问题
问题描述 昨天就很顺利地连接上了，今天直接找不到我的class了，吓出一身冷汗； 问题解决 后来发现导入的jar包的路径不太对，突然想起来jar包的位置被我移动了，但是IDEA里面并没有改变原来的位置，找不到jar包的问题， 重新将jar包的路径浏览一遍即可解决； ......
Android前端音视频数据接入GB28181平台意义
技术背景 在我们研发Android平台GB28181前端音视频接入模块之前，业内听到最多的是，如何用Android端在没有国标摄像头设备的前提下，模拟GB28181的信令和媒体流交互流程，实现GB28181整体方案的测试。 Android端真的没有必要做个支持GB28181的接入模块？ 如果说做一个 ......
在eclipse上部署Java web服务器（Tomcat）
注意：本文章可能会具体配置实际有出入，发现错误可能是和我的版本不一致或其他问题，可以联系笔者更改或者自行斟酌。 一.配置准备 1.tomcat tomcat有很多版本，eg：11.0,10.1,10.0,9.0等等 这里大家可以随意下载，但是要注意版本适配问题，我在配置是11无法再eclipse上检 ......
07-数据代理
回顾Object.defineproperty方法 Object.defineproperty方法的作用就是直接在一个对象上定义一个新属性，或者修改一个已经存在的属性 写法：Object.defineproperty(obj, prop, desc) 1) 第一个参数obj，在哪个对象身上添加或者修 ......
数据导入和导出
数据导入： 方式1: 从文件向表加载数据 load data [local] inpath 'path' [ovwrite] into table tablename ; --如果数据在hdfs源文件会消失（本质是走的 mv移动） --如果数据在本地，需要在local，如果在hdfs就不用带了 -- ......
部署Minio服务
## 第一步：创建目录 ```mkdir -p /minio/config mkdir -p /minio/data```` ## 第二步：下载minio ```docker pull minio/minio``` ## 第三步：启动minio容器 ```docker run -d -p 9000: ......
Springboot项目中pom.xml配置文件无法解析下载oracl数据库解决办法（Cannot resolve com.oracle:ojdbc6:11.2.0.1.0）
网上说是因Oracle的版权问题，导致maven下载不下来ojdbc各个版本的jar包。就会报错 Cannot resolve com.oracle:ojdbc6:11.2.0.1.0 经过一番百度，找到了一个适用的解决方法，如下操作即可： 1.在终端或客户端机器上找到oracle安装驱动目录：例如 ......
刷新不完整的数据透视表
问题：数据透视表刷新后会出现对话框，选择【取消】后数据透视表不完整，选择【确定】才可以。 原因分析：数据透视在刷新过程中范围可能扩大，在透视表周围如果有单元格被“占位”，就会出现这一现象。 解决思路：数据透视表如果可以放在单独的工作表中就不会出现这样的问题，或者在刷新透视表之前查看一下是否在周边存在 ......
vscode中使用ssh进行远程项目开发时无法连接远端服务器——如何解决
找到vscode中的ssh扩展（Visual Studio Code Remote - SSH），然后卸载，再重新安装，即可解决。 PS: 重新安装时需要较长时间的等待。 ......
智慧城市数据大屏
随着科技的快速发展，智慧城市的理念逐渐深入人心。在这个信息爆炸的时代，如何更好地整合城市数据资源，提高城市管理效率，成为智慧城市建设的关键。智慧城市可视化数据大屏，如同城市管理的“智慧之眼”，为城市管理者提供了全面、直观、实时的城市数据展示，为城市发展提供了有力支持。 一、智慧城市可视化数据大屏的应 ......
系统熵增是怎么产生的？————数据对象模型里添加属性欠思考
熵增定律指出，在没有外力作用下的封闭系统中，熵（或混乱度）总是增加的。就是说，任何封闭系统中、在没有外力作用下，都会陷入混乱。 屋子不收拾会变乱；人不自律会懒散；生活不规律或无节制，人就会出现健康问题；同样，对于我们的信息系统，一旦缺乏规范和管控，就会越来越难于迭代和维护。 这些例子都展示了在缺乏积 ......
【Python基础】基础数据类型
数字类型 int类型（整型） 在Python 3里，只有一种整数类型 int，表示为长整型，没有 python2 中的 Long。像大多数语言一样，数值类型的赋值和计算都是很直观的。 a= 12 print(type(12)) <class 'int'> 还可以用用 isinstance 来判断类型 ......
一条爬虫抓取一个小网站所有数据
一条爬虫抓取一个小网站所有数据 今天闲来无事，写一个爬虫来玩玩。在网上冲浪的时候发现了一个搞笑的段子网，发现里面的内容还是比较有意思的，于是心血来潮，就想着能不能写一个Python程序，抓取几条数据下来看看，一不小心就把这个网站的所有数据都拿到了。 这个网站主要的数据都是详情在HTML里面的 ......
Java批量插入数据方法对比
一．环境 数据库MySql 8.0.2 Maven+IDEA 二．方法配置 目录结构 POM.xml依赖 <dependencies> <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java --> <dependency ......