时序 数据处理 云端 利器
【LeetCode贪心#09】用最少数量的箭引爆气球，无重叠区间，合并区间（涉及区间重叠情况判断与处理）
用最少数量的箭引爆气球 力扣题目链接(opens new window) 在二维空间中有许多球形的气球。对于每个气球，提供的输入是水平方向上，气球直径的开始和结束坐标。由于它是水平的，所以纵坐标并不重要，因此只要知道开始和结束的横坐标就足够了。开始坐标总是小于结束坐标。 一支弓箭可以沿着 x 轴从不 ......
Redis中 HyperLogLog数据类型使用总结
转载请注明出处： 目录 1. HyperLogLog 的原理 2.使用步骤 3.实现请求ip去重的浏览量使用示例 4.Jedis客户端使用 5.Redission使用依赖 6.HyperLogLog 提供了哪些特性和方法 7.使用场景总结 1. HyperLogLog 的原理 Redis Hyper ......
数据库自动收缩造成的阻塞
背景 今天上午11点时客户打电话过来说医院的CIS系统一直有阻塞，导致系统卡慢严重，信息中心的电话都快被打爆了。赶紧要了远程登录到SQL专家云，看到了系统确实存在大量的阻塞。 点击紫色圆点进入活动会话原始数据，可以看到会话标识33是阻塞的源头，造成了大量的语句被阻塞，而且阻塞已经持续了很长的时间。 ......
设计一款可扩展和基于windows系统的一键处理表格小工具思路
原创总结/朱季谦 设计一款可扩展和基于windows系统的一键处理表格小工具思路 日常开发当中，业务人员经常会遇到一些重复性整理表格的事情，这时候，就可以通过一些方式进行自动化程序处理，提高工作（摸鱼）效率。 例如，业务人员有这样需要，日常需要手工整理以下原始xlsx表格数据，这些数据格式都是固定死 ......
数据转换工具DBT介绍及实操
一、什么是DBT dbt （data build tool）是一款流行的开源数据转换工具，能够通过 SQL 实现数据转化，将命令转化为表或者视图，提升数据分析师的工作效率。dbt 主要功能在于转换数据库或数据仓库中的数据，在 E（Extract）、L（Load）、T（Transform） 的流程中， ......
.netcore全局异常处理
一、背景 某天，应用程序进程无缘无故退出，也就是我们通常说的崩溃。通常情况下，windows事件会记录一条消息。但是有时候，我们发现这样的信息，对于查找问题，还是远远不够的，因为它说RunTime报错。这时，我就想能不能自己捕获全局未处理的异常。之所以有这样的想法，因为之前在客户端程序中写过。这次我 ......
Java处理正则匹配卡死（正则回溯问题）
正则匹配卡死怎么来的？ 背景 背景：这次问题的背景是项目上遇到了，在使用正则对数据进行提取时，发现提取不到，日志解析不成功，造成kafka消息有积压 项目现场问题 项目中某一个微服务再处理正则时，发现在处理部分日志时候，线程会卡死，线程卡死，因此kafka中的消息定会积压，后面的日志即不会处理。关键 ......
如何高效实现 MySQL 与 elasticsearch 的数据同步
MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w，后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......
重磅！flink-table-store 将作为独立数据湖项目重新加入 Apache
数据湖是大数据近年来的网红项目，大家熟知的开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来野蛮生长，目前各自背后也都有商业公司支持，投入了大量的人力物力去做研发和宣传。然而今天我们要讲的是数据湖界的后起之秀 —— flink-tabl ......
时延检测利器-uftrace
本文来自博客园，作者：T-BARBARIANS，转载请注明原文链接：https://www.cnblogs.com/t-bar/p/16898892.html 谢谢！ 篇幅较长，阅读耗时告警！ 一、前言 作为后台程序的开发人员，应用程序的性能一直是我们的核心关注点。 大到业务程序的架构设计、支撑业务 ......
Mybatis数据库驱动
Mybatis数据库驱动 最近在学习mybatis的源码,有一个databaseIdProvider根据不同数据库执行不同sql的功能,我正好有一个mysql还有一个瀚高数据库,就去试了一下,使用如下 pom文件导入两个数据库的驱动 <dependency> <groupId>mysql</grou ......
记录一个cpu彪高的BUG处理--jvm调优
业务场景：游戏行业，N个服务器，要进行大批量的合服处理，玩家数据会上升，从新整理和服务器的分配情况和逻辑处理，正常开发后，当天白天正常，然后晚上高峰期开始玩家频繁反馈无法登录~~~ 处理逻辑： 优先确认服务是否宕机，如果是，就重启，分析linux系统日志，根据宕机的原因进行处理即可； 再确认服务器情 ......
【数据结构与算法学习】线性表（顺序表、单链表、双向链表、循环链表）
实现语言：C++ 1. 线性表相关概念 线性表（Linear List） 是由n(n≥0)个具有相同特性（数据类型）的数据元素（结点）a1，a2，...，ai-1，ai，ai+1，...，an组成的有限序列。 其中，a1为线性起点（起始结点），an为线性终点（终端结点）。对于每一个数据元素ai，我们 ......
常用的"小脚本"-json数据处理
小背景： 我们公司项目中的小脚本是一些工具类，比如常用的是MapUtil工具类的一些方法 写公司的MapUtil工具类的方法要注意，方法名的命名，因为方法名，在公司的项目的某个业务流程有对方法名的进行String截取开头字符串然后进行判断 一、工具的使用推荐 1、获取到请求url（接口的形式-一般数 ......
Java线程池和Spring异步处理高级篇
开发过程中我们会遇到很多使用线程池的场景，例如异步短信通知，异步发邮件，异步记录操作日志，异步处理批量Excel解析。这些异步处理的场景我们都可以把它放在线程池中去完成，当然还有很多场景也都可以使用线程池，掌握线程池后开发中自己灵活应用。 例如在生成订单的时候给用户发送短信，生成订单的结果不应该被发 ......
sql处理重复的列，更好理清分组和分区
一、分组统计、分区排名 1、语法和含义： 如果查询结果看得有疑惑，看第二部分-sql处理重复的列，更好理清分组和分区，有建表插入数据的sql语句 分组统计：GROUP BY 结合 统计/聚合函数一起使用 -- 举例子: 按照性别统计男生、女生的人数 select sex,count(distinct ......
【数据结构与算法学习】散列表（Hash Table，哈希表）
实现语言：C++ 1. 散列表 散列表，英文名称为Hash Table，又称哈希表、杂凑表等。 线性表和树表的查找是通过比较关键字的方法，查找的效率取决于关键字的比较次数。 而散列表是根据关键字直接访问的数据结构。散列表通过散列函数将关键字映射到存储地址，建立了关键字和存储地址之间的一种直接映射关系 ......
苹果手机H5 video标签播放视频问题以及.mov格式处理方案
最近在做一个手机端拍照上传，并预览文件的功能，前端用h5 video 标签，后端用springboot+minio。 问题 刚开始写代码和测试的时候，都是用的安卓手机，照片和视频都没问题，后来换成用苹果手机后，播放视频就出现各种问题，先是苹果手机拍的mov视频不支持播放，后面又出现苹果手机播放不了视 ......
c/c++指针从浅入深介绍——基于数据内存分配的理解（上）
c/c++指针从浅入深介绍——基于数据内存分配的理解（上） 本文是对自我学习的一个总结以及回顾，文章内容主要是针对代码中的数据在内存中的存储情况以及存储中数值的变化来对指针进行介绍，是对指针以及数据在内存中数值是如何变化的，为什么需要使用到指针，为什么有时候使用指针很容易会报错，怎么去使用指针才能让 ......
【django-vue】封装logger 封装全局异常 封装response 数据库配置 用户表继承AbstractUser配置
上节回顾 这是一个django-Vue前后端分离的项目（视频网站） # 1 企业软件类型 -商城类 -公司内部： -业务 -RBAC权限管理 # 2 软件开发流程 -你的工作流程 # 3 pip换源 ：国内镜像 -命令行中 -pycharm中 # 4 虚拟环境： -每个项目有自己的环境 -虚拟环境： ......
pugixml XML格式处理库的介绍和使用（面向业务编程-格式处理）
pugixml XML格式处理库的介绍和使用（面向业务编程-格式处理） 介绍 pugixml是一个轻量级的C++ XML处理库。它的特点: 类似dom的界面，具有丰富的遍历/修改功能 非常快速的非验证XML解析器 它从XML文件/缓冲区构造DOM树用于复杂数据驱动 支持树查询的XPath 1.0 实 ......
simpleini库的介绍和使用（面向业务编程-格式处理）
simpleini库的介绍和使用（面向业务编程-格式处理） 介绍 simpleini是一个跨平台的ini格式处理库，提供了一些简单的API来读取和写入ini风格的配置文件。它支持ASCII、MBCS和Unicode格式的数据文件。它被明确设计为可移植到任何平台，并已在Windows, WinCE和L ......
docker mysql8.0 启动，挂数据卷，定时备份，恢复~
安装mysql 从mysql社区版的官方源去拉取镜像：mysql/mysql-server - Docker Image | Docker Hub docker run --name=mysql1 -d mysql/mysql-server:latest 镜像起来之后，mysql就默默的初始化好了， ......
hibernate跨数据库，json字段处理方案，自定义扩展JsonStringType
一、背景 对于一些不经常更新的静态数据，我们喜欢使用json格式存储。推荐的做法是将json数据存储在key-value数据库，但这无疑增加了技术成本，所以我们通常还是存储在RDB数据库中。我们在使用hibernate，对json数据的存取期望是，存能自动转换为json格式存储，取能自动将json数 ......
[数据分析与可视化] Python绘制数据地图1-GeoPandas入门指北
本文主要介绍GeoPandas的基本使用方法，以绘制简单的地图。GeoPandas是一个Python开源项目，旨在提供丰富而简单的地理空间数据处理接口。GeoPandas扩展了Pandas的数据类型，并使用matplotlib进行绘图。GeoPandas官方仓库地址为：GeoPandas。GeoPa ......
hibernate跨数据库，columnDefinition不可移植性改造方案
#背景&问题描述 很多项目选择jpa/hibernate，更多是为了代码的可移植性，不限制数据库的选择。特别是toB的业务系统，不同的客户，要求用不同的数据库。特别近几年，大力倡导软件国产化，国产数据库也在崛起，很多政府、国企、电力、银行在数据库的选择上，纷纷转向国产数据库。也许mybatis+my ......
linux网络编程中的errno处理
在网络编程中，处理网络连接、连接收发数据等经常会涉及到errno的处理。经过查阅了很多资料，发现没有一个系统的讲解，在不同阶段会遇到哪些errno，以及对这些errno需要如何处理。因此，本文将分为三个部分来讲解。 ......
Redis缓存数据库-快速入门
Redis数据库快速入门 一、Redis数据库 介绍： Redis：非关系型缓存数据库 nosql：非关系型数据库 没有表，没有表与表之间的关系，更不存在外键 存储数据的形式为key：values的形式 c语言写的服务（监听端口），用来存储数据的，数据是存储在内存中，取值，放值速度非常快， 10w ......
数据问题排查思路
1、背景 数据开发、数据仓库工作和业务系统开发工作很大的一个不同是，业务系统功能开发一旦完成并通过测试，一般就可以比较稳定地长期运行，因为它的输入是相对稳定的。但是数据仓库开发加工的数据模型、数据指标和分析结论，却很难保持稳定。因为输入数据每天都在源源不断产生，很难保证数据没有大的波动，而输入的不稳 ......