前端 解决方案 数据库 方案

Redis - 基础数据类型

学会使用 Redis 的一个重要内容就是 Redis 的数据类型,对于开发人员而言,学会 Redis 基础数据类型的使用即可应用到程序开发当中。 ......
类型 基础 数据 Redis

(数据科学学习手札150)基于dask对geopandas进行并行加速

本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师,geopandas作为我们非常熟悉的Python GIS利器,兼顾着高性能和易用性,特别是在其0.12.0版本开始使用全新的sha ......
手札 geopandas 科学 数据 dask

BootstrapBlazor + FreeSql ORM 实战 Table 表格组件维护多表数据 - OneToOne

OneToOne 垂直扩展表字段是很常见的方法, 主表存商品资料, 分表存每个客户对应商品的备注和个性化的价格等等, 本文使用Blazor一步步实现这个简单的需求. ......

js直接操作数据库会怎么样

这几天刷脉脉的时候看到一个话题初看觉得可笑,再看陷入沉思,最后还是决定花点时间想清楚,写下来。 确实没见人这么干过,为什么呢? 技术限制 被技术限制了?据我所知目前没有面向js的数据库驱动,但反观现在的技术大潮,写一个面向js的数据库驱动应该也不是什么难事。安全限制被安全性限制了?js在网站中的分量 ......
数据库 数据

发布新版博客备份功能:生成 sqlite 数据库文件,vscode 插件可查看

大家好,最近我们重新开发了园子的博客备份功能,今天发布第一个预览版,欢迎大家试用。园子的 vscode 插件也集成了博客备份功能,不仅可以查看通过博客后台下载的备份文件,而且可以直接在 vscode 插件中直接操作博客备份的创建、下载、查看。 ......
备份 插件 功能 数据库 文件

如何获取obs视频帧的二进制数据

前面几篇文章梳理了obs的录屏和推流流程,几条纵线整理下来,算是基本理清了obs的工作流程。 现在回到第一个目标:捕捉桌面的帧数据,用rendertarget显示并输出到UE5材质。 那么,帧数据到底存放在哪里?如何读取? ......
二进制 数据 视频 obs

在echaerts中渲染50万条数据的优化方案

背景:项目需求中要在页面上渲染大约50万条左右的波形数据图表 那么如何解决渲染中的卡顿呢? 肯定是要从服务端和前端一起优化这是毋庸置疑的。 1.服务端: 服务端耗时最多的一定是在数据库的筛选数据的行为上,本次需求中数据的筛选是根据物理量的类型和时间来进行的。 为了提速,应当取消掉其他的筛选条件,并且 ......
万条 echaerts 方案 数据

使用python自动监控程序运行过程数据

工作中会遇到需要监控程序运行过程数据的情况,比如定时执行监控的cmd并记录执行结果,本文提供一种实现方式,便于后续排查问题。 ......
过程 程序 数据 python

基于 RocketMQ Connect 构建数据流转处理平台

为什么在“双11”抢红包活动及大型数据系统中总是出现 RocketMQ 的身影? RocketMQ Connect在RocketMQ 生态中扮演什么角色?本文为大家解答上述疑问。同时,介绍 OceanBase 与 RocketMQ 如何集成以及能帮助大家解决哪些问题。 ......
RocketMQ Connect 数据 平台

如何实现云数据治理中的数据安全?

云计算被定义为计算资源的共享池,已经在不同的应用领域广泛部署和使用。在云计算中,数据治理在提高整体性能和确保数据安全方面发挥着至关重要的作用。本研究从管理和技术应用两方面探讨如何实现云数据治理中的数据 ......
数据

Redis中 HyperLogLog数据类型使用总结

转载请注明出处: 目录 1. HyperLogLog 的原理 2.使用步骤 3.实现请求ip去重的浏览量使用示例 4.Jedis客户端使用 5.Redission使用依赖 6.HyperLogLog 提供了哪些特性和方法 7.使用场景总结 1. HyperLogLog 的原理 Redis Hyper ......
HyperLogLog 类型 数据 Redis

从0搭建Vue3组件库(六):前端流程化控制工具gulp的使用

前言 随着前端诸如webpack,rollup,vite的发展,gulp感觉似乎好像被取代了。其实并没有,只不过它从台前退居到了幕后。我们仍然可以在很多项目中看到它的身影,比如elementplus、vant等。现在gulp更多的是做流程化的控制。 比如我们要把一个大象放进冰箱里就需要 打开冰箱门- ......
前端 组件 流程 工具 Vue3

数据库自动收缩造成的阻塞

背景 今天上午11点时客户打电话过来说医院的CIS系统一直有阻塞,导致系统卡慢严重,信息中心的电话都快被打爆了。赶紧要了远程登录到SQL专家云,看到了系统确实存在大量的阻塞。 点击紫色圆点进入活动会话原始数据,可以看到会话标识33是阻塞的源头,造成了大量的语句被阻塞,而且阻塞已经持续了很长的时间。 ......
数据库 数据

前端性能优化——启用文本压缩

前端性能优化——启用文本压缩 一、发现性能问题 1、通过 Google Chrome 打开需要进行性能优化的站点 2、打开 Chrome 开发者工具 Lighthouse 面板: 3、在 Lighthouse 面板中根据自己的需求自定义分析项和分析配置,点击”分析网页加载情况“对页面进行性能等方面的 ......
前端 文本 性能

前端性能优化——采用高效的缓存策略提供静态资源

前端性能优化——采用高效的缓存策略提供静态资源 一、发现性能问题 通过 Chrome 开发者工具的 Lighthouse 工具对目标站点的某个页面进行分析,其生成的报告如图所示: 由分析报告可知,该目标站点存在多项待优化的性能问题,如减少未使用的 JavaScript 和采用高效的缓存策略提供静态资 ......
前端 缓存 静态 性能 策略

数据转换工具DBT介绍及实操

一、什么是DBT dbt (data build tool)是一款流行的开源数据转换工具,能够通过 SQL 实现数据转化,将命令转化为表或者视图,提升数据分析师的工作效率。dbt 主要功能在于转换数据库或数据仓库中的数据,在 E(Extract)、L(Load)、T(Transform) 的流程中, ......
工具 数据 DBT

前端随笔0:URL与状态的双向绑定

这篇要讨论的这个概念,应该也不是我发明的新词,叫 URL 与状态的双向绑定,字面意思来说,在刷新页面或跳转页面时解析 URL 并对应更新组件的状态,在组件状态更新时同步更新 URL,为什么要引入这种机制嘞? ......
前端 双向 随笔 状态 URL

如何高效实现 MySQL 与 elasticsearch 的数据同步

MySQL 自身简单、高效、可靠,是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候,对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w,后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......
elasticsearch 数据 MySQL

重磅!flink-table-store 将作为独立数据湖项目重新加入 Apache

数据湖是大数据近年来的网红项目,大家熟知的开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来野蛮生长,目前各自背后也都有商业公司支持,投入了大量的人力物力去做研发和宣传。然而今天我们要讲的是数据湖界的后起之秀 —— flink-tabl ......

Mybatis数据库驱动

Mybatis数据库驱动 最近在学习mybatis的源码,有一个databaseIdProvider根据不同数据库执行不同sql的功能,我正好有一个mysql还有一个瀚高数据库,就去试了一下,使用如下 pom文件导入两个数据库的驱动 <dependency> <groupId>mysql</grou ......
Mybatis 数据库 数据

一种新的骨架屏方案

动机 最近遇到了一个实现骨架屏的需求,我大致调研了一下市面上使用得比较多的骨架屏方案,发现这些方案很多都不能满足我的需求,比如 或者 从第一幅图可以看到,骨架屏中的元素有着各自独立的动画效果,也就是说其中的“波浪”并不是从左边的元素跑到右边的元素,而是分别从每个元素的左边跑到每个元素的右边,这看起来 ......
骨架 方案

前端性能精进之浏览器(三)——图像

HTTP Archive 在 2022 年关于多媒体的报告中指出,目前大概有 99.9% 的网站或多或少都会包含点图像。 并且高达 70% 的移动页面和 80% 的桌面页面的 LCP 指标会受图像的影响。 通过这些数据可知,图像在网页中占据着举足轻重的地位,优化图像,对于网页性能可以达到立竿见影的效 ......
前端 图像 浏览器 性能

前端性能精进之浏览器(四)——呈现

现如今,在呈现一个页面时,在浏览器中会打开众多进程,包括浏览器、渲染、插件、GPU、网络等进程。 浏览器进程负责存储、界面、下载等管理。在渲染进程中,运行着熟知的主线程、合成线程、JavaScript 解释器、排版引擎等。 而呈现一个页面大致可分为 4 个步骤: 浏览器进程处理用户在地址栏的输入,然 ......
前端 浏览器 性能

【数据结构与算法学习】线性表(顺序表、单链表、双向链表、循环链表)

实现语言:C++ 1. 线性表相关概念 线性表(Linear List) 是由n(n≥0)个具有相同特性(数据类型)的数据元素(结点)a1,a2,...,ai-1,ai,ai+1,...,an组成的有限序列。 其中,a1为线性起点(起始结点),an为线性终点(终端结点)。对于每一个数据元素ai,我们 ......
数据结构 线性 双向 算法 顺序

苹果手机H5 video标签播放视频问题以及.mov格式处理方案

最近在做一个手机端拍照上传,并预览文件的功能,前端用h5 video 标签,后端用springboot+minio。 问题 刚开始写代码和测试的时候,都是用的安卓手机,照片和视频都没问题,后来换成用苹果手机后,播放视频就出现各种问题,先是苹果手机拍的mov视频不支持播放,后面又出现苹果手机播放不了视 ......
苹果 标签 格式 方案 问题

常用的"小脚本"-json数据处理

小背景: 我们公司项目中的小脚本是一些工具类,比如常用的是MapUtil工具类的一些方法 写公司的MapUtil工具类的方法要注意,方法名的命名,因为方法名,在公司的项目的某个业务流程有对方法名的进行String截取开头字符串然后进行判断 一、工具的使用推荐 1、获取到请求url(接口的形式-一般数 ......
数据处理 quot 脚本 常用 数据

【数据结构与算法学习】散列表(Hash Table,哈希表)

实现语言:C++ 1. 散列表 散列表,英文名称为Hash Table,又称哈希表、杂凑表等。 线性表和树表的查找是通过比较关键字的方法,查找的效率取决于关键字的比较次数。 而散列表是根据关键字直接访问的数据结构。散列表通过散列函数将关键字映射到存储地址,建立了关键字和存储地址之间的一种直接映射关系 ......
数据结构 算法 结构 数据 Table

基于NUXT.JS搭建一款VUE版SSR前端框架(解决SPA应用的SEO优化优化问题)

本文档是从官网文档中摘录的一些重点内容,以及加入了自己的一些调整和对官网内容的理解和解释。适合新手学习,有一定技术水平的宝子,建议直接查看 [NUXT英文官网] ......
前端 框架 问题 NUXT VUE

【django-vue】封装logger 封装全局异常 封装response 数据库配置 用户表继承AbstractUser配置

上节回顾 这是一个django-Vue前后端分离的项目(视频网站) # 1 企业软件类型 -商城类 -公司内部: -业务 -RBAC权限管理 # 2 软件开发流程 -你的工作流程 # 3 pip换源 :国内镜像 -命令行中 -pycharm中 # 4 虚拟环境: -每个项目有自己的环境 -虚拟环境: ......

c/c++指针从浅入深介绍——基于数据内存分配的理解(上)

c/c++指针从浅入深介绍——基于数据内存分配的理解(上) 本文是对自我学习的一个总结以及回顾,文章内容主要是针对代码中的数据在内存中的存储情况以及存储中数值的变化来对指针进行介绍,是对指针以及数据在内存中数值是如何变化的,为什么需要使用到指针,为什么有时候使用指针很容易会报错,怎么去使用指针才能让 ......
指针 内存 数据