数据处理 分布式 海量 难题
数据可视化在大数据时代对我们来说意味着什么？
数据可视化在大数据时代对我们来说意味着一场信息的革命，是一扇通向数据世界的透明之窗。它不仅仅是一种技术工具，更是一种改变我们对信息理解方式的思想变革。那么，数据可视化究竟在大数据时代对我们有着怎样深远的意义呢？下面我就以可视化从业者的角度来简单聊聊这个话题。 在这个信息爆炸的时代，大数据如潮水般汹涌 ......
Redis 的数据类型
目录数据类型String内部实现常用指令应用场景缓存计数分布式锁加锁释放锁共享 Session 信息List内部实现常用命令应用场景Hash内部实现常用命令应用场景缓存对象购物车Set介绍内部实现常用命令应用场景点赞共同关注抽奖活动Zset介绍内部实现常用命令应用场景排行榜电话、姓名排序电话排序 数 ......
day26 海量数据下的EFK架构优化升级-初识日志收集组件Fluentd （9.4-9.5）
9.4-1-海量数据下的EFK架构优化升级(1) 一、数据背景 在海量数据场景下，日志管理和分析是一项重要任务。为了解决这个问题，EFK 架构（Elasticsearch + Fluentd + Kibana）已经成为流行的选择。然而，随着数据规模的增加，传统的 EFK 架构可能面临性能瓶颈和可用性 ......
pgsql查看数据库死锁脚本
数据库被锁定后，会导致其它用户无法使用，如下脚本可查询死锁。 SELECT pg_locks.pid, transactionid, usename, mode, granted, pg_stat_activity.backend_start, query, pg_stat_activity.* F ......
记一次金蝶云星空二次开发的基础资料，插入了150万数据后，业务单据操作后台创建基础资料保存报错
业务说明 二次开发的基础资料，插入了150万数据后，创建资料保存报错。新创建资料的主键在插入的数据里。因为是销售出库单审核就要创建资料，导致销售出库审核时提示插入了重复键值。 官方帖子： 系统运维.数据库.修复种子表(单据) (kingdee.com) 系统运维.数据库.修复种子表(基础资料) (k ......
Abp vNext：多租户如何切换数据库
目录资料多租户的数据库架构多租户如何切换数据库获取租户数据库链接字符串获取数据库上下文 资料 Abp vNext：多租户：https://docs.abp.io/en/abp/latest/Multi-Tenancy 多租户的数据库架构 Abp vNext：多租户的数据库 ABP Framework ......
Kafka高级应用：如何配置处理MQ百万级消息队列？
在大数据时代，Apache Kafka作为一款高性能的分布式消息队列系统，广泛应用于处理大规模数据流。本文将深入探讨在Kafka环境中处理百万级消息队列的高级应用技巧。 本文，已收录于，我的技术网站 ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享 1、合理配置分区 // 自定 ......
玩转Python：处理图像，两个非常重要的库，很实用，附代码
在Python中，图像处理是一个涉及图像分析、编辑和处理的广泛领域。有几个流行的库通常用于处理图像，每个库都有其特殊的功能和优势。以下是一些常用的Python图像处理库： 1. Pillow (PIL Fork) Pillow是Python Imaging Library (PIL)的一个分支，它添 ......
玩转Python：处理音频文件，两个非常重要的库，很实用，附代码
pyaudio和sounddevice都是用于Python中音频处理和流的库，允许用户通过他们的API录制、播放和处理音频数据。下面是对这两个库的简要介绍： PyAudio PyAudio 提供了 Python 绑定到 PortAudio，这是一个跨平台的音频I/O库。它允许你很容易地使用Pytho ......
Oracle两张之间修改数据
Oracle两表数据修改 1.连表修改 UPDATE table1 SET column1 = ( SELECT column2 FROM table2 WHERE table1.id = table2.id ); ......
XAF的权限表，数据权限的暴露
select * from PermissionPolicyTypePermissionsObject --权限类型--角色增删改查；select * from PermissionPolicyObjectPermissionsObject --权限对象--根据表达式判断可增删改查；--隶属于权限类 ......
云端解析设备透传数据
如何在物联网平台解析设备透传数据_物联网平台(IoT)-阿里云帮助中心 https://help.aliyun.com/zh/iot/use-cases/parse-pass-through-data-from-devices 首页物联网平台实践教程最佳实践消息通信云端解析设备透传数据 云端解析设备 ......
selenium 获取数据
const {Builder, Browser, By, Key, until} = require('selenium-webdriver'); let aa = function(){ (async function example() { let driver = await new Buil ......
Postgresql数据库设置远程登陆
1. 修改PostgreSQL配置文件 编辑 postgresql.conf 文件，该文件通常位于 /etc/postgresql/<版本号>/main/ 目录下 sudo nano /etc/postgresql/12/main/postgresql.conf 找到 listen_addresse ......
39.Neo4j 数据库
目录 ❖ Neo4j 简介 ❖ Neo4j 安装与使用 ❖ 基础命令 Neo4j 定义 ❖ Neo4j 是一个高性能的 ,NOSQL 图形数据库，它将结构化数据存储在网络上而不是表中 Neo4j 特点 ❖ 非关系型数据库 ❖ NoSql ❖ CQL ❖ 遵循 SQL 语法，简单，且人性化 安装与使用 ......
分布式存储ceph——（3）openstack对接ceph存储后端
ceph对接openstack环境 一、使用rbd方式提供存储如下数据： （1）image：保存glanc中的image； （2）volume存储：保存cinder的volume；保存创建虚拟机时选择创建新卷； （3）vms的存储：保存创建虚拟机时不选择创建新卷； 二、实施步骤： （1）客户端也要有 ......
数据库内核那些事｜细说PolarDB优化器查询变换：IN-List变换
导读 数据库的查询优化器是整个系统的"大脑"，一条SQL语句执行是否高效在不同的优化决策下可能会产生几个数量级的性能差异，因此优化器也是数据库系统中最为核心的组件和竞争力之一。阿里云瑶池旗下的云原生数据库PolarDB MySQL版作为领先的云原生数据库，希望能够应对广泛用户场景、承接各类用户负载， ......
38.MongoDB 数据库
目录 ❖ 关系与非关系 ❖ MongoDB 简介 ❖ 常用命令 关系型数据库 关系 ❖书与读者 多对多 ❖书与作者 一对多 ❖书对出版日期 一对一 关系型数据库 ❖ MySql, Orcale, SqlServer, Access... ❖ SQL （结构化查询语言） 存在哪些问题 ❖存储在硬盘上 ......
PostgreSQL从入门到精通 - 第40讲：数据库不完全恢复
PostgreSQL从小白到专家，是从入门逐渐能力提升的一个系列教程，内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容，希望对热爱PG、学习PG的同学们有帮助，欢迎持续关注CUUG PG技术大讲堂。 第40讲：数据库不完全恢复 PostgreSQL第40讲：1月6日(周六 ......
OWASP TOP 10 之敏感数据泄露
许多Web应用程序和APl都无法正确保护敏感数据，例如: 财务数据、医疗数据和PII数据。攻击者可以通过窃取或修改未加密的数据来实施信用卡诈骗、身份盗窃或其他犯罪行为。未加密的敏感数据容易受到破坏，因此我们需要对敏感数据加密，这些数据包括: 传输过程中的数据、存储的数据以及浏览器的交互数据。 攻击者 ......
简易机器学习笔记（九）LeNet实例 - 在眼疾识别数据集iChallenge-PM上的应用
前言 上一节大概讲了一下LeNet的内容，这一章就直接来用，实际上用一下LeNet来进行训练和分类试试。 调用的数据集： https://aistudio.baidu.com/datasetdetail/19065 说明： 如今近视已经成为困扰人们健康的一项全球性负担，在近视人群中，有超过35%的人 ......
Jsonpath - 数据中快速查找和提取的强大工具
JSON（JavaScript Object Notation）在现代应用程序中广泛使用，但是如何在复杂的JSON数据中 查找和提取所需的信息呢？JSONPath是一种功能强大的查询语言，可以通过简单的表达式来快速准确地定位和提取JSON数据。本文将介绍JSONPath的基本语法和用法，并为您展示如 ......
VMWare虚拟机处理器数量与每个处理器内核数量概念，以及分配CPU资源详解
VMWare虚拟机处理器数量与每个处理器内核数量概念，以及分配CPU资源详解概念CPU的物理核心和超线程CPU的睿频机制总结概念 处理器数量：虚拟机上的CPU个数（上图中的插槽数，是机器主板上CPU的个数，并非CPU的物理核心数）每个处理器的内核数量：每个虚拟的CPU有几个内核（可以看到虚拟机内部并 ......
vue中watch怎么深度监听数据变化？
有个原则监听谁,写谁的名字,然后是对应的执行函数,第一个参数为最新的改变值,第二个值为上一次改变的值,注意:除了监听data,也可以监听计算属性或者一个函数的计算结果 启用深度监听对象 watch:{ a:{ handler:function(val,oldval){ }, deep:true } ......
分布式日志追踪ID实战 | 京东物流技术团队
本文通过介绍分布式应用下各个场景的全局日志ID透传思路，以及介绍分布式日志追踪ID简单实现原理和实战效果，从而达到通过提高日志查询排查问题的效率。 背景 开发排查系统问题用得最多的手段就是查看系统日志，相信不少人都值过班当过小秘吧：给下接口和出入参吧，麻烦看看日志里的有没有异常信息啊等等，但是在并发 ......
Mybatis-Plus关于实体类型与数据库类型不匹配的问题
以JAVA List 与 Jdbc varchar为例 需在实体类的属性上加@TableField注解 例如： @TableField(value = "user_name", typeHandler = StringListTypeHandler.class) private List<Strin ......
公共Hooks封装之自定义表格数据列渲染useTableColumns
项目环境 Vue3.x + Ant Design Vue3.x + Vite3.x 封装思考：何为自定义表格数据列渲染，其为何种场景服务 根据实际业务场景而来，为避免法律风险，部分截图内容脱敏处理 如下图，当表格内容的列非常多时，正常情况下，我们通常采取的方式是左右两侧的列，即左侧 Key 列和右侧 ......
公共Hooks封装之表格数据useTableData
项目环境 Vue3.x + Ant Design Vue3.x + Vite3.x 封装分解：声明变量 import { ref, shallowRef, isRef } from "vue"; const loading = ref(false); // 表格数据UI交互Loading const ......
达梦数据库备份导入导出方式
逻辑备份 1.FULL FULL 方式导出数据库的所有对象。 ##设置 FULL=Y，导出数据库的所有对象，导出数据库文件和日志文件放在路径 /mnt/data/dexp下。 ./dexp USERID=SYSDBA/SYSDBA FILE=db_str.dmp LOG=db_str.log FUL ......
Centos 7 部署人大金仓数据库
一、从金仓官网下载镜像文件并上传到服务器 人大金仓数据库下载地址 二、安装人大金仓数据库 root用户下准备工作 在安装金仓数据库管理系统 KingbaseES 时，安装用户对于安装路径需有“读”、“写”、“执行”的权限。在linux 系统中，需要以非 root 用户执行安装程序，且该用户要有标准的 ......