用率 数据库 数据 问题
Python从入门到精通（第2版）——pyuic5: error: no such option: -m的问题解决
前言 在学习《Python从入门到精通（第2版）》的第15章 GUI界面编程——15.2.4 将.ui文件转换为.py文件时，按照书中步骤出错时的问题解决，希望对同样学习本书的同学有所帮助。 问题 问题出现 当跟着书15.2.4执行步骤（2）时PyCharm报错 错误提示：pyuic5: error ......
【JVM故障问题排查心得】「内存诊断系列」Xmx和Xms的大小是小于Docker容器以及Pod的大小的，为啥还是会出现OOMKilled？
为什么我设置的大小关系没有错，还会OOMKilled？ 这种问题常发生在JDK8u131或者JDK9版本之后所出现在容器中运行JVM的问题：在大多数情况下，JVM将一般默认会采用宿主机Node节点的内存为Native VM空间（其中包含了堆空间、直接内存空间以及栈空间），而并非是是容器的空间为标准。 ......
一个理想的数据湖应具备哪些功能？
介绍 从数据库到数据仓库，最后到数据湖，随着数据量和数据源的增加，数据格局正在迅速变化。 数据湖市场预计增长近 30%，将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。 此外从 2022 年数据和人工智能峰会来看，数据湖架构显然是数据管理和治理的未来。 由于 Datab ......
JavaScript 深拷贝的循环引用问题
如果说道实现深拷贝最简单的方法，我们第一个想到的就是 JSON.stringify() 方法，因为JSON.stringify()后返回的是字符串，所以我们会再使用JSON.parse()转换为对象，如下代码： let obj = { name: 'liaoyi',age: 22,sex: 1} J ......
比Sqoop功能更加强大开源数据同步工具DataX实战
前面两篇连续介绍两个数据同步组件后，好事应有三，大满贯收场，本篇介绍主流的异构数据源离线同步工具DataX的框架设计和执行流程，将其与大名鼎鼎大数据同步组件Sqoop做对比，部署安装并通过配置基于MySQL和HDFS互为读写的实例场景和关键配置说明。 ......
工业数据分析为什么要用FusionInsight MRS IoTDB？
摘要：MRS IoTDB，它是华为FusionInsight MRS大数据套件中的时序数据库产品，在深度参与Apache IoTDB社区开源版的基础上推出的高性能企业级时序数据库产品。 本文分享自华为云社区《工业数据分析为什么要用FusionInsight MRS IoTDB？》，作者：高深广 。 ......
详解JAVA线程问题诊断工具Thread Dump
摘要：Thread Dump是非常有用的诊断Java应用问题的工具。 本文分享自华为云社区《调试排错 - Java 线程分析之线程Dump分析》，作者：龙哥手记。 Thread Dump是非常有用的诊断Java应用问题的工具。每一个Java虚拟机都有及时生成所有线程在某一点状态的thread-dum ......
一次SQL调优 聊一聊 SQLSERVER 数据页
一：背景 1.讲故事 最近给一位朋友做 SQL 慢语句 优化，花了些时间调优，遗憾的是 SQLSERVER 非源码公开，玩起来不是那么顺利，不过从这次经历中我觉得明年的一个重大任务就是好好研究一下它，争取在 SQLSERVER 性能优化上做一些成绩，哈哈！ 个人觉得要想深入研究 SQLSERVER， ......
一款简单易用的远程日志查看器，可实时查看云服务器上的日志数据
本文主要内容 介绍一款开发者工具（远程日志查看器）的使用说明和技术实现思路 源码地址：https://github.com/HackyleShawe/RemoteLogViewer 前置知识 SpringBoot基础知识 SSH：Secure Shell Web前端基础：HTML、CSS、JavaS ......
C语言指针常见问题
我们在学C语言时，指针是我们最头疼的问题之一，针对C语言指针，博主根据自己的实际学到的知识以及开发经验，总结了以下使用C语言指针时常见问题。 指针 指针做函数参数 学习函数的时候，讲了函数的参数都是值拷贝，在函数里面改变形参的值，实参并不会发生改变。 如果想要通过形参改变实参的值，就需要传入指针了。 ......
子数组的最大异或和问题
子数组的最大异或和问题 作者：Grey 原文地址： 博客园：子数组的最大异或和问题 CSDN：子数组的最大异或和问题 题目描述 数组中所有数都异或起来的结果，叫做异或和。给定一个数组 arr，其中可能有正、有负，有零，返回 arr 的最大子数组异或和 题目链接见：牛客-子数组的最大异或和 暴力解 枚 ......
痞子衡嵌入式：探讨i.MXRT下FlexSPI driver实现Flash编程时对于中断支持问题
大家好，我是痞子衡，是正经搞技术的痞子。今天痞子衡给大家介绍的是i.MXRT下FlexSPI driver实现Flash编程时对于中断支持问题。 前段时间有客户在官方社区反映 i.MXRT1170 下使用官方 SDK 里 FlexSPI 驱动去擦写 Flash 时不能很好地支持全局中断。客户项目里用 ......
ClickHouse数据副本引擎
我的gitee地址：https://gitee.com/ddxygq/bigdata-technical-pai ，相关文章都放到这个仓库里了。 只有 MergeTree 系列里的表可支持副本： ReplicatedMergeTree ReplicatedSummingMergeTree Repli ......
（数据科学学习手札148）geopandas直接支持gdb文件写出与追加
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，在我之前的某篇文章中为大家介绍过如何在windows系统上，基于ESRI FileGDB驱动为geopandas补充针对gdb文件 ......
M.2 SSD固态硬盘上安装windows(win11)问题
本文简要介绍了windows在ssd类固态硬盘中安装的一些关键要点，及安装过程中可能遇到的一些坑或阻碍，以帮助读者避坑及解决相关问题 ......
Redis数据结构与对象
参考《Redis设计与实现》 系列文章目录和关于我 一丶简单动态字符串 当redis需要的不仅仅是一个字符串字面量，而是一个可以被修改的字符串值时，就会使用SDS（simple dynamic string）来表示字符串值。比如set msg "hello world"将创建一个新键值对，键值对的键 ......
火山引擎DataLeap数据调度实例的 DAG 优化方案
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案，集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。在平台中，一个核心的功能为任务的调度，会根据任务设置的调度频率（月级，日 ......
transforms模块—PyTorch图像处理与数据增强方法
计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。
作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvi... ......
遗传算法解决函数优化问题
遗传算法解决函数优化问题 作者: Cukor丘克 环境: MatlabR2020a + vscode 为什么要学习遗传算法 为什么要学习遗传算法，或者说遗传算法有什么厉害的地方。例如求解以下函数优化问题： $min f(x_1, x_2)=x^2_1+x^2_1+25*(sin^2x_1+sin^2 ......
遗传算法解决旅行商问题(TSP)
遗传算法解决旅行商问题 作者：Cukor丘克 环境：MatlabR2020a + vscode 问题描述 旅行商问题（TSP）. 一个商人欲从自己所在的城市出发，到若干个城市推销商品，然后回到其所在的城市。如何选择一条周游路线，使得商人经过每个城市一次且仅一次后回到起点，并使他所走过的路径最短？ T ......
Pytorch基础-tensor数据结构
torch.Tensor 是一种包含单一数据类型元素的多维矩阵，类似于 numpy 的 array。 Tensor 可以使用 torch.tensor() 转换 Python 的 list 或序列数据生成，生成的是dtype 默认是 torch.FloatTensor。 ......
关于 MySQL 嵌套子查询中，无法关联主表字段问题的折中解决方法
今天在工作中写项目的时候，遇到了一个让我感到几乎无解的问题，在转换了思路后，想出了一个折中的解决方案，记录如下。 其实，问题的场景，非常简单： 就是需要查询出上图的数据，红框是从 项目产品表 中查询的2个字段，绿框是从与项目产品表关联的 文章表 中查询出的1个字段。我希望实现的效果是，获取到项目产品 ......
TiDB上百T数据拆分实践
背景 提高TiDB可用性，需要把多点已有上百T TiDB集群拆分出2套 挑战 1、现有需要拆分的12套TiDB集群的版本多(4.0.9、5.1.1、5.1.2都有)，每个版本拆分方法存在不一样 2、其中5套TiDB，数据量均超过10T、最大的TiDB集群目前数据量62T、单TiDB集群备份集大，消耗 ......
Flink mini-batch "引发" 的乱序问题
问题描述 近期业务反馈， 开启了 mini-batch 之后， 出现了数据不准的情况， 关掉了 mini-batch 之后， 就正常了， 因此业务方怀疑，是不是 Flink 的 mini-batch 存在 bug ？ 问题排查 初步分析 mini-batch 已经在内部大规模使用， 目前没有发现一例 ......
数据看板可视化
前言 这段时间一直在做可视化，在我的项目中有一部分是电力巡检的数据可视化。其中的数据看板比较简单，我将其单独抽离出来形成一个demo，为保密demo中数据非真实数据。先看效果。 具体效果 链接相关 浏览链接：http://xisite.top/original/data-board/index.ht ......
数据结构高阶--八大排序汇总
排序总览 什么是排序？ 🔥**排序：所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作。 ✍️排序的稳定性：**假定在待排序的记录序列中，存在多个具有相同的关键字的记录，若经过排序，这些记录的相对次序保持不变，即在原序列中，r[i]=r[j]，且r[i]在r[j ......
echarts map地图中绘制浙江省市区县乡镇多级联动边界下钻的最新geojson数据文件获取和更新
ECharts Map地图的显示 ECharts支持地理坐标显示，专门提供了一个geo组件，在setOption中提供option.geo配置即可显示地图。 option.geo配置中有个map属性，取值为已通过 echarts.registerMap("name", geojson) 注册的nam ......
Crane如何做到利用率提升3倍稳定性还不受损？
作为云平台用户，我们都希望购买的服务器物尽其用，能够达到最大利用率。然而要达到理论上的节点负载目标是很的，计算节点总是存在一些装箱碎片和低负载导致的闲置资源。下图展示了某个生产系统的CPU资源现状，从图中可以看出，浪费主要来自以下几个方面： 业务需求与节点可调度资源很难完全匹配，因此在每个节点上都可 ......
云原生时代数据库运维体系演进
数据库运维面临着大规模数据库实例难以有效运维、数据库难以做好资源弹性伸缩以及个人隐私数据安全难以保障这三个方面的挑战。对此，vivo给出了自身的应对方案。 ......
Redis的数据被删除，占用内存咋还那么大？
通过 CONFIG SET maxmemory 100mb 或者在 redis.conf 配置文件设置 maxmemory 100mb Redis 内存占用限制。当达到内存最大值值，会触发内存淘汰策略删除数据。 除此之外，当 key 达到过期时间，Redis 会有以下两种删除过期数据的策略： 后台定 ......