管理工具 功能 数据库 工具
为什么NoSQL数据库这么受欢迎？
大数据时代，NoSQL数据库是企业构建数据能力的核心工具之一。近期，在2022腾讯全球数字生态大会NoSQL数据库专场上，腾讯云发布了多项NoSQL产品能力升级，并重点讲解了其背后的自研技术要点及实现细节，分享了腾讯云NoSQL为广大企业提供的高可靠、高效率、低成本的企业级特性及行业解决方案。 开场 ......
红袖添香,绝代妖娆,Ruby语言基础入门教程之Ruby3基础数据类型(data types)EP02
Ruby是强类型动态语言，即Ruby中一旦某一个对象被定义类型，如果不通过强制转换操作，那么它永远就是该数据类型，并且只有在Ruby解释器运行时才会检测对象数据类型，它的一切皆为对象（包括 nil 值对象），可以通过调用内置class属性来获取该对象的具体数据类型。对于 Ruby 而言，所有类型都继 ......
【深入浅出 Yarn 架构与实现】4-3 RM 管理 NodeManager
本篇继续对 RM 中管理 NodeManager 的部分进行深入的讲解。主要有三个部分：检查 NM 是否存活；管理 NM 的黑白名单；响应 NM RPC 请求。 ......
【深入浅出 Yarn 架构与实现】4-2 RM 管理 Application Master
本篇将对 RM 中管理 Application Master 的部分进行深入的讲解。
下面将会介绍 RM 与 AM 整体通信执行流程，并对 RM 中涉及的对应服务进行具体讲解。
为了更好的学习本篇知识，建议先熟悉以下知识点，不了解的部分可翻到前面对应的文章进行学习： ......
万万没想到，go的数据库操作，也能像php一样溜了
Hi,各位go的小伙伴。很多人都是从php转过来的吧，不知道你们有没有发现，go界的orm并没有像php的orm一样好用。这篇文章里，我们认真的讨论下这个问题，并且会在后面提出解决方案。 ......
解读JVM级别本地缓存Caffeine青出于蓝的要诀3 —— 讲透Caffeine的数据驱逐淘汰机制与用法
上一篇文章中我们聊了Caffeine的同步、异步的数据回源方式。本篇文章我们再一起研讨下经Caffeine改良过的异步数据驱逐处理实现，以及Caffeine支持的多种不同的数据淘汰驱逐机制和对应的实际使用。 ......
如何轻松做数据治理？开源技术栈告诉你答案
搭建一套数据治理体系耗时耗力，但或许我们没有必要从头开始搞自己的数据血缘项目。本文分享如何用开源、现代的 DataOps、ETL、Dashboard、元数据、数据血缘管理系统构建大数据治理基础设施。 ......
react 高效高质量搭建后台系统 系列 —— 请求数据
其他章节请看： react 高效高质量搭建后台系统 系列 请求数据 后续要做登录模块（主页），需要先和后端约定JSON数据格式，将 axios 进行封装，实现本地的数据模拟 mockjs。 Tip：spug 中后端返回 json 通常有 data 和 error两个 key。就像这样：{data: ......
手把手教你玩转 Excel 数据透视表
1. 什么是数据透视表 数据透视表是一种可以快速汇总、分析大量数据表格的交互式分析工具。使用数据透视表可以按照数据表格的不同字段从多个角度进行透视，并建立交叉表格，用以查看数据表格不同层面的汇总信息、分析结果以及摘要数据。 使用数据透视表可以深入分析数值数据，以帮助用户发现关键数据，并做出有关企业中 ......
敏捷价值流管理
对团队或企业来说，敏捷能够通过快速迭代、改进来更好地为客户或终端用户交付价值。但有些团队在引入敏捷项目管理模式之后，团队管理层看了看埋头工作的团队，“唉？团队的效率好像并没有提升啊，这不和以前一样吗……”在这种情况下，研发团队的负责人顶着压力开始敦促研发人员“提效”，不管是结对编程还是代码评审，实际 ......
构建自组织团队，让敏捷管理更好地落地
在实行敏捷管理的同时，也需要在敏捷团队中积极推行团队自组织，团队一旦成为自组织的，那么新的思想、方法、创意会源源不断的产生，当然也可能是产生新的文化、新的结构，随着涌现的不断发生，团队的创新能力获得了提升，得以更好地应对激烈的市场竞争。 ......
【爬虫+数据分析+数据可视化】python数据分析全流程《2021胡润百富榜》榜单数据！
用python爬取并分析《2021胡润百富榜》的榜单数据！
1、python爬虫讲解（requests向接口请求）。
2、python数据分析讲解（pandas数据分析及可视化画图）含：直方图、柱形图、饼图、词云图等。 ......
主题 2 Shell工具和脚本
主题 2 Shell工具和脚本 Shell 工具和脚本 · the missing semester of your cs education (missing-semester-cn.github.io) Shell脚本 shell 脚本是一种更加复杂度的工具。 定义变量 在bash中为变量赋值的 ......
C#开发的线程池和管理器 - 开源研究系列文章
上次编写了一个小软件，用于练手及自己的一个小工具集合。今天把其中的线程池和管理器的代码抽取出来，写成一个博文，让需要的朋友能够进行学习和应用。 这个线程管理器包括了3个类库和一个应用程序，见下图： 第一个是窗体磁吸屏幕的类库，以前有过一个VB编的类库（磁性窗体源码开源 - 开源研究系列文章），这次把 ......
一个理想的数据湖应具备哪些功能？
介绍 从数据库到数据仓库，最后到数据湖，随着数据量和数据源的增加，数据格局正在迅速变化。 数据湖市场预计增长近 30%，将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。 此外从 2022 年数据和人工智能峰会来看，数据湖架构显然是数据管理和治理的未来。 由于 Datab ......
比Sqoop功能更加强大开源数据同步工具DataX实战
前面两篇连续介绍两个数据同步组件后，好事应有三，大满贯收场，本篇介绍主流的异构数据源离线同步工具DataX的框架设计和执行流程，将其与大名鼎鼎大数据同步组件Sqoop做对比，部署安装并通过配置基于MySQL和HDFS互为读写的实例场景和关键配置说明。 ......
详解JAVA线程问题诊断工具Thread Dump
摘要：Thread Dump是非常有用的诊断Java应用问题的工具。 本文分享自华为云社区《调试排错 - Java 线程分析之线程Dump分析》，作者：龙哥手记。 Thread Dump是非常有用的诊断Java应用问题的工具。每一个Java虚拟机都有及时生成所有线程在某一点状态的thread-dum ......
工业数据分析为什么要用FusionInsight MRS IoTDB？
摘要：MRS IoTDB，它是华为FusionInsight MRS大数据套件中的时序数据库产品，在深度参与Apache IoTDB社区开源版的基础上推出的高性能企业级时序数据库产品。 本文分享自华为云社区《工业数据分析为什么要用FusionInsight MRS IoTDB？》，作者：高深广 。 ......
rbac权限管理
一.概述 传统权限管理： 类似于这样，每新增一个人都要重新给她一些权限，是针对每个人单独设置的，这种方法已经不适用于高效管控权限的 基于此，RBAC权限模型就诞生了，Role-Based Access control也就是基于角色的权限控制，相对于传统模式，这套方案强调一个==role角色== RB ......
如何做好一款管理后台框架
序 2020 年 10 月 17 日，我正式发布了 Fantastic-admin 这款基于 Vue 的中后台管理系统框架。在这两年多的时间里，我陆续写了几篇我在开发这套框架中的一些心得和技术总结： 2020 年《我是如何设计后台框架里那些锦上添花的动画效果》 2020 年《一劳永逸，解决基于 ke ......
一次SQL调优 聊一聊 SQLSERVER 数据页
一：背景 1.讲故事 最近给一位朋友做 SQL 慢语句 优化，花了些时间调优，遗憾的是 SQLSERVER 非源码公开，玩起来不是那么顺利，不过从这次经历中我觉得明年的一个重大任务就是好好研究一下它，争取在 SQLSERVER 性能优化上做一些成绩，哈哈！ 个人觉得要想深入研究 SQLSERVER， ......
一款简单易用的远程日志查看器，可实时查看云服务器上的日志数据
本文主要内容 介绍一款开发者工具（远程日志查看器）的使用说明和技术实现思路 源码地址：https://github.com/HackyleShawe/RemoteLogViewer 前置知识 SpringBoot基础知识 SSH：Secure Shell Web前端基础：HTML、CSS、JavaS ......
【开源】基于.net6+gtksharp实现的Linux下的图形界面串口调试工具
背景 22年初从上家互联网公司离职以后，充分认识到互联网行业的风险，公司在没有自身稳定产品的情况下，互联网行业就是一个烧钱的行业，支出远远大于收入来源，上家公司就是如此，12年的公司转瞬间轰然倒地，1000多号人面临失业，不幸的是本人也在其中。经过深思熟虑以后本人决定找个有自身稳定收入的企业，因此便 ......
ClickHouse数据副本引擎
我的gitee地址：https://gitee.com/ddxygq/bigdata-technical-pai ，相关文章都放到这个仓库里了。 只有 MergeTree 系列里的表可支持副本： ReplicatedMergeTree ReplicatedSummingMergeTree Repli ......
（数据科学学习手札148）geopandas直接支持gdb文件写出与追加
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，在我之前的某篇文章中为大家介绍过如何在windows系统上，基于ESRI FileGDB驱动为geopandas补充针对gdb文件 ......
Redis数据结构与对象
参考《Redis设计与实现》 系列文章目录和关于我 一丶简单动态字符串 当redis需要的不仅仅是一个字符串字面量，而是一个可以被修改的字符串值时，就会使用SDS（simple dynamic string）来表示字符串值。比如set msg "hello world"将创建一个新键值对，键值对的键 ......
火山引擎DataLeap数据调度实例的 DAG 优化方案
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案，集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。在平台中，一个核心的功能为任务的调度，会根据任务设置的调度频率（月级，日 ......
transforms模块—PyTorch图像处理与数据增强方法
计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。
作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvi... ......
Pytorch基础-tensor数据结构
torch.Tensor 是一种包含单一数据类型元素的多维矩阵，类似于 numpy 的 array。 Tensor 可以使用 torch.tensor() 转换 Python 的 list 或序列数据生成，生成的是dtype 默认是 torch.FloatTensor。 ......
TiDB上百T数据拆分实践
背景 提高TiDB可用性，需要把多点已有上百T TiDB集群拆分出2套 挑战 1、现有需要拆分的12套TiDB集群的版本多(4.0.9、5.1.1、5.1.2都有)，每个版本拆分方法存在不一样 2、其中5套TiDB，数据量均超过10T、最大的TiDB集群目前数据量62T、单TiDB集群备份集大，消耗 ......