方法论 分析法 数据分析 营销管理
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
Python函数用法和底层分析
Python函数用法和底层分析 函数是可重用的程序代码块。函数的作用，不仅可以实现代码的复用，更能实现代码的一致性。一致性指的是，只要修改函数的代码，则所有调用该函数的地方都能得到体现。 在编写函数时，函数体中的代码写法和我们前面讲述的基本一致，只是对代码实现了封装，并增加了函数调用、传递参数、返回 ......
为什么NoSQL数据库这么受欢迎？
大数据时代，NoSQL数据库是企业构建数据能力的核心工具之一。近期，在2022腾讯全球数字生态大会NoSQL数据库专场上，腾讯云发布了多项NoSQL产品能力升级，并重点讲解了其背后的自研技术要点及实现细节，分享了腾讯云NoSQL为广大企业提供的高可靠、高效率、低成本的企业级特性及行业解决方案。 开场 ......
红袖添香,绝代妖娆,Ruby语言基础入门教程之Ruby3基础数据类型(data types)EP02
Ruby是强类型动态语言，即Ruby中一旦某一个对象被定义类型，如果不通过强制转换操作，那么它永远就是该数据类型，并且只有在Ruby解释器运行时才会检测对象数据类型，它的一切皆为对象（包括 nil 值对象），可以通过调用内置class属性来获取该对象的具体数据类型。对于 Ruby 而言，所有类型都继 ......
【深入浅出 Yarn 架构与实现】4-3 RM 管理 NodeManager
本篇继续对 RM 中管理 NodeManager 的部分进行深入的讲解。主要有三个部分：检查 NM 是否存活；管理 NM 的黑白名单；响应 NM RPC 请求。 ......
【深入浅出 Yarn 架构与实现】4-2 RM 管理 Application Master
本篇将对 RM 中管理 Application Master 的部分进行深入的讲解。
下面将会介绍 RM 与 AM 整体通信执行流程，并对 RM 中涉及的对应服务进行具体讲解。
为了更好的学习本篇知识，建议先熟悉以下知识点，不了解的部分可翻到前面对应的文章进行学习： ......
万万没想到，go的数据库操作，也能像php一样溜了
Hi,各位go的小伙伴。很多人都是从php转过来的吧，不知道你们有没有发现，go界的orm并没有像php的orm一样好用。这篇文章里，我们认真的讨论下这个问题，并且会在后面提出解决方案。 ......
解读JVM级别本地缓存Caffeine青出于蓝的要诀3 —— 讲透Caffeine的数据驱逐淘汰机制与用法
上一篇文章中我们聊了Caffeine的同步、异步的数据回源方式。本篇文章我们再一起研讨下经Caffeine改良过的异步数据驱逐处理实现，以及Caffeine支持的多种不同的数据淘汰驱逐机制和对应的实际使用。 ......
drf快速使用 CBV源码分析 drf之APIView分析 drf之Request对象分析
序列化和反序列化 api接口开发，最核心最常见的一个过程就是序列化，所谓序列化就是把数据转换格式，序列化可以分两个阶段：序列化、反序列化 序列化：把我们语言识别的数据转换成指定的格式提供给别人。 字典，列表，对象 > json/xml/prop,massagepack > 将json格式的数据提供给 ......
如何轻松做数据治理？开源技术栈告诉你答案
搭建一套数据治理体系耗时耗力，但或许我们没有必要从头开始搞自己的数据血缘项目。本文分享如何用开源、现代的 DataOps、ETL、Dashboard、元数据、数据血缘管理系统构建大数据治理基础设施。 ......
react 高效高质量搭建后台系统 系列 —— 请求数据
其他章节请看： react 高效高质量搭建后台系统 系列 请求数据 后续要做登录模块（主页），需要先和后端约定JSON数据格式，将 axios 进行封装，实现本地的数据模拟 mockjs。 Tip：spug 中后端返回 json 通常有 data 和 error两个 key。就像这样：{data: ......
手把手教你玩转 Excel 数据透视表
1. 什么是数据透视表 数据透视表是一种可以快速汇总、分析大量数据表格的交互式分析工具。使用数据透视表可以按照数据表格的不同字段从多个角度进行透视，并建立交叉表格，用以查看数据表格不同层面的汇总信息、分析结果以及摘要数据。 使用数据透视表可以深入分析数值数据，以帮助用户发现关键数据，并做出有关企业中 ......
【爬虫+数据分析+数据可视化】python数据分析全流程《2021胡润百富榜》榜单数据！
用python爬取并分析《2021胡润百富榜》的榜单数据！
1、python爬虫讲解（requests向接口请求）。
2、python数据分析讲解（pandas数据分析及可视化画图）含：直方图、柱形图、饼图、词云图等。 ......
敏捷价值流管理
对团队或企业来说，敏捷能够通过快速迭代、改进来更好地为客户或终端用户交付价值。但有些团队在引入敏捷项目管理模式之后，团队管理层看了看埋头工作的团队，“唉？团队的效率好像并没有提升啊，这不和以前一样吗……”在这种情况下，研发团队的负责人顶着压力开始敦促研发人员“提效”，不管是结对编程还是代码评审，实际 ......
构建自组织团队，让敏捷管理更好地落地
在实行敏捷管理的同时，也需要在敏捷团队中积极推行团队自组织，团队一旦成为自组织的，那么新的思想、方法、创意会源源不断的产生，当然也可能是产生新的文化、新的结构，随着涌现的不断发生，团队的创新能力获得了提升，得以更好地应对激烈的市场竞争。 ......
【kubernetes入门到精通】Kubernetes的健康监测机制以及常见ExitCode问题分析「探索篇」
无论是在微服务体系还是云原生体系的开发迭代过程中，通常都会以 Kubernetes 进行容器化部署，但是这也往往带来了很多意外的场景和情况。例如，虽然我们已经将 JVM 堆内存设置为小于 Docker 容器中内存及 K8S 的 Pod 的内存，但是还是会被 K8s 给无情的杀掉（Kill -9 / ... ......
C#开发的线程池和管理器 - 开源研究系列文章
上次编写了一个小软件，用于练手及自己的一个小工具集合。今天把其中的线程池和管理器的代码抽取出来，写成一个博文，让需要的朋友能够进行学习和应用。 这个线程管理器包括了3个类库和一个应用程序，见下图： 第一个是窗体磁吸屏幕的类库，以前有过一个VB编的类库（磁性窗体源码开源 - 开源研究系列文章），这次把 ......
【Java技术专题】「原理专题」深入分析Java中finalize方法的作用和底层原理
finalize方法是什么 finalize方法是Object的protected方法，Object的子类们可以覆盖该方法以实现资源清理工作，GC在首次回收对象之前调用该方法。 finalize方法与C++的析构函数的区别 finalize方法与C++中的析构函数不是对应的，C++中的析构函数调用的 ......
Java基础类String学习分析
1 String不可变性 String类被声明为 final，因此它不可被继承。 内部使用char数组存储数据，该数组被声明为final，这意味着value数组初始化之后就不能再指向其它数组。 String内部没有改变value数组的方法 String类中所有修改String值的方法，如果内容没有改 ......
一个理想的数据湖应具备哪些功能？
介绍 从数据库到数据仓库，最后到数据湖，随着数据量和数据源的增加，数据格局正在迅速变化。 数据湖市场预计增长近 30%，将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。 此外从 2022 年数据和人工智能峰会来看，数据湖架构显然是数据管理和治理的未来。 由于 Datab ......
工业数据分析为什么要用FusionInsight MRS IoTDB？
摘要：MRS IoTDB，它是华为FusionInsight MRS大数据套件中的时序数据库产品，在深度参与Apache IoTDB社区开源版的基础上推出的高性能企业级时序数据库产品。 本文分享自华为云社区《工业数据分析为什么要用FusionInsight MRS IoTDB？》，作者：高深广 。 ......
基于K-means聚类算法进行客户人群分析
摘要：在本案例中，我们使用人工智能技术的聚类算法去分析超市购物中心客户的一些基本数据，把客户分成不同的群体，供营销团队参考并相应地制定营销策略。 本文分享自华为云社区《基于K-means聚类算法进行客户人群分析》，作者：HWCloudAI 。 实验目标 掌握如何通过机器学习算法进行用户群体分析； 掌 ......
比Sqoop功能更加强大开源数据同步工具DataX实战
前面两篇连续介绍两个数据同步组件后，好事应有三，大满贯收场，本篇介绍主流的异构数据源离线同步工具DataX的框架设计和执行流程，将其与大名鼎鼎大数据同步组件Sqoop做对比，部署安装并通过配置基于MySQL和HDFS互为读写的实例场景和关键配置说明。 ......
rbac权限管理
一.概述 传统权限管理： 类似于这样，每新增一个人都要重新给她一些权限，是针对每个人单独设置的，这种方法已经不适用于高效管控权限的 基于此，RBAC权限模型就诞生了，Role-Based Access control也就是基于角色的权限控制，相对于传统模式，这套方案强调一个==role角色== RB ......
如何做好一款管理后台框架
序 2020 年 10 月 17 日，我正式发布了 Fantastic-admin 这款基于 Vue 的中后台管理系统框架。在这两年多的时间里，我陆续写了几篇我在开发这套框架中的一些心得和技术总结： 2020 年《我是如何设计后台框架里那些锦上添花的动画效果》 2020 年《一劳永逸，解决基于 ke ......
一次SQL调优 聊一聊 SQLSERVER 数据页
一：背景 1.讲故事 最近给一位朋友做 SQL 慢语句 优化，花了些时间调优，遗憾的是 SQLSERVER 非源码公开，玩起来不是那么顺利，不过从这次经历中我觉得明年的一个重大任务就是好好研究一下它，争取在 SQLSERVER 性能优化上做一些成绩，哈哈！ 个人觉得要想深入研究 SQLSERVER， ......
一款简单易用的远程日志查看器，可实时查看云服务器上的日志数据
本文主要内容 介绍一款开发者工具（远程日志查看器）的使用说明和技术实现思路 源码地址：https://github.com/HackyleShawe/RemoteLogViewer 前置知识 SpringBoot基础知识 SSH：Secure Shell Web前端基础：HTML、CSS、JavaS ......
（四）elasticsearch 源码之索引流程分析
1.概览 前面我们讨论了es是如何启动，本文研究下es是如何索引文档的。 下面是启动流程图，我们按照流程图的顺序依次描述。 其中主要类的关系如下: 2. 索引流程 (primary) 我们用postman发送请求，创建一个文档 我们发送的是http请求，es也有一套http请求处理逻辑，和sprin ......
ClickHouse数据副本引擎
我的gitee地址：https://gitee.com/ddxygq/bigdata-technical-pai ，相关文章都放到这个仓库里了。 只有 MergeTree 系列里的表可支持副本： ReplicatedMergeTree ReplicatedSummingMergeTree Repli ......