526互联

函数 原理printf系统

一图看懂Hadoop中的MapReduce与Spark的区别：从单机数据系统到分布式数据系统经历了哪些?

今日博主思考了一个问题：Hadoop中的MapReduce与Spark他们之间到底有什么关系？ 直到我看到了下面这张图 废话不多说先上图👇 我们知道，单机数据系统，在本地主机上针对数据有单机本地存储操作（localFS）和单机计算操作（SQL） 这是在数据量比较小方便在一台主机就完成任务的情况。 ......
数据 系统 分布式 单机 MapReduce

新零售SaaS架构：多租户系统架构设计

传统大企业更喜欢私有化部署、个性化交付的传统模式，因为他们需要更强的管控和更高的安全性。 然而，中小企业付费能力有限，需求往往也更加标准化，所以更喜欢价格更低的、订购更简单的SaaS产品。 为了满足不同客户的需求，多租户的底层架构设计是至关重要的。 ......
架构 租户 系统 SaaS

Docker 工作原理分析

docker 容器原理分析 docker 的工作方式 Namespace 容器对比虚拟机 Cgroups 容器看到的文件 Mount namespace chroot rootfs Volume（数据卷) 打包一个go镜像 总结 参考 docker 容器原理分析 docker 的工作方式 当我们的程 ......
原理 Docker

redisson分布式锁原理剖析

redisson分布式锁原理剖析 ​ 相信使用过redis的，或者正在做分布式开发的童鞋都知道redisson组件，它的功能很多，但我们使用最频繁的应该还是它的分布式锁功能，少量的代码，却实现了加锁、锁续命(看门狗)、锁订阅、解锁、锁等待（自旋）等功能，我们来看看都是如何实现的。 加锁 //获取锁对 ......
分布式 redisson 原理

ADPCM(自适应差分脉冲编码调制)的原理和计算

ADPCM 用于解决 DPCM 的差值宽度问题, 通过定义一个差值表(例如IMA ADPCM 中使用 89个固定差值, 取值从7到32767), 将差值的范围放宽到16bit, 此时差值在数组中的编号只需要6bit就可以表示(0 - 88), 再进一步只记录编号的变化值, 就将变化量压缩到了4bit... ......
脉冲 编码 原理 ADPCM

Android 内存缓存框架 LruCache 的实现原理，手写试试？

本文已收录到 AndroidFamily，技术和职场问题，请关注公众号 [彭旭锐] 提问。 前言 大家好，我是小彭。 在之前的文章里，我们聊到了 LRU 缓存淘汰算法，并且分析 Java 标准库中支持 LUR 算法的数据结构 LinkedHashMap。当时，我们使用 LinkedHashMap 实 ......
缓存 框架 LruCache 原理 内存

函数调用时用const保护指针

当调用函数并且把指向变量的指针作为参数传入时，通常会假设函数将修改变量（否则，为什么函数需要指针呢？）。例如，如果在程序中看到语句 f(&x); 大概是希望f改变x的值。但是，f仅需检查x的值而不是改变它的值也是可能的。指针可能高效的原因是：如果变量需要大量的存储空间，那么传递变量的值会浪费时间和空 ......
指针 函数 const

Linux系统各种库/软件版本输出指令

日常开发基于Linux系统（其实更多的是Ubuntu平台），平时总会遇到一些情况需要查看某个库或者软件的版本信息，在这里做一下简单的记录。 1. 查看glibc版本 方法一：使用ldd指令 cv@cv:~$ ldd --version ldd (Ubuntu GLIBC 2.23-0ubuntu11 ......
指令 版本 系统 Linux 软件

2022-2023年度必备宇宙最全Windows系统软件清单

本文为大家介绍史上最强Windows必备神器，每一款都是良心的超好用产品，助你日常办公效率加倍提升。欢迎大家点赞、收藏加分享，谢谢大家。 ......
清单 宇宙 Windows 年度 系统

python进阶（28）import导入机制原理

前言 在Python中，一个.py文件代表一个Module。在Module中可以是任何的符合Python文件格式的Python脚本。了解Module导入机制大有用处。 1. Module组成 一个.py文件就是一个module。Module中包括attribute, function等。 这里说的a ......
原理 机制 python import

基于jenkins+kubernetes的cicd流程实践一：环境搭建及方案原理

1.基础环境：Centos7.9，kubernetes:v1.21.5 node-1@112（master）：docker，containerd，harbornginx（80），git，etcd node-2@109（master/worker）：docker，containerd，ingress_ ......
kubernetes 流程 原理 jenkins 环境

深入浅出学习透析Nginx服务器的基本原理和配置指南「初级实践篇 」

Nginx (Engine X)是一个轻量级的Web服务器 、反向代理服务器及电子邮件（IMAP/POP3）代理服务器、高性能的HTTP服务器，它以高稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。 ......
实践篇 深入浅出 原理 服务器 指南

深入浅出学习透析 Nginx 服务器的基本原理和配置指南「运维操作实战篇」

Nginx 安装非常的简单，且Nginx 启动特别容易，并且几乎可以做到24小时不间断运行，即使运行数个月也不需要重新启动。你还能够在不间断服务的情况下进行软件版本的升级。接下来我们要针对于安装和运维操作进行实战和分析。 ......
深入浅出 实战 原理 服务器 指南

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-中

本篇详细描述hoodie数据读写流程，进一步加深对数据湖技术的理解。理论后转战集成Spark的使用，通过spark-shell和spark-sql实现hoodie的插入数据、查询数据、更新数据、删除数据、覆盖数据、时间旅行查询等示例，了解创建表、修改表结构、查询分区、删除分区基本用法，为进一步使用奠... ......
数据 双管齐下 下一代 实战 原理

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下

本篇演示了Hudi集成Spark的Scala编程示例，并一步步操作说明如何使用DeltaStreamer从Kafka里读取数据写入到Hudi表的HDFS中，接着集成Flink的环境准备，通过基于yarn-session的Flink的sql-client方式提交任务实现插入数据和流式读取数据，了解字节... ......
数据 双管齐下 下一代 实战 原理

大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-后续

本篇实战Hudi集成Flink SQl编程示例实现从生成器表写入Hudi表，打包集群验证；然后通过Hudi Flink CDC实现采集MySQL binlog日志写入Kafka再入到hudi表的完整示例，了解Hudi Flink的基础调试只是，最后通过Hudi集成Hive实现Flink Hive C... ......
数据 双管齐下 下一代 实战 原理

记一次 .NET 某电子厂OA系统 非托管内存泄露分析

一：背景 1.讲故事 这周有个朋友找到我，说他的程序出现了内存缓慢增长，没有回头的趋势，让我帮忙看下到底怎么回事，据朋友说这个问题已经困扰他快一周了，还是没能找到最终的问题，看样子这个问题比较刁钻，不管怎么说，先祭出 WinDbg。 二：WinDbg 分析 1. 托管还是非托管泄露 一直关注这个系列 ......
电子厂 内存 系统 电子 NET

MySQL数据库：2、MySQL的下载与安装、基本使用、系统服务制作

一、MySQL简介 ​ MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。 二、安装与下载 1、下载流程 1、访问官方（www.mysql.com） 2、点击‘DOWNLOADS’，进入下载界面 3、下拉，找到‘ ......
MySQL 数据库 数据 系统

iNeuOS工业互联网操作系统，脚本化实现设备运行时长和效率计算与统计

有一个煤矿项目，使用iNeuOS系统时有一个需要是：要统计设备的运行时长，进一步统计设备运行效率。主要是有效分析设备运行状态，合理的进行节能。iNeuOS本身具备强大的脚本能力，需要现场实施人员有一定脚本编写能力，如果不具备脚本编写能力，那么下面的模板修改相应的参数即可。 ......
时长 脚本 效率 互联网 工业

redis集群之主从复制集群的原理和部署

最近在复盘redis的知识，所以本文开始希望介绍下redis的集群架构、原理以及部署；本文主要介绍redis的主从复制集群，包括其架构模型，原理，高可用等； 一、主从集群的介绍 redis的主从复制集群为了提高效率降低客户端等待时长，主从间的数据同步采用的是弱一致性的策略，即客户端请求发到主机后，不 ......
集群 主从 原理 redis

redis集群之分片集群的原理和常用代理环境部署

上篇文章刚刚介绍完redis的主从复制集群，但主从复制集群主要是为了解决redis集群的单点故障问题，通过整合哨兵能实现集群的高可用；但是却无法解决数据容量以及单节点的压力问题，所以本文继续介绍redis的分片集群；分片集群即将不同的数据分发到不同的redis实例(或者主从集群)，每个redis实例 ......
集群 原理 常用 环境 redis

<七>深入理解new和delete的原理

new ,delete 运算符 int *p =new int; delete p; 看一下汇编代码 可以看到new 和delete 运算符其实也是 operator运算符重载函数的调用 malloc和new malloc 按字节开辟内存 new在开辟内存的时候需要指定类型 new int[10] ......
原理 delete new lt gt

Linux 系统环境监测

Linux系统环境监测 Linux系统环境主要监测CPU、内存、磁盘I/O和网络流量。 1. CPU （1） 查看CPU的负载情况：uptime 可以通过uptime查看系统整体的负载情况。 如果服务器的CPU为1核心，则1分钟的系统平均负载 >=3 说明负载过高，如果服务器的CPU为4核心，则lo ......
环境监测 环境 系统 Linux

好好的系统，为什么要分库分表？

大家好，我是小富～ 说在前边 今天是《分库分表 ShardingSphere 原理与实战》系列的开篇文章，之前写过几篇关于分库分表的文章反响都还不错，到现在公众号:程序员小富后台不断的有人留言、咨询分库分表的问题，我也没想到大家对于分库分表的话题会这么感兴趣，可能很多人的工作内容业务量较小很难接触到 ......
分表 分库 系统

在Cloudreve网盘系统中集成kkFileView在线预览（暂时）

###服务器：WindowsServer 2016 ###Cloudreve 需求方想整一个在小团队内部使用的网盘系统，最终在千挑万选之下选中了Cloudreve。 Github地址：https://github.com/cloudreve/Cloudreve 官网地址：https://docs.c ......
kkFileView Cloudreve 系统

JavaScript入门③-函数(2)原理{深入}执行上下文

被JavaScript的闭包、上下文、嵌套函数、this搞得很头痛，这语言设计的，感觉比较混乱，先勉强理解总结一下???。● 为什么有闭包这么个东西？闭包包的是什么？● 什么是词法作用域？● 函数是如执行的呢？ ......
上下文 JavaScript 函数 上下 原理

KVC原理与数据筛选

作者：宋宏帅 1 前言 在技术论坛中看到一则很有意思的KVC案例： @interface Person : NSObject @property (nonatomic, copy) NSString *name; @property (nonatomic, assign) NSInteger age ......
原理 数据 KVC

Java对象拷贝原理剖析及最佳实践

作者：宁海翔 1 前言 对象拷贝，是我们在开发过程中，绕不开的过程，既存在于Po、Dto、Do、Vo各个表现层数据的转换，也存在于系统交互如序列化、反序列化。 Java对象拷贝分为深拷贝和浅拷贝，目前常用的属性拷贝工具，包括Apache的BeanUtils、Spring的BeanUtils、Cgli ......
拷贝 原理 对象 Java

【图像处理笔记】SIFT算法原理与源码分析

【图像处理笔记】总目录 0 引言 特征提取就是从图像中提取显著并且具有可区分性和可匹配性的点结构。常见的点结构一般为图像内容中的角点、交叉点、闭合区域中心点等具有一定物理结构的点，而提取点结构的一般思想为构建能够区分其他图像结构的响应函数或者从特征线或轮廓中进行稀疏采样。Harris角点检测器便是运 ......
图像处理 算法 源码 图像 原理

JavaScript入门②-函数(1)基础{浅出}

函数（方法）就是一段定义好的逻辑代码，函数本身也是一个object引用对象。JS的深入浅出，全面了解函数，从作用域到词法分析，从箭头函数到call/apply/bind，从this到闭包，从上下文到调用栈，从内核到外延... ......
JavaScript 函数 基础
共16400篇  :544/547页 首页上一页544下一页尾页