526互联

利弊 分布式 代码redis

Redis 异步客户端选型及落地实践

为了支持更加广泛的业务场景，可视化编排系统近期需要支持对缓存的操作功能，为保证编排系统的性能，服务的执行过程采用了异步的方式，因此我们考虑使用Redis的异步客户端来完成对缓存的操作。 ......
客户端 客户 Redis

Django框架之drf：5、反序列化器校验部分源码分析，断言，drf之请求与响应，视图组件介绍及两个视图基类，代码部分实战

Django框架之drf 一、反序列化类校验部分源码解析 反序列化校验什么时候开始执行校验？ 剖析流程一：在视图中使用反序列化器实例化的对象调用is_valid()的时候就会进行校验，通贩校验返回True，反之False class BookView(APIView): # 新增 def post( ......
视图 部分 序列 实战 组件

开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上

再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
数据 数据分析 分布式 仓库 规模

开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下

本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
数据 数据分析 分布式 仓库 规模

.Net Core对于`RabbitMQ`封装分布式事件总线

首先我们需要了解到分布式事件总线是什么； 分布式事件总线是一种在分布式系统中提供事件通知、订阅和发布机制的技术。它允许多个组件或微服务之间的协作和通信，而无需直接耦合或了解彼此的实现细节。通过事件总线，组件或微服务可以通过发布或订阅事件来实现异步通信。 例如，当一个组件完成了某项任务并生成了一个事件 ......
分布式 总线 RabbitMQ 事件 Core

Python 同步和异步使用Redis集群的方法

目前在做Python项目用到同步和异步的方法使用Redis单机，现在要增加兼容Redis集群。也就说当前项目用到中同步单机，同步集群，异步单机，异步集群都用到了。 ......
集群 方法 Python Redis

Redis - 介绍与使用场景

Redis 每秒可以处理超过 10 万次读写操作，是已知性能最快的 key-value 数据库，称得上是必须要学会的知识。 ......
场景 Redis

MATLAB人工神经网络ANN代码

本文介绍基于MATLAB实现人工神经网络（ANN）回归的详细代码与操作。 在之前的文章MATLAB实现随机森林（RF）回归与自变量影响程度分析中，我们对基于MATLAB的随机森林（RF）回归与变量影响程度（重要性）排序的代码加以详细讲解与实践。本次我们继续基于MATLAB，对另一种常用的机器学习方法 ......
神经网络 人工 神经 代码 MATLAB

Python TensorFlow深度学习回归代码：DNNRegressor

本文介绍基于Python语言中TensorFlow的tf.estimator接口，实现深度学习神经网络回归的具体方法。 () 1 写在前面 1. 本文介绍的是基于TensorFlow tf.estimator接口的深度学习网络，而非TensorFlow 2.0中常用的Keras接口；关于Keras接 ......
DNNRegressor TensorFlow 深度 代码 Python

基于遗传算法的地图四色原理绘图上色的Python代码

本文介绍利用Python语言，实现基于遗传算法（GA）的地图四色原理着色操作。 1 任务需求 首先，我们来明确一下本文所需实现的需求。 现有一个由多个小图斑组成的矢量图层，如下图所示。 我们需要找到一种由4种颜色组成的配色方案，对该矢量图层各图斑进行着色，使得各相邻小图斑间的颜色不一致，如下图所示。 ......
算法 原理 代码 地图 Python

(一) MdbCluster分布式内存数据库——基础架构介绍

(一) MdbCluster分布式内存数据库——基础架构介绍 这个项目是怎么开始的我已经有些记不清楚了，大概是原来的内存数据库很不好用，一次次地让我们踩坑，我又自以为是地觉得可以做一个更好的出来。自从拥有自己的团队以来，我思考最多的总是如何带着团队做出有意义和有价值的产品，而不是将时间浪费在无谓的琐 ......
分布式 MdbCluster 架构 内存 数据库

单线程架构的Redis如此之快的 4 个原因

前言 作为内存中数据存储，Redis 以其速度和性能着称，通常被用作大多数后端服务的缓存解决方案。 但是，在内部，Redis 采用单线程架构。 为什么单线程设计依然会有这么高的性能？如果利用多线程并发处理请求不是更好吗？ 在本文中，让我们深入探讨为什么 Redis 才有单线程架构，依然如此之快，主要 ......
线程 架构 原因 Redis

分布式协议与算法-Raft算法

本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 大家都知道，Raft算法属于Multi-Paxos算法，它是在Multi-Paxos思想的基础上，做了一些简化和限制。关于Paxos算法，博主在之前的文章有过总结，大家可以从这里跳转：分布式协议与算法-Paxos算法 关于Raft算法相关的开 ......
算法 分布式 Raft

Redis缓存的主要异常及解决方案

作者：京东物流 陈昌浩 1 导读 Redis 是当前最流行的 NoSQL数据库。Redis主要用来做缓存使用，在提高数据查询效率、保护数据库等方面起到了关键性的作用，很大程度上提高系统的性能。当然在使用过程中，也会出现一些异常情景，导致Redis失去缓存作用。 2 异常类型 异常主要有 缓存雪崩 缓 ......
缓存 解决方案 方案 Redis

如何让Java编译器帮你写代码

本文结合京东监控埋点场景，对解决样板代码的技术选型方案进行分析，给出最终解决方案后，结合理论和实践进一步展开。通过关注文中的技术分析过程和技术场景，读者可收获一种样板代码思想过程和解决思路，并对Java编译器底层有初步了解。 ......
编译器 代码 Java

支付对接常用的加密方式介绍以及java代码实现

金融场景里如何让收银和支付更安全？背后的基础原件是加密方式的设计架构。本文重点讲解在京东金融中，我们如何用Java来实现支付加密。 ......
常用 代码 方式 java

Redis之key的淘汰策略

淘汰策略概述 redis作为缓存使用时，在添加新数据的同时自动清理旧的数据。这种行为在开发者社区众所周知，也是流行的memcached系统的默认行为。 redis中使用的LRU淘汰算法是一种近似LRU的算法。 淘汰策略 针对淘汰策略，redis有一下几种配置方案： 1、noeviction：当触发内 ......
策略 Redis key

Java程序员用代码，计算最大公约数和最小公倍数

作者：小傅哥 博客：https://bugstack.cn 源码：https://github.com/fuzhengwei/java-algorithms 沉淀、分享、成长，让自己和他人都能有所收获！😄 一、前言 嘿，小傅哥怎么突然讲到最大公约数了？ 这么想你肯定是没有好好阅读前面章节中小傅哥讲 ......
最小公倍数 公倍数 最大公约数 公约数 程序员

用Java写一个分布式缓存——缓存管理

之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结 源码：https://github.com/weloe/Java-Distributed-Cache ......
缓存 分布式 Java

用Java写一个分布式缓存——缓存淘汰算法

前言 之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结。 源码：weloe/Java-Distributed-Cache (github.com) 本篇代码： Java-Distributed-Cache/src/main/j ......
缓存 分布式 算法 Java

面对集中式缓存实现上的挑战，Redis交出的是何种答卷？聊聊Redis在分布式方面的能力设计

对于一个集中式缓存的分布式能力构建，必须要额外提供一些机制，来保障数据在各个节点上的安全与一致性。本文以Redis为代表，看下集Redis面对上述问题交出的是怎样一份答卷。 ......
Redis 答卷 分布式 缓存 方面

Redis缓存何以一枝独秀？(2) —— 聊聊Redis的数据过期、数据淘汰以及数据持久化的实现机制

Redis作为一个非关系型数据库，由于其超高的并发处理性能，及其对缓存场景所提供的系列能力构建，使其成为了集中缓存的绝佳选择。本篇我们聊聊Redis数据管理的能力，如数据过期、数据淘汰、数据持久化等。 ......
数据 一枝独秀 Redis 缓存 机制

Redis缓存何以一枝独秀？——从百变应用场景与热门面试题中感受下Redis的核心特性与使用注意点

在分布式盛行的今天，本地缓存明显无法满足分布式场景的缓存诉求。作为应对之法，集中式缓存被广泛的使用在各中分布式系统中，而使用最广泛的莫过于大家耳熟能详的Redis了，本篇开始聊一聊Redis相关的内容。 ......
一枝独秀 Redis 缓存 场景 特性

.NetCore下基于FreeRedis实现的Redis6.0客户端缓存之缓存键条件优雅过滤

前言 众所周知内存缓存(MemoryCache)数据是从内存中获取，性能表现上是最优的，但是内存缓存有一个缺点就是不支持分布式，数据在各个部署节点上各存一份，每份缓存的过期时间不一致，会导致幻读等各种问题，所以我们实现分布式缓存通常会用上Redis 但如果在高并发的情况下读取Redis的缓存，会进行 ......
缓存 FreeRedis 客户端 条件 NetCore

探讨下如何更好的使用缓存 —— Redis缓存的特殊用法以及与本地缓存一起构建多级缓存的实现

本篇文章，我们就一起聊一聊如何来更好的使用缓存，探寻下如何降低缓存交互过程的性能损耗、如何压缩缓存的存储空间占用、如何保证多个操作命令原子性等问题的解决策略，让缓存在项目中可以发挥出更佳的效果。 ......
缓存 Redis

使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心

首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
分布式 elasticSearch sqlserver Logstash 工具

Serilog日志同步到redis中和自定义Enricher来增加额外的记录信息

Serilog 日志同步到redis队列中 后续可以通过队列同步到数据库、腾讯阿里等日志组件中，这里redis库用的新生命团队的NewLife.Redis组件 可以实现轻量级消息队列（轻量级消息队列RedisQueue (newlifex.com)），也可以自行替换熟悉的组件 类库目录 该类库需添加 ......
增加额 Enricher Serilog redis 日志

【Azure 存储服务】.NET7.0 示例代码之上传大文件到Azure Storage Blob (一)

问题描述 在使用Azure的存储服务时候，如果上传的文件大于了100MB， 1GB的情况下，如何上传呢？ 问题解答 使用Azure存储服务时，如果要上传文件到Azure Blob，有很多种工具可以实现。如：Azure 门户， Azure Storage Explorer, 命令行工具 az copy ......
Azure 示例 Storage 代码 文件

【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南

前提介绍 本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能，从而可以方便我们在实际工作中，进行分析Redis的性能运行状况以及对应的优化Redis性能的佐证和指标因素。 在我们5.0左右的版本中Redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据服务。接下来主要分析Re ......
Redis 技术专区 案例 指南 专区

【Redis实战专题】「性能监控系列」全方位探索Redis的性能监控以及优化指南

Redis基本简介 Redis是一个开源（BSD 许可）、内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合等数据类型。内置复制、Lua 脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过 Redis Sentinel 提供高可用，通过 ......
性能 Redis 实战 全方位 专题
共12000篇  :331/400页 首页上一页331下一页尾页