526互联

分布式 建议 金融redis

【分布式】链路追踪

参考： https://zhuanlan.zhihu.com/p/619861742 Dapper，大规模分布式系统的跟踪系统- Span 基于链路标识 TraceId 的筛选 前端请求 Header 或响应体 Response：大部分用户请求都是在端上设备发起的，因此 TraceId 生成的最佳地 ......
链路 分布式

金融系统NTP时钟同步（网络校时服务器）架设工作详情

金融系统NTP时钟同步（网络校时服务器）架设工作详情 金融系统NTP时钟同步（网络校时服务器）架设工作详情 京准电子科技官微——ahjzsz 一、选型思考方面 对于NTP时钟服务器设备的选择应该从本单位实际使用情况和市场上设备情况进行综合分析，选取最优方案来，尽量避免非相关因素对设备选型的干扰。在N ......
时钟 详情 服务器 金融 系统

深度剖析Redis九种数据结构实现原理，建议收藏

Redis 是一个高性能的键值存储系统，支持多种数据结构。 包含五种基本类型 String（字符串）、Hash（哈希）、List（列表）、Set（集合）、Zset（有序集合），和三种特殊类型 Geo（地理位置）、HyperLogLog（基数统计）、Bitmaps（位图）。 ......
数据结构 深度 原理 结构 建议

Redis的删除，过期，击穿，穿透，雪崩

Redis里面的RedisTemplate.delete()方法的原理是： 1.RedisConnection 创建redis的连接 2.会去执行命令 createCommand（type,param） 3.程序启动的时候，会自动执行命令，redis1服务器会删除内容。 Redis的删除策略： 1. ......
雪崩 Redis

分布式事务--CAP理论

cap理论：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）这三项中的两项 ......
分布式 事务 理论 CAP

04-分布式服务

一、分布式服务体系 （一）分布式系统概述 ​ 单体系统存在业务扩展性（任何业务的调整都需要发布整个系统）、性能扩展性（动态扩容对单体系统而言效率低下）、代码复杂度（修改一处代码容易引发连锁反应）的问题。 ​ 系统扩展性，指的是当系统的业务需求发生变化时，我们对现在系统改动程度的一种控制能力。改动程度 ......
分布式 04

分布式计算技术（下）：Impala、Apache Flink、星环Slipstream

实时计算的发展历史只有十几年，它与基于数据库的计算模型有本质区别，实时计算是固定的计算任务加上流动的数据，而数据库大多是固定的数据和流动的计算任务，因此实时计算平台对数据抽象、延时性、容错性、数据语义等的要求与数据库明显不同，面向实时计算的数据架构也就发展起来。本篇我们介绍面向交互式分析的计算引擎I ......
分布式 Slipstream Impala Apache Flink

GFS分布式文件系统

一、GlusterFS分布式文件系统1、什么是GlusterFS及其术语GlusterFS：开源的分布式文件系统，由存储服务端和NFS/Samba(可选)存储网关、客户端组成，没有元数据服务器组件，数据横向扩展能力强，传输时硬件传输线使用光纤。 Brick（存储块）:指可信主机池中由主机提供的用于物 ......
分布式 文件 系统 GFS

数据库:Redis哨兵及cluster集群部署

1、什么是哨兵模式哨兵模式：可以自动切换解决单点故障，但是不能负载均衡，存储能力受限制。 哨兵核心功能：在主从复制的基础上，实现了主节点的自动故障转移 2、哨兵的作用监控：监控主节点和从节点是否在正常运行 故障自动转移：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从 ......
哨兵 集群 cluster 数据库 数据

数据库:Redis数据库高可用

一、Redis数据库持久化1、redis高可用类型高可用定义：范围宽泛，除保证提供正常服务，还要考虑数据容量的扩展，数据安全不安全是否会丢失等。 ①持久化：最简单的高可用方法，主要是数据备份即将reids的内容存储到硬盘中保证数据不会因为进程退出丢失。 2、redis实现持久化方式及优缺点①RDB持 ......
数据库 数据 Redis

我们为什么需要分布式系统？

这篇文章主要讨论我们为什么需要分布式系统，分布式系统帮助我们解决了复杂系统在成本、效率和高可用方面的问题，但同时它也在分布式计算和分布式存储方面带来了新的问题和挑战。 ......
分布式 系统

redis的总结

Redis的架构模式 单机版 特点：简单 问题： 1、内存容量有限 2、处理能力有限 3、无法高可用。 说明：本文会以pdf格式持续更新，更多最新尼恩3高pdf笔记，请从下面的链接获取：语雀 或者 码云 主从复制 Redis 的复制（replication）功能允许用户根据一个 Redis 服务器来 ......
redis

Redis之缓存穿透、缓存击穿、缓存雪崩及其解决方法

什么是缓存穿透 缓存穿透是指查询一个缓存中和数据库中都不存在的数据，导致每次查询这条数据都会透过缓存，直接查库，最后返回空。当用户使用这条不存在的数据疯狂发起查询请求的时候，对数据库造成的压力就非常大，甚至可能直接挂掉。这种情况的流程就变成下图这样了： 缓存穿透解决方案 解决缓存穿透的方法一般有两种 ......
缓存 雪崩 方法 Redis

景顺长城基于 Apache APISIX 在金融云原生的生产实践

本文介绍了景顺长城在金融云原生架构演进中选择 APISIX 作为网关工具的技术细节，同时分享了使用 APISIX 的实践细节，并对 APISIX 的未来展望进行了探讨。 作者李奕浩，景顺长城信息技术部研发工程师，负责公司网关和业务系统上云等工作。 业务背景 景顺长城基金管理有限公司成立于 2003 ......
金融 Apache APISIX

摩尔定律失效--分布式能否解决硬件性能瓶颈

自英特尔的联合创始人戈登·摩尔（Gordon Moore）于 1965 年经过观察称每隔 18~24 个月，集成电路上可容纳的元器件数目便会增加一倍，芯片的性能也会随之翻一番.换言之，每一美元所能买到的电脑性能，将每隔18-24个月翻一倍以上。以他名字命名的「摩尔定律」便成了几十年来半导体行业进步背... ......
分布式 定律 瓶颈 性能 硬件

Redis缓存高可用集群

在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异常，则会做主从切换，将某一台slave作为master，哨兵的配置略微复杂，并且性能和高可用性等各方面表现一般。 ......
集群 缓存 Redis

赶快检查，木马可能已经植入服务器，Redis未授权访问漏洞记录，redis的key值出现backup要谨慎

问题描述：为图省事，很多时候我们在使用redis的时候会使用默认空密码，这就增加了安全隐患，如果有下属情况，那赶快去检查下redis，木马或许已经植入服务器，应尽快处理： 1.redis绑定在 0.0.0.0:6379，没有设置对应的端口IP安全策略；2.没有设置密码，使用了默认的空值。 3.key ......
木马 漏洞 服务器 backup Redis

详解事务模式和Lua脚本，带你吃透Redis 事务

摘要：Redis事务包含两种模式：事务模式和Lua脚本。 本文分享自华为云社区《一文讲透 Redis 事务》，作者： 勇哥java实战分享。 准确的讲，Redis事务包含两种模式：事务模式和Lua脚本。 先说结论： Redis的事务模式具备如下特点： 保证隔离性； 无法保证持久性； 具备了一定的原子 ......
事务 脚本 模式 Redis Lua

Redis学习——基础数据结构

基础数据结构 String 唯一的key，获取对应value，不同value结构不同 Json序列化为字符串，字符串反序列化为Json 常见用途，缓存用户信息 动态字符串 位图数据结构 List 相当于LinkedList，链表不是数组。 插入很快，定位索引较慢，常用作异步队列（队列、栈都可以） 一 ......
数据结构 结构 基础 数据 Redis

Redis性能问题诊断以及scan命令耗时分析

Redis性能问题诊断以及scan命令耗时分析 摘要 最近公司有项目反馈卡顿. 卡顿一小时后自己被拉入群聊. 同事已经基本上定位到问题原因. 我这边想使用朴素的性能观点进行一下性能问题的拆解 为了提高自己. 用到的一些脚本 echo "info" |redis-cli -p 6379 -a Your ......
命令 性能 问题 Redis scan

分布式计算技术（上）：经典计算框架MapReduce、Spark 解析

当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计算。分布式计算技术将一个大型任务切分为多个更小的任务，用多台计算机通过网络组装起来后，将每个小任务交给一些服务器来独立完成，最终完成这个复杂的计算任务。本篇我们介绍两个经典的计算框架MapReduce和Spark。 — MapR ......
分布式 MapReduce 框架 经典 Spark

方法总结|金融时间序列联动相关及风险溢出

在金融时间序列研究中，市场间的联动相关和风险溢出一直是热点方向。随着研究不断深入，方法也层出不穷，比如从收益率到波动率，从一阶矩到高阶矩，从静态不变到动态时变，从线性相关到非线性相关，从尾部对称到尾部非对称等等...... 1.收益率相关、均值溢出。 主要方法包括：ARIMA、协整检验（Cointe ......
时间序列 序列 风险 时间 方法

分布式存储技术（下）：宽表存储与全文搜索引擎的架构原理、特性、优缺点解析

对于写密集型应用，每天写入量巨大，数据增长量无法预估，且对性能和可靠性要求非常高，普通关系型数据库无法满足其需求。对于全文搜索和数据分析这类对查询性能要求极高的场景也是如此。为了进一步满足上面两类场景的需求，有了宽表存储和搜索引擎技术，本文将对他们的架构、原理、优缺点做介绍。 — 宽表存储 — 宽表 ......
优缺点 分布式 架构 特性 原理

三天吃透Redis八股文

Redis连环40问，绝对够全！ Redis是什么？ Redis（Remote Dictionary Server）是一个使用 C 语言编写的，高性能非关系型的键值对数据库。与传统数据库不同的是，Redis 的数据是存在内存中的，所以读写速度非常快，被广泛应用于缓存方向。Redis可以将数据写入磁盘 ......
八股文 八股 Redis

通过 lua 进行 nginx redis 访问控制

Nginx来处理访问控制的方法有多种，实现的效果也有多种，访问IP段，访问内容限制，访问频率限制等。 1. 需求分析 1. Nginx来处理访问控制的方法有多种，实现的效果也有多种，访问IP段，访问内容限制，访问频率限制等。 2. 用Nginx+Lua+Redis来做访问限制主要是考虑到高并发环境下 ......
nginx redis lua

@Cacheable和@CachePut存入redis的数据使用redisTemplate取出时为null的解决

当使用@Cacheable和@CachePut注解存数据到redis中时如果使用spring默认的redis key序列化方式时，使用redisTemplate取数据为null @CacheConfig(cacheNames = "users") 存入redis users目录下取数据时的key为u ......
redisTemplate Cacheable CachePut 数据 redis

Redis随笔

Redis 简介 Redis是一个开源的key-value存储系统。存储在内存中。 相比于Memcached，value类型相对更多，string、list、set、zset、hash。 Redis操作都是原子性的，单线程多路IO复用 Redis支持各种不同方式的排序。 keys * 查看当前库所有 ......
随笔 Redis

MongoDB、Redis、HBase、Cassandra、Elasticsearch、ClickHouse等NoSQL数据库简介及优缺点说明

MongoDB MongoDB是一个基于文档的NoSQL数据库，它使用BSON（二进制JSON）格式存储数据。MongoDB支持动态查询，可以轻松地处理非结构化数据。它还支持水平扩展，可以在多个节点上分布数据。 优点： 灵活性高，支持非结构化数据存储。 支持水平扩展，可以在多个节点上分布数据。 支持 ......
优缺点 Elasticsearch ClickHouse Cassandra MongoDB

ZooKeeper分布式应用程序协调服务

目录 一.ZooKeeper基本介绍 1.ZooKeeper是什么？ 2.ZooKeeper的工作机制 3.ZooKeeper的特点 4.ZooKeeper的数据结构 5.ZooKeeper的应用场景 5.1 统一命名服务 5.2 统一配置管理 5.3 统一集群管理 5.4 服务器动态上下线 5.5 ......
分布式 应用程序 ZooKeeper 程序

Zookeeper分布式服务协调组件

Zookeeper分布式服务协调组件 1.简介 Zookeeper是一个分布式服务协调组件，是Hadoop、Hbase、Kafka重要的依赖组件，为分布式应用提供一致性服务的组件。 Zookeeper是Hadoop、HBase、Kafka的重要依赖组件。 Zookeeper主要包含文件系统以及通知机 ......
分布式 组件 Zookeeper
共6000篇  :122/200页 首页上一页122下一页尾页