分布式 架构redis
Redis缓存穿透-布隆过滤器
Redis缓存穿透-布隆过滤器 缓存穿透 我举个蘑菇博客中的案例来说，我现在有一个博客详情页，然后博客详情页中的内容假设是存储在Redis中的，然后通过博客的Uid进行获取，正常的情况是：用户进入博客详情页，然后通过uid获取redis中缓存的文章详情，如果有内容就直接访问，如果不存在内容，那么需要 ......
Redis_IO多路复用底层原理
从底层了解IO多路复用模型 前言 当我们去面试的时候，问到了 redis，nginx，netty他们的底层模型分别是什么？ redis -> epoll nginx-> epoll netty-> epoll? 需要从操作系统的层面上来谈 BIO 当我们开机的时候，首先被加载进内存的是我们的Kern ......
nodejs处理一段redis获取集合，数组的代码优化(其中包含:es6同步返回数据的处理,new Promise)
从异步，用延时来处理，改成同步获取数据 获取数据主要分2步: 1.从redis集合中获取数组； 2.遍历数组，抓取其中字符串，解析，拼接成需要的数据，返回给前端 原代码,用sleep方法，避免异步数据处理带来的提前返回数据的问题; (缺点:时间比较久，逻辑中是有问题的) // 获取线路上公交的位置信 ......
若依微服务连接redis 一段时间报错，后来改成连接池后也是报错 Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException: Command timed out after 10 second(s)
springBoot版本是2.x 所以呢redis客户端是lettuce，而不是jedis； lettuce支持异步，而且是线程安全的。 jedis是同步的，线程不安全需要每个线程一个Jedis实例，所以一般通过连接池来使用Jedis。 我这里用的是lettuce连接池的配置还是报错了呢： spri ......
《渗透测试》JS架构&框架识别&泄漏提取&API接口枚举&FUZZ爬虫&插件项目 Day14
0、什么是JS渗透测试？ 在Javascript中也存在变量和函数，当存在可控变量及函数调用即可参数漏洞 JS开发的WEB应用和PHP，JAVA,NET等区别在于即没有源代码，也可以通过浏览器的查看源代码获取真实的点。获取URL，获取JS敏感信息，获取代码传参等，所以相当于JS开发的WEB应用属于白 ......
分布式ID生成-雪花算法(Snowflake)
1 描述 使用原生Java方式生成雪花算法, 雪花算法是推特公司开源的生成唯一ID的算法, 性能更高，可以避免对第三方依赖的使用, 减少耦合 1）能满足高并发分布式系统环境下ID不重复 2）基于时间戳，可以保证基本有序递增，即按照时间趋势递增（有些业务场景对这个有要求） 3）算法本身不依赖第三方的库 ......
为什么Tomcat架构要这么设计？这篇文章告诉你答案！
Tomcat体系架构 Tomcat项目结构 bin目录 bin目录主要是用来存放tomcat的命令，主要有两大类，一类是以.sh结尾的（linux命令），另一类是以.bat结尾的（windows命令）。 很多环境变量的设置都在此处，例如可以设置JDK路径、tomcat路径 startup文件：主要是 ......
Linux 安装 redis
1. 验证是否有 gcc gcc -v 若无，执行 yum install -y gcc g++ gcc-c++ make 2. https://www.cnblogs.com/hunanzp/p/12304622.html ......
redis 10大数据类型
Redis 10大数据类型 这里说的数据类型是value的数据类型，key的类型都是字符串。 Redis key Redis key是String类型，也是二进制安全的，我们可以使用任何二进制序列作为键，从像“foo”这样的字符串到 JPEG 文件的内容。 关于Redis的key有以下规则和建议： ......
Redis简介
Redis是什么 Remote Dictionary Server(Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统，是跨平台的非关系型数据库。 Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存、分布式 ......
redis安装
这里先介绍下简单安装，主要搭建 命令调试环境，其实也可以直接使用线上调试工具，进入官网就能看到 https://redis.io/ windows下安装 **下载地址：**https://github.com/tporadowski/redis/releases。 下载：Redis-x64-5.0. ......
Redis配置
Redis 配置 Redis 的配置文件位于 Redis 安装目录下，文件名为 redis.conf(Windows 名为 redis.windows.conf)。 你可以通过 CONFIG 命令查看或设置配置项。 语法Redis CONFIG 命令格式如下：redis 127.0.0.1:6379 ......
scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理，cookie，header，加入selenium
# 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 # 2 ......
浅谈分布式环境下WebSocket消息共享问题
浅谈分布式环境下WebSocket消息共享问题 技术分析 我们在开发时会遇到需要使用即时通讯的场景，当然，实现方式很多，Socket、MQTT、Netty....等等。 具体用哪种就在于业务的需求了，去选择合理的方式实现。 今天小简要聊的场景便是分布式环境下，WebSocket的消息共享问题。 分布 ......
为什么不建议用redis做消息队列
redis的list做队列其实还是很爽的，简单，一个读一个写即可，而且基本每个系统都会使用redis，接入没有附加成本，也没有额外的学习成本。 如果需要订阅模型，写三个队列，然后三个消费者分别读自己的那个即可。 但是，也有一些问题： 无法回放，消费了即消失，没有记录。 消息体如果很大，会占用很多内存 ......
为什么Redis不直接使用C语言的字符串？看完直接吊打面试官！
众所周知Redis有以下几种常见的数据类型 String（字符串）、List（列表）、Set（集合）、Hash（哈希）、Sorted set（有序集合）、Stream（流）、Geo（地理空间索引）、Bitmap（位图）、HyperLogLog（基数统计）等。
我们最常用的就是String（字符串）... ......
nodejs获取redis集合内容,同步方法
可以使用redis模块来连接和操作Redis数据库。以下是使用该模块获取Redis集合内容的同步方法： // 引入redis模块 const redis = require('redis'); // 创建redis客户端 const client = redis.createClient(); // ......
redis前言
已经忘记是什么时候开始接触Redis了，我们使用一个技术往往从业务需要开始的。 从OA转入CICD项目，架构师给了重构方案，给了时间点，jarlor5+mysql 改为Openresy+Lua+Redis搞定OS心跳管理， 从当初现存5W主机纳管，支撑到100W主机。 不去理解内核你都不知道Java ......
传统架构 vs 云原生架构，谈谈为什么我们需要云原生架构？
传统架构 vs 云原生架构，谈谈为什么我们需要云原生架构？ 云原生架构是什么 回顾过去十年，数字化转型驱动着技术创新和商业元素的不断融合和重构，可以说，现在已经不是由商业模式决定采用何种技术架构，而是由技术架构决定企业的商业模式。所以无论是行业巨头还是中小微企业都面临着数字化转型带来的未知机遇和挑战 ......
架构师成长计划｜如何利用云原生构建一个企业级高可用架构
Gartner 报告指出，到 2022 年，有 75% 的全球化企业将在生产中使用云原生的服务化应用。不仅是互联网行业，制造、房地产、生物医药、政府等各行各业都将拥抱云原生技术。在这种背景下，行业也出现了较为彻底的预判：未来成功的企业都将采用云原生技术，并且是深度应用。 近几年，“云原生”这个词被提 ......
《前端serverless 面向全栈的无服务器架构实战》读书笔记
第1章 什么是severless 什么是NoOps 利用自动化运维代替手工运维模式 什么是severless 开发者无需关注服务器资源配置情况、部署情况、操作系统以及依赖软件等在内等所有细节，这一切都由平台完成，开发者只需要专注于业务实现。 serverless是指在应用的构建环节或应用环节都无需对 ......
Serverless从入门到进阶：架构、原理与实践
腾讯云Serverless项目早期参与者撰写，基于腾讯云、阿里云和亚马逊云等多个云厂商的产品和技术；从产品和技术两个维度展开，讲解Serverless的架构设计、技术原理、开发流程、实战案例。 这是一本从产品和技术两个维度讲解Serverless的著作，涵盖Serverless的架构设计、技术原理、 ......
玩转Serverless架构 概念篇+开发基础篇+开发进阶篇+场景案例篇
你好，我是老蒋，一个在前端摸爬滚打 7 年的老兵，目前是国内某一线大厂的资深软件工程师。 2017 年国内 Serverless 技术刚刚兴起，我就开始使用和推广 Serverless 了，当时，我的团队负责很多前端中后台系统的研发，后端为了方便扩展就把接口设计得很原子化，导致前端渲染一个页面要发几 ......
Redis的五种数据类型及其应用场景
1、数据类型 String(字符串，整数，浮点数)：做简单的键值对缓存 List(列表)：储存一些列表类型的数据结构 Hash(哈希)：包含键值对的无序散列表，结构化的数据 Set(无序集合)：交集，并集，差集的操作 Zset(有序集合)(Sorted sets)：去重同时也可以排序 先通过一张图了 ......
领域驱动架构设计之事件篇
前言 领域驱动设计基于CQRS的事件架构， 可以使命令发起者和命令执行者解耦。通过一系列的事件的追加存储，可以对事件的追踪和溯源。采用事件架构模式，更加面向与业务职能，将复杂的业务场景拆分成不同事件执行，在一定程度上达到解耦和复用的目的。事件的发起者和执行分离，解耦下游的相关的系统，下游只需要监听关 ......
第六章 Calico架构图的详解图
##1，Calico网络模型主要工作组件： 1.Felix：运行在每一台 Host 的 agent 进程，主要负责网络接口管理和监听、路由、ARP 管理、ACL 管理和同步、状态上报等。保证跨主机容器网络互通。 2.etcd：分布式键值存储，相当于k8s集群中的数据库，存储着Calico网络模型中I ......
【深入浅出 Yarn 架构与实现】5-1 Yarn 资源调度器基本框架
资源调度器是 YARN 中最核心的组件之一，它是 ResourceManager 中的一个插拔式服务组件，负责整个集群资源的管理和分配。
Yarn 默认提供了三种可用资源调度器，分别是FIFO (First In First Out )、 Yahoo! 的 Capacity Scheduler 和 ... ......
【分布式技术专题】「分布式技术架构」一文带你厘清分布式事务协议及分布式一致性协议的算法原理和核心流程机制（Paxos篇）
概念简介 Paxos是一种基于消息传递具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。 发展历史 Paxos算法的发展历史追溯到古希腊，当时有一个名为“Paxos“的小岛， 岛上采用一会的形式通过法令， 议会中议员通过信使进行消息传递，议员与信使都是兼职的，他们随时都 ......
Redis - 基础数据类型
学会使用 Redis 的一个重要内容就是 Redis 的数据类型，对于开发人员而言，学会 Redis 基础数据类型的使用即可应用到程序开发当中。 ......