底层 磁盘 模型redis
MySQL与Redis数据双写一致性工程落地案例
复习-面试题 多个线程同时去查询数据库的这条数据，那么我们可以在第一个查询数据的请求上使用一个 互斥锁来锁住它。 其他的线程走到这一步拿不到锁就等着，等第一个线程查询到了数据，然后做缓存。 后面的线程进来发现已经有缓存了，就直接走缓存。 canal canal [kə'næl]，中文翻译为 水道/管 ......
redis
Nosql 为什么使用Nosql 我们处于大数据时代！！普通的数据库无法进行数据分析 数据库历史发展 单机MySQL时代 单机MySQL时代（90年代）,一个网站的访问量一般不会太大，单个数据库完全够用 出现的问题： 数据量增加到一定程度，单机数据库就放不下了 数据的索引（B+ Tree）,一个机器 ......
文件批量拷贝的脚本（尤其适用于大小写敏感向不敏感的磁盘拷贝时发生冲突的情形）
在Linux系统下，NTFS可以支持文件名大小写区分；但在MaxOS的exFAT格式中，则无法区分大小写。 当从NTFS向exFAT拷贝文件时，当同一个目录下而在文件名相同但大小写不同的两个及以上文件时，向exFAT写入会中断，使得文件拷贝操作无法完成。 因此，特别编写了下面这个脚本，用来解决这个问 ......
redis设置密码和开启远程访问
改密码 默认redis安装后，密码是默认的，通过查看安装目录的config文件，可以查到：requirepass 这个设置，默认是啥就是啥。 需要修改密码的话，把这个注释拿掉，将requirepass 改为你需要的密码即可。 可以运行redis-cli 输入： auth 你的密码 测试一下。 red ......
Redis的高可用之持久化
Redis 高可用 在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务（99.9%、99.99%、99.999%等等）。 但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务（如主从分离、快速容灾技术），还需要考虑数据容量的扩展、数据安 ......
AI_NLP以及SAM的理解-分割模型
机器学习 一般机器学习分为有监督学习，无监督学习和强化学习 无监督学习 Unsupervised Learning Self-Supervised Learning，又称为自监督学习 -Self-Supervised Learning 的核心思想 Masked Autoencoders Are Sc ......
Redis 高可用
redis高可用 高可用分类 实现高可用的记住包括持久化，主从复制，哨兵和Cluster集群。 持久化 持久化是最简单的高可用方法(有时甚至不被归为高可用的手段)，主要作用是数据备份，即将数据存储在硬盘，保证数据不会因进程退出而丢失 主从复制 主从复制是高可用redis的基础，哨兵和集群都是在主从复 ......
shell脚本监控cpu,内存,磁盘
#!/bin/bash free=$(free -h | grep "Mem" | awk '{print $4}' | cut -d "." -f 1) if [ -n "$free" ];then if [ $free -le 3 ];then echo "free height ......
用一张图片测试几个大模型的看图理解，文心一言表现不佳，通义千问了解最到位！
样图如下： 用上面的图片，在几个主流的AI大模型中进行识别理解，最终的理解各有不同。 不过最让我意外的是 文心一言 居然理解的最不到位！ 下图是文心一言的看图理解： 下图是通义千问的看图理解： 下图是讯飞星火的看图理解： 大家觉得哪一个理解的最到位？？？？？ ......
Window 环境安装Redis ，并配置为开启自启动
前言：本文章只讲解如何在Window 环境下安装以及配置Redis，其它教程会在另外的文章详细介绍。 1、我们先来大致了解一下什么是Redis Redis （全称：REmote DIctionary Server） 是一个由 Salvatore Sanfilippo 写的 key-value 存储系 ......
vm - 释放linux删除文件后的物理磁盘
关闭vm的需要释放磁盘的虚拟机 然后进入vm 的安装根目录 需要用到里面的 vmware-vdiskmanager.exe 工具 找到需要释放的虚拟机的vmdk文件 拼接指令后执行 vmware-vdiskmanager.exe -k "F:/vm/xxx/CentOS 7 64 位-cl4.vmd ......
redis
redis2023年10月12日13:541、redis安装yum -y install redissystemctl restart redis 2、修改配置文件bind：远程连接port：端口号requirepass：登陆密码 数据库索引可以登陆到数据库中使用命令查看（get key） dock ......
cas5配置redis
POM文件加载redis依赖，重新maven clean package <dependency> <groupId>org.apereo.cas</groupId> <artifactId>cas-server-support-redis-ticket-registry</artifactId> ......
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly4d ......
公共仓库元模型(CWM)（转）
转自：https://www.jianshu.com/p/21207b50084a 一、什么是CWM？ 在我们学习一个新东西时，首先得弄懂明白它是用来干什么的？然后通过实例与理论交错学习，CWM——Common Warehouse Metamodel, 很明显翻译过来时公共仓库元模型，CWM的提出主 ......
redis的key越多，会影响性能吗？
1. 什么是Redis大key问题 Redis大key问题指的是某个key对应的value值所占的内存空间比较大，导致Redis的性能下降、内存不足、数据不均衡以及主从同步延迟等问题。 到底多大的数据量才算是大key？ 没有固定的判别标准，通常认为字符串类型的key对应的value值占用空间大于1M ......
Redis是单线程的，但是为什么还那么快
Redis是单线程的，但是为什么还那么快 Redis是纯内存操作，执行速度非常快 采用单线程，避免不必要的上下文切换可竞争条件，多线程还要考虑线程安全问题 使用I/O多路复用模型，非阻塞IO 能解释下I/O多路复用模型？ Redis是纯内存操作，执行速度非常快，它的性能瓶颈是网络延迟而不是执行速度， ......
Atlas关系型数据库元数据模型
[ { "category": "ENTITY", "guid": "00b4a314-1185-4cd4-84e9-20275990d58d", "createdBy": "hadoop", "updatedBy": "hadoop", "createTime": 1615973091411, " ......
Elasticsearch底层系列之Shard Allocation机制（转）
转自：https://cloud.tencent.com/developer/article/1361266 背景 Elasticsearch由一些Elasticsearch进程(Node)组成集群，用来存放索引(Index)。为了存放数据量很大的索引，Elasticsearch将Index切分成多 ......
Redis集群详解
Redis集群详解 1. 如何保证 Redis 服务高可用？ Redis Sentinel 集群 2. Sentinel（哨兵）有什么用？ 监控 Redis 节点的运行状态并自动实现故障转移 3. Redis 缓存的数据量太大怎么办？ Redis Cluster 4. Redis Cluster 虚 ......
docker安装配置redis
安装redis docker pull redis 配置数据路径 mkdir -p /home/redis/data docker启动 docker run -d -v /home/redis/data:/data --name redis -p 6379:6379 redis redis-se ......
openEuler欧拉部署Redis
一、系统优化 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 关闭selinux sed -ri 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config setenf ......
Redis过期Key处理和内存淘汰策略
惰性删除 概述：当访问Key时，才去判断它是否过期，如果过期，直接干掉。这种方式对CPU很友好，但是一个key如果长期不用，一直存在内存里，会造成内存浪费。 set name xxxx 10 get name // 发现name过期了，直接删除 优点：对CPU友好，只会在使用该key时才会进行过期检 ......
浏览器底层原理-工作机制
浏览器工作机制 浏览器是多进程多线程的应用，启动浏览器后，会自动启动多个进程（渲染进程、网络进程,存储服务等），每个进程中又包含多个线程协同工作。 渲染主线程工作方式 在浏览器的诸多进程中，渲染进程承担着最重要的工作。渲染进程中有一个渲染主线程，负责解析HTML、解析CSS、计算样式、布局、处理图层 ......
使用知识图谱提高RAG的能力，减少大模型幻觉
在使用大型语言模型(llm)时，幻觉是一个常见的问题。LLM生成流畅连贯的文本，但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源，如数据库或知识图谱。 向量数据库和知识图谱 向量数据库 向量数据库是表示实体或概念(如单词、短语或文档)的高维向量的集合。数据 ......
三维模型的几何坐标纠正应用探讨
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
redis中如何保证原子性操作
需求：两个客户端同时对[key1]执行自增操作，不会相互影响 操作：下面两个客户端并发操作会导致[key1]输出结果与预期不一致 [客户端一]读取[key1]，值为[1] [客户端二]读取[key1]，值为[1] [客户端一]将[key1]自增1，值为[2] [客户端二]将[key1]自增1，值为[ ......
redis 浅谈2
最近在redis上遇到一个问题，就是刷新redis缓存的时候，缓存里面开始一个map ,但是缓存还没有刷新完成 ，比如 map里面有n 个filed ，但是刷新了 m 个就被别的线程使用了，导致数据不完善 解决办法： map 设置完成后在写入缓存中 ......
redis 问题浅谈
redis 缓存击穿 redis 如果缓存不存在就会请求到数据库，这里有个问题就是如果请求一个数据库不存在的数据，那么就会一直请求数据库，redis没有起到作用 1 接口过滤，做第一步过滤 2 我们可以把这个不存在的数据也缓存一个null到redis中，设置一个过期时间 3 布隆过滤器，待续 雪崩 ......