大白话 大白 模型redis
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly4d ......
公共仓库元模型(CWM)（转）
转自：https://www.jianshu.com/p/21207b50084a 一、什么是CWM？ 在我们学习一个新东西时，首先得弄懂明白它是用来干什么的？然后通过实例与理论交错学习，CWM——Common Warehouse Metamodel, 很明显翻译过来时公共仓库元模型，CWM的提出主 ......
redis的key越多，会影响性能吗？
1. 什么是Redis大key问题 Redis大key问题指的是某个key对应的value值所占的内存空间比较大，导致Redis的性能下降、内存不足、数据不均衡以及主从同步延迟等问题。 到底多大的数据量才算是大key？ 没有固定的判别标准，通常认为字符串类型的key对应的value值占用空间大于1M ......
Redis是单线程的，但是为什么还那么快
Redis是单线程的，但是为什么还那么快 Redis是纯内存操作，执行速度非常快 采用单线程，避免不必要的上下文切换可竞争条件，多线程还要考虑线程安全问题 使用I/O多路复用模型，非阻塞IO 能解释下I/O多路复用模型？ Redis是纯内存操作，执行速度非常快，它的性能瓶颈是网络延迟而不是执行速度， ......
Atlas关系型数据库元数据模型
[ { "category": "ENTITY", "guid": "00b4a314-1185-4cd4-84e9-20275990d58d", "createdBy": "hadoop", "updatedBy": "hadoop", "createTime": 1615973091411, " ......
Redis集群详解
Redis集群详解 1. 如何保证 Redis 服务高可用？ Redis Sentinel 集群 2. Sentinel（哨兵）有什么用？ 监控 Redis 节点的运行状态并自动实现故障转移 3. Redis 缓存的数据量太大怎么办？ Redis Cluster 4. Redis Cluster 虚 ......
docker安装配置redis
安装redis docker pull redis 配置数据路径 mkdir -p /home/redis/data docker启动 docker run -d -v /home/redis/data:/data --name redis -p 6379:6379 redis redis-se ......
openEuler欧拉部署Redis
一、系统优化 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 关闭selinux sed -ri 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config setenf ......
Redis过期Key处理和内存淘汰策略
惰性删除 概述：当访问Key时，才去判断它是否过期，如果过期，直接干掉。这种方式对CPU很友好，但是一个key如果长期不用，一直存在内存里，会造成内存浪费。 set name xxxx 10 get name // 发现name过期了，直接删除 优点：对CPU友好，只会在使用该key时才会进行过期检 ......
使用知识图谱提高RAG的能力，减少大模型幻觉
在使用大型语言模型(llm)时，幻觉是一个常见的问题。LLM生成流畅连贯的文本，但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源，如数据库或知识图谱。 向量数据库和知识图谱 向量数据库 向量数据库是表示实体或概念(如单词、短语或文档)的高维向量的集合。数据 ......
三维模型的几何坐标纠正应用探讨
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
redis中如何保证原子性操作
需求：两个客户端同时对[key1]执行自增操作，不会相互影响 操作：下面两个客户端并发操作会导致[key1]输出结果与预期不一致 [客户端一]读取[key1]，值为[1] [客户端二]读取[key1]，值为[1] [客户端一]将[key1]自增1，值为[2] [客户端二]将[key1]自增1，值为[ ......
redis 浅谈2
最近在redis上遇到一个问题，就是刷新redis缓存的时候，缓存里面开始一个map ,但是缓存还没有刷新完成 ，比如 map里面有n 个filed ，但是刷新了 m 个就被别的线程使用了，导致数据不完善 解决办法： map 设置完成后在写入缓存中 ......
redis 问题浅谈
redis 缓存击穿 redis 如果缓存不存在就会请求到数据库，这里有个问题就是如果请求一个数据库不存在的数据，那么就会一直请求数据库，redis没有起到作用 1 接口过滤，做第一步过滤 2 我们可以把这个不存在的数据也缓存一个null到redis中，设置一个过期时间 3 布隆过滤器，待续 雪崩 ......
鱼类识别系统Python+TensorFlow卷积神经网络算法模型+深度学习人工智能【计算机课设项目】
一、介绍 鱼类识别系统。使用Python作为主要编程语言开发，通过收集常见的30种鱼类（'墨鱼', '多宝鱼', '带鱼', '石斑鱼', '秋刀鱼', '章鱼', '红鱼', '罗非鱼', '胖头鱼', '草鱼', '银鱼', '青鱼', '马头鱼', '鱿鱼', '鲇鱼', '鲈鱼', '鲍鱼' ......
Redis缓存三剑客
缓存穿透 概念：查询一个不存在的数据，mysql查询不到数据也不会直接写入缓存，就会导致每次请求查数据库从而使得数据库压力过大，宕机 解决方案一： 缓存空数据，查询返回的数据为空，扔把这个空结果进行缓存例如格式：{key:xxx,value:null} 优点：简单 缺点：消耗内存，可能会发生不一致的 ......
Windows11下私有化部署大语言模型实战 langchain+llama2
一、本机环境 1.硬件环境： CPU：锐龙5600X 显卡：GTX3070 内存：32G 注：硬件配置仅为博主的配置，不是最低要求配置，也不是推荐配置。 2.软件环境： Windows系统版本：Win11专业版23H2 Python版本：3.11 Cuda版本：12.3.2 VS版本：VS2022 ......
使用PyTorch实现去噪扩散模型
在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前，让我们先看看生成式人工智能的一些发展，也就是DDPM的一些基础研究。 VAE VAE 采用了编码器、概率潜在空间和解码器。在训练过程中，编码器预测每个图像的均值和方差。然后从高斯分布中对这些值进行采样，并将其传递到解码器中，其中输入的图像预计 ......
NOSQL redis配置与优化
NOSQL与NOSQL 关系型数据库 关系型数据库是一个结构化的数据库，创建在关系模型（二维表格模型）基础上，一般面向于记录。 SQL 语句（标准数据查询语言）就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的检索和操作。 主流的关系型数据库包括 Oracle、MySQL、SQL Ser ......
根据语音生成全身姿态；基于变分贝叶斯框架的VAE模型；CFG是一种隐式的Perceptual Loss！
本文首发于公众号：机器感知 根据语音全身姿态；基于变分贝叶斯框架的VAE模型；CFG是一种隐式的Perceptual Loss！ Diffusion Model with Perceptual Loss 本文研究了扩散模型在生成样本时的质量问题，作者发现使用均方误差损失训练的模型生成的样本往往不真实 ......
Redis常见阻塞原因总结
Redis常见阻塞原因总结 1. O(n) 命令 Redis 中的大部分命令都是 O(1)时间复杂度，但也有少部分 O(n) 时间复杂度的命令，例如： KEYS *：会返回所有符合规则的 key HGETALL：会返回一个 Hash 中所有的键值对 LRANGE：会返回 List 中指定范围内的元素 ......
首次引入大模型!Bert-vits2-Extra中文特化版40秒素材复刻巫师3叶奈法
Bert-vits2项目又更新了，更新了一个新的分支：中文特化，所谓中文特化，即针对中文音色的特殊优化版本，纯中文底模效果百尺竿头更进一步，同时首次引入了大模型，使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取，基本上完全解决了发音的ba ......
一文搞懂什么是阻塞IO、信号驱动IO、Reactor模型、零拷贝
公众号《鲁大猿》，寻精品资料，帮你构建Java全栈知识体系 www.jiagoujishu.cn 基础IO 如何从数据传输方式理解IO流？ 从数据传输方式或者说是运输方式角度看，可以将 IO 类分为: 字节流, 字节流读取单个字节，字符流读取单个字符(一个字符根据编码的不同，对应的字节也不同，如 U ......
redis小记
redis 1、redis是一款c语言编写的基于内存的kv存储，是目前市面上最流行的nosql开源项目，常用于缓存场景（优点高性能/寻址更快，缺点易失存储/价格更高） 2、redis快的原因：纯内存操作、单线程避免上下文切换、采用非阻塞IO多路复用机制（1个线程监控多个连接，一旦某个连接就绪，就能够 ......
大模型安全｜绿盟
转载：大模型正在“记住”与“说出” 引言 「大模型」引领的创新变革正在发生身处技术爆炸时代，高光与隐忧共存。安全风险已成为发展中无法忽视的话题。 LLM在使用过程中包含敏感机密的数据或信息，可能会导致未授权的数据访问、隐私侵犯、安全漏洞等风险，随之造成敏感信息泄露。 2023年8月，全球开放应用软件 ......
书生浦语大模型全链开源体系介绍
Smiling & Weeping 以后隔着三千梨花树，六百湘水，你不必哽咽，我始终记得见你的第一面 2023大模型成为热门关键词 而通用大模型在大模型中适用范围和效率无疑会更高 那么书生·浦语20B开源大模型性能介绍 那么从模型到应用的主要流程大概 书生·浦语全链条开源开放体系 全链条开源开放体系 ......
聊聊 从源码来看ChatGLM-6B的模型结构
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架构的神经网络模型，因此从transformer结构入手，分析其源码结构。 transformer结构： 转载请备注出处：https://www.cnblogs.c ......
Redis内存碎片
Redis内存碎片（不会影响 Redis 性能，但会增加内存消耗） 1. 什么是内存碎片？ 你可以将内存碎片简单地理解为那些不可用的空闲内存 举个例子：操作系统为你分配了 32 字节的连续内存空间，而你存储数据实际只需要使用 24 字节内存空间，那这多余出来的 8 字节内存空间如果后续没办法再被分配 ......
redis
redis 安装教程 Centos7安装Redis - heqiuyong - 博客园 (cnblogs.com) 基本操作 通用指令是部分数据类型的，都可以使用的指令，常见的有如下表格所示 指令 描述 KEYS 查看符合模板的所有key，不建议在生产环境设备上使用 DEL 删除一个指定的key E ......