模型 内存day 39
用一张图片测试几个大模型的看图理解，文心一言表现不佳，通义千问了解最到位！
样图如下： 用上面的图片，在几个主流的AI大模型中进行识别理解，最终的理解各有不同。 不过最让我意外的是 文心一言 居然理解的最不到位！ 下图是文心一言的看图理解： 下图是通义千问的看图理解： 下图是讯飞星火的看图理解： 大家觉得哪一个理解的最到位？？？？？ ......
day11 代码随想录算法训练营 150. 逆波兰表达式求值
题目：150. 逆波兰表达式求值 我的感悟： 注意int（a/b）是0向截断 比如 -2.3 会得到-2; 比如3.6 会得到3 a//b是向下取整，比如是-2.3 会得到-3；比如3.6 会得到3 主要是负数不同 理解难点： 0向取整注意 注意先弹出的是右边的，（想象二叉树的结构。先弹出的是右边节 ......
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly4d ......
公共仓库元模型(CWM)（转）
转自：https://www.jianshu.com/p/21207b50084a 一、什么是CWM？ 在我们学习一个新东西时，首先得弄懂明白它是用来干什么的？然后通过实例与理论交错学习，CWM——Common Warehouse Metamodel, 很明显翻译过来时公共仓库元模型，CWM的提出主 ......
Atlas关系型数据库元数据模型
[ { "category": "ENTITY", "guid": "00b4a314-1185-4cd4-84e9-20275990d58d", "createdBy": "hadoop", "updatedBy": "hadoop", "createTime": 1615973091411, " ......
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......
day11 代码随想录算法训练营 1047. 删除字符串中的所有相邻重复项
题目：1047. 删除字符串中的所有相邻重复项 我的感悟： 做过的题，还是有印象的。 本身也不难，独立写出来了。 理解难点： 代码难点： 代码示例： class Solution: def removeDuplicates(self, s: str) -> str: stack = [] for i ......
day11 代码随想录算法训练营 20. 有效的括号
题目：20. 有效的括号 我的感悟： 脑回路清奇 理解难点： 遇到左括号存对应的右括号 3中情况， 1.左括号多了 2.右括号多了 3.左右括号不匹配 剪枝：奇数可以直接剪枝 注意为空的判断，防止报错 代码难点： 存3种情况 23情况要返回False 其他直接pop 最后判断stack栈为不为空，来 ......
Redis过期Key处理和内存淘汰策略
惰性删除 概述：当访问Key时，才去判断它是否过期，如果过期，直接干掉。这种方式对CPU很友好，但是一个key如果长期不用，一直存在内存里，会造成内存浪费。 set name xxxx 10 get name // 发现name过期了，直接删除 优点：对CPU友好，只会在使用该key时才会进行过期检 ......
使用知识图谱提高RAG的能力，减少大模型幻觉
在使用大型语言模型(llm)时，幻觉是一个常见的问题。LLM生成流畅连贯的文本，但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源，如数据库或知识图谱。 向量数据库和知识图谱 向量数据库 向量数据库是表示实体或概念(如单词、短语或文档)的高维向量的集合。数据 ......
三维模型的几何坐标纠正应用探讨
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
while循环打印100次'认真听课'
'''循环：重复做某件事情作用：解决代码重复问题如何实现循环？while语法：while 条件表达式： 结果为True则执行语句，结果为False则不执行语句(结束循环) 执行语句'''#'认真听课'执行100次a = 1 # 初始化变量a为1while a <= 100: # 当a小于等于100时 ......
mybatis-plus的配置文件中mapper-locations失效的导致Property 'mapperLocations' was not specified的问题解决
不能解决的话，参考：springboot项目使用mybatis-plus 时出现 Property ‘mapperLocations‘ was not specified的3个解决方案_property 'mapperlocations' was not specified.-CSDN博客 但我按照 ......
[Debug Series] Don't capture reference unless it's transient
This article discusses potential bugs caused by lambda's capture synatax, and warns the reader, before acutally capturing by reference, they should co... ......
算法学习Day25回溯、组合总和
Day25回溯、组合总和 By HQWQF 2024/01/07 笔记 216.组合总和III 找出所有相加之和为 n 的 k 个数的组合，且满足下列条件： 只使用数字1到9 每个数字 最多使用一次 返回 所有可能的有效组合的列表 。该列表不能包含相同的组合两次，组合可以以任何顺序返回。 示例 1: ......
算法学习Day24回溯算法、基础组合
Day24回溯算法、基础组合 By HQWQF 2024/01/07 笔记 第77题. 组合 给定两个整数 n 和 k，返回范围 [1, n] 中所有可能的 k 个数的组合。 你可以按 任何顺序 返回答案。 示例 1： 输入： n = 4, k = 2 输出： [ [2,4], [3,4], [2, ......
鱼类识别系统Python+TensorFlow卷积神经网络算法模型+深度学习人工智能【计算机课设项目】
一、介绍 鱼类识别系统。使用Python作为主要编程语言开发，通过收集常见的30种鱼类（'墨鱼', '多宝鱼', '带鱼', '石斑鱼', '秋刀鱼', '章鱼', '红鱼', '罗非鱼', '胖头鱼', '草鱼', '银鱼', '青鱼', '马头鱼', '鱿鱼', '鲇鱼', '鲈鱼', '鲍鱼' ......
Day44 稀疏数组(1种数据结构)
稀疏数组(1种数据结构) 把棋盘转变为二维数组存储 黑棋用1代表，白棋用2代表 11行11列 有效数字2个 [0] 11行 11列 2(有效数字) [1] 1行 2列 1值 [2] 2行 3列 2值 对稀疏数组的数组来说就是3行（有效数字2个+1，[0],[1],[2]即3行） 列数就是固定3列 ......
Windows11下私有化部署大语言模型实战 langchain+llama2
一、本机环境 1.硬件环境： CPU：锐龙5600X 显卡：GTX3070 内存：32G 注：硬件配置仅为博主的配置，不是最低要求配置，也不是推荐配置。 2.软件环境： Windows系统版本：Win11专业版23H2 Python版本：3.11 Cuda版本：12.3.2 VS版本：VS2022 ......
Python中numpy出现has no attribute '_no_nep50_warning'错误的一个解决方案
本文介绍在Python中，numpy库出现报错module 'numpy' has no attribute '_no_nep50_warning'的解决方法。 一次，在运行一个Python代码时，发现出现报错module 'numpy' has no attribute '_no_nep50_wa ......
使用PyTorch实现去噪扩散模型
在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前，让我们先看看生成式人工智能的一些发展，也就是DDPM的一些基础研究。 VAE VAE 采用了编码器、概率潜在空间和解码器。在训练过程中，编码器预测每个图像的均值和方差。然后从高斯分布中对这些值进行采样，并将其传递到解码器中，其中输入的图像预计 ......
内存管理
内存管理 变量：接受变量值 描述状态 name='xy' print(name) height=170 xy 引用计数 name='XY' #引用计数为1， name2=name #XY引用计数为2 name1='XY' del name #XY引用计数为1 ......
day29 Promtail高级特性及场景案例 （9.10）
9.10-1-Promtail高级特性及场景案例(1) 一、如何评价一款“好”的日志收集解决方案 首先，优秀的日志收集解决方案应该能够 适配 各种 复杂 的场景。其次，功能的 全面性 也是一个重要的考虑因素。如：具备日志过滤、转换、增强和处理等丰富功能。此外，易用性 也是一个关键因素。用户能够轻松配 ......
yum工具执行相关命令报“为 repo 'epel-modular' 下载元数据失败 错误：为 repo 'epel-modular' 下载元数据失败”
为 repo 'epel' 下载元数据失败 错误：为 repo 'epel' 下载元数据失败 1）找到yum的/etc/yum.repos.d，看到有很多文件 2）解决办法很简单，将epel相关文件全部转移到备份目录下，只剩下“softwarecenter.repo”中文件，再使用yum的下面两个命 ......
根据语音生成全身姿态；基于变分贝叶斯框架的VAE模型；CFG是一种隐式的Perceptual Loss！
本文首发于公众号：机器感知 根据语音全身姿态；基于变分贝叶斯框架的VAE模型；CFG是一种隐式的Perceptual Loss！ Diffusion Model with Perceptual Loss 本文研究了扩散模型在生成样本时的质量问题，作者发现使用均方误差损失训练的模型生成的样本往往不真实 ......
首次引入大模型!Bert-vits2-Extra中文特化版40秒素材复刻巫师3叶奈法
Bert-vits2项目又更新了，更新了一个新的分支：中文特化，所谓中文特化，即针对中文音色的特殊优化版本，纯中文底模效果百尺竿头更进一步，同时首次引入了大模型，使用国产IDEA-CCNL/Erlangshen-MegatronBert-1.3B大模型作为Bert特征提取，基本上完全解决了发音的ba ......
Golang——安装git工具失败，Failed to connect to github.com port 443 after 21078 ms: Couldn't connect to server
Golang——Failed to connect to github.com port 443:Timed out 解决方案： 1、首先使用浏览器确认包是否可正常访问到 2、查看当前git是否设置了其他代理或指定的地址，由于该仓库地址下没有导致。 <code>-- 查看是否设置 git confi ......
一文搞懂什么是阻塞IO、信号驱动IO、Reactor模型、零拷贝
公众号《鲁大猿》，寻精品资料，帮你构建Java全栈知识体系 www.jiagoujishu.cn 基础IO 如何从数据传输方式理解IO流？ 从数据传输方式或者说是运输方式角度看，可以将 IO 类分为: 字节流, 字节流读取单个字节，字符流读取单个字符(一个字符根据编码的不同，对应的字节也不同，如 U ......
大模型安全｜绿盟
转载：大模型正在“记住”与“说出” 引言 「大模型」引领的创新变革正在发生身处技术爆炸时代，高光与隐忧共存。安全风险已成为发展中无法忽视的话题。 LLM在使用过程中包含敏感机密的数据或信息，可能会导致未授权的数据访问、隐私侵犯、安全漏洞等风险，随之造成敏感信息泄露。 2023年8月，全球开放应用软件 ......
书生浦语大模型全链开源体系介绍
Smiling & Weeping 以后隔着三千梨花树，六百湘水，你不必哽咽，我始终记得见你的第一面 2023大模型成为热门关键词 而通用大模型在大模型中适用范围和效率无疑会更高 那么书生·浦语20B开源大模型性能介绍 那么从模型到应用的主要流程大概 书生·浦语全链条开源开放体系 全链条开源开放体系 ......