源码 模型chatglm结构
聊聊ChatGLM6B的微调脚本及与Huggingface的关联
本文首先分析微调脚本trainer.sh的内容，再剖析ChatGLM是如何与Huggingface平台对接，实现transformers库的API直接调用ChatGLM模型，最后定位到了ChatGLM模型的源码文件。 脚本分析 微调脚本： PRE_SEQ_LEN=128 LR=2e-2 CUDA_V ......
KQL的结构
KQL，即Kusto Query Language，是一种用于查询大规模数据集（如日志、数据库、文件等）的强大查询语言。它主要用于Azure Data Explorer和Microsoft 365 Defender等服务。KQL包含多种类型的语句和操作符，以支持复杂的数据探索和分析。 KQL（Kus ......
阿里modelscope下载模型
个人上传的模型地址：（需要注意，这个模型参数只做测试之用，并无实际意义） https://modelscope.cn/models/devilmaycry812839668/devil/summary 注意，这里的密码是指python sdk的验证字符： 模型仓库下载到本地： PS. 这个model ......
【OpenCV】在MacOS上源码编译OpenCV
在做视觉任务时，我们经常会用到开源视觉库OpenCV，OpenCV是一个基于Apache2.0许可（开源）发行的跨平台计算机视觉和机器学习软件库，它具有C++，Python，Java和MATLAB接口，并支持Windows，Linux，Android和Mac OS。最近在项目中，我遇到了在MacOS... ......
配置中心Apollo源码分析
一、环境搭建 1、下载源码：https://gitee.com/apolloconfig/apollo.git 2、以1.8.2版本为例，切到1.8.2分支，scripts文件夹下有两个sql文件apolloconfigdb.sql，apolloportaldb.sql，放入数据库执行 3、配置启动 ......
转载：大模型所需 GPU 内存笔记
转载文章：大模型所需 GPU 内存笔记 引言 在运行大型模型时，不仅需要考虑计算能力，还需要关注所用内存和 GPU 的适配情况。这不仅影响 GPU 推理大型模型的能力，还决定了在训练集群中总可用的 GPU 内存，从而影响能够训练的模型规模。 大模型推理的内存计算只需考虑模型权重即可。 大模型训练的内 ......
基于遗传算法的风光发电互补Matlab仿真模型
down 资源文件列表 基于遗传算法的风光发电互补Matlab仿真模型/ceshi.m , 1500基于遗传算法的风光发电互补Matlab仿真模型/fun.m , 1496基于遗传算法的风光发电互补Matlab仿真模型/genetic/bs2rv.M , 3356基于遗传算法的风光发电互补Matla ......
数据结构--树
前言 树其实这个数据结构在生活种比比皆是，比如家族的族谱，比赛的对战顺序或者自然界当中的看的见的花草树木的根茎。在计算机中，树由称为结点的元素按照层次结构的方式组织而成，层次最顶端称之为根，与根直连接称之为根的子节点，通常子结点的本身也有属于它们自己的子节点，除了根结点外，这个体系结构每一个结点 ......
JUC源码学习系列02
ReentrantLock 学习 ReentrantLock 最特别的点在于他的可重入特性，允许同一个线程多次获得同一个锁，而不被阻塞. 内部维护了表示锁占用状态的 state 变量，当同一个线程来获取锁时，state 会+1 并 继续获得锁，依次达到锁可重入效果，同时若获取失败进入到 CLH 队列 ......
JUC源码学习系列01
JUC 源码阅读 JUC 指的是 Java Util Concurrency，即 Java 工具包下的并发工具类库（Java Util Concurrency Utilities）。JUC 提供了一系列用于并发编程的工具类、接口和工具方法，帮助开发者更容易地实现多线程程序，并提供了更高级别、更灵活、 ......
drf之过滤排序源码、全局异常源码、认证，权限，频率源码分析、基于APIView编写分页
过滤排序源码 # 视图类中配置：filter_backends = [OrderingFilter] # 1 入口 》查询所有 》ListModelMixin 》list 》完成了过滤 # 2 ListModelMixin 》list的方法--》必须配合继承GenericAPIView class ......
CSS盒模型
盒模型的组成部分 CSS会把所有的HTML元素都看成一个盒子，所有的样式也是基于这个盒子 内容区（content）:元素中的文本或后代元素都是它的内容 内边距（padding）又称:补白，紧贴内容的补白区域 边框（border）: 盒子的边框 外边距（margin）：盒子与外界的距离，外边距不会影响 ......
NeruIPS 2023 | SegRefiner：通过扩散模型实现高精度图像分割
前言 尽管图像分割在过去得到了广泛研究和快速发展，但获得细节上非常准确的分割 mask 始终十分具有挑战性。因为达成高精度的分割既需要高级语义信息，也需要细粒度的纹理信息，这将导致较大的计算复杂性和内存使用。而对于分辨率达到2K甚至更高的图像，这一挑战尤为突出。由于直接预测高质量分割 mask 具有 ......
计算机网络学习第一天OSI与TCP/IP模型
OSI模型与TCP/IP模型 协议是水平的，由语法、语义和同步三部分组成，服务是垂直的。 从上往下依次封装（PCI+SDU=PDU）。 1. 物理层 主要传输比特，用光、电、其他形式的电磁波传输和表示数据，里面需要中继器和集线器设备。 2. 数据链路层 主要将网络层的IP数据包（分组）封装成帧（包含 ......
聊聊ChatGLM-6B部署与微调的深入理解
ChatGLM的部署，主要是两个步骤： 在Github上下载chatglm的库文件 在Hugging Face上下载模型参数与配置文件 ChatGLM包 从Github上看ChatGLM项目文件的结构来看，仅仅是包含三种部署方式的py代码与微调的py代码 而相关的实现细节，比如神经网络、激活函数、损 ......
最新四方支付平台源码(PHP版本，完全开源)提供第四方支付系统搭建服务。
经过本团队1年多的开发和内部测试。四方支付系统联众支付系统重磅上线。 内核：ThinkPhp 3.0 源码大小50M 平台基本功能：商家注册，商家后台。 开发文档和demo。 可以在后台对接多个三方支付通道。 部署环境要求：PHP5.3以上。 必须支持伪静态。 目前升级版本修改的bug： ※修改首页 ......
项目管理-模型测试体系图
简介：结合日常模型测试流程，探索模型测试管理体系，包含测试过程管理、基础环境、质量控制、效率提升、持续学习、测试探索几个方面。 ps：感兴趣的可以留言，一起探索模型测试项目实践~ ......
大模型评测探索
大模型评测探索 一、简介：大模型评测方法对比，对比传统的机器学习、深度学习与大模型测试过程，分析大模型评测体系。 二、以前的评价（机器学习、深度学习） 评价分散：以前标准能力评价往往较为零散，每个能力有各自的评价，局限在下游任务，比如图像识别：准确率、精准率、召回率，文本分类：Micro,推荐系统： ......
Linux—源码安装包管理
Linux源码安装包管理 1. 源码包基本概述 在linux环境下面安装源码包是比较常见的, 早期运维管理工作中，大部分软件都是通过源码安装的。那么安装一个源码包，是需要我们自己把源代码编译成二进制的可执行文件。 源码包的编译用到了linux系统里的编译器，通常源码包都是用C语言开发的，这也是因为C ......
【类库工具】 Assimp 支持三十几种模型格式的转换
Assimp.NET 发现一个导入导出解析的一个库，因为不懂C++，它有.net类库! 主要用于模型的导入和导出转换 github地址：https://github.com/StirlingLabs/Assimp.Net/tree/main ......
大模型评测-微软亚洲研究院：A Survey on Evaluation of Large Language Models论文分享
《A Survey on Evaluation of Large Language Models》 一、论文介绍：微软亚洲研究院公开了介绍大模型评测领域的论文《A Survey on Evaluation of Large Language Models》。该论文一共调研了219篇文献，以评测内容 ......
中文大模型基准测试报告--SuperCLUE评测报告分享
SuperCLUE评测报告分享-数据时间2023.11月 一、行业发展：自2022年11月30日ChatGPT发布以来，AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。国内学术和产业界在过去一年也有了实质性的突破。 大致可以分为三个阶段，即准备期（ChatGPT发布后国内产学研迅速形成大 ......
数据结构复习笔记
数据结构复习笔记 第一章 数据： 对客观事物的符号描述，能输入到计算机中并被计算机程序处理的符号总称。 能被计算机识别、存储和加工处理的信息的载体。 数据元素（记录）： 数据元素是组成数据的基本单位，是数据集合的个体，在计算机中通常作为一个整体进行考虑和处理。 数据项（字段）： 一个数据元素可由若个 ......
Rocketmq源码学习1——Rocketmq基础
1.什么是Rocketmq RocketMQ是一款开源的分布式消息中间件，由阿里巴巴团队最初开发，并于2016年贡献给Apache软件基金会，后成为Apache顶级项目。RocketMQ设计用于处理高并发、高吞吐量的场景，支持丰富的消息交互模式。 以下是RocketMQ的一些关键特性： 分布式架构： ......
OLAP多维语义模型（一）
概述 为了严谨起见，在正式内容之前，先把OLAP多维语义模型是什么说明一下。 先说OLAP（Online Analytical Processing），它是和OLTP相对的概念，关于这两个概念的详细解释网上有很多。严格的来说OLAP与多维数据没有必然的联系，基于关系模型、图模型、时序模型或者其他数据 ......
一文读懂大型语言模型LLM
在当今的技术世界中，人工智能正以前所未有的速度发展和演变。这一领域的快速发展得益于先进的机器学习算法、海量数据的可用性以及计算能力的显著提升。特别是，在自然语言处理（NLP）领域，AI的进步已经让计算机不仅能理解人类语言的基本结构，还能在更深层次上把握其语义和情感。这种能力的核心在于大型语言模型（大 ......
P5 循环神经网络模型
如何构建一个神经网络来实现从x到y的映射？？？ 实现过程中的困难： 1，输入和输出对于不同的例子会有不同的长度 或许可以给每个例子一个最大长度，将不足长度的部分用0补足，但是不是最好 2，这样一个朴素的神经网络，不能共享从不同文本位置学到的特征，尤其是神经网络学到了训练集中经常出现的词汇，我们希望在 ......