程式 科学家 模型pytorch
大模型安全｜绿盟
转载：大模型正在“记住”与“说出” 引言 「大模型」引领的创新变革正在发生身处技术爆炸时代，高光与隐忧共存。安全风险已成为发展中无法忽视的话题。 LLM在使用过程中包含敏感机密的数据或信息，可能会导致未授权的数据访问、隐私侵犯、安全漏洞等风险，随之造成敏感信息泄露。 2023年8月，全球开放应用软件 ......
面向初学者的机器学习、数据科学、AI、LLM课程统统免费
微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费 微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费 大家好，我是老章 推荐几个质量上乘且完全免费的微软开源课程 面向初学者的机器学习课程 地址：https://microsoft.github.io/ML ......
书生浦语大模型全链开源体系介绍
Smiling & Weeping 以后隔着三千梨花树，六百湘水，你不必哽咽，我始终记得见你的第一面 2023大模型成为热门关键词 而通用大模型在大模型中适用范围和效率无疑会更高 那么书生·浦语20B开源大模型性能介绍 那么从模型到应用的主要流程大概 书生·浦语全链条开源开放体系 全链条开源开放体系 ......
聊聊 从源码来看ChatGLM-6B的模型结构
基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架构的神经网络模型，因此从transformer结构入手，分析其源码结构。 transformer结构： 转载请备注出处：https://www.cnblogs.c ......
环境配置问题一些注意的点（Pytorch+cudnn）
1、先安装好Pycharm以及Anaconda 我使用的是Python3.6版本，所以下载了与Python3.6对应的Anaconda，Pycharm下载的是社区版； 2、cudnn版本：首先查看自己电脑NVIDIA版本，从任务管理器中查看GPU型号，再从cudnn官网下载相关配件； 3、在note ......
小学自然课 科学课 nature science
【开学季】科学课回归一年级课堂！80后家长们，还记得小学有一门课叫“自然”吗？ 常州发布 2017-09-01 17:28 发表于江苏 今年秋季新学期起 全国小学一年级新生的课表上 出现了一门新的必修课程 科学课 你会用一些简单的工具、材料做小实验吗？ 对于刚从幼儿园毕业的“小萌新”来说， 除了要尽 ......
读算法霸权笔记12_数据科学
1. 公平与公正 1.1. 公平大多数时候只是副产品 1.2. 由贪婪或偏见导致的不公正一直发生在我们身边 1.2.1. 如果承认法律面前人人平等，或者作为选民的大众应该被平等对待，我们就不能允许模型把我们分为不同的群体进行区别对待 1.3. 对于数学模型来说，公平和公共利益也是如此，其价值难以用数 ......
Window10安装PyTorch
1、参考地址 https://blog.csdn.net/Mind_programmonkey/article/details/99688839 2、安装pytorch-gpu时，网络不好的话可以开手机热点，然后进行下载安装 activate conda activate python3.8 pip ......
R语言中的马尔可夫区制转移(Markov regime switching)模型|附代码数据
原文链接：http://tecdat.cn/?p=12187 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于马尔可夫区制转移模型的研究报告，包括一些图形和统计输出。 金融分析师通常关心检测市场何时“发生变化”：几个月或至几年内市场的典型行为可以立即转变为非常不同的行为。投资者希望及时发现这 ......
pytorch反向传播错误解决：RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.
pytorch反向传播错误解决： 错误： RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=T ......
Github揽获3k+星！清华开源CogAgent：基于多模态大模型的GUI Agent
前言 本文提出了视觉 GUI Agent，使用视觉模态（而非文本）对 GUI 界面进行更全面直接的感知，从而做出规划和决策。对此，我们研发了多模态大模型 CogAgent，可接受 1120×1120 的高分辨率图像输入，不仅提升了通用视觉理解能力，还具备强大的 GUI Agent 能力。 本文转载自 ......
CSIG青年科学家会议圆满举行，合合信息打造智能文档处理融合研究新范式
近期，第十九届中国图象图形学学会青年科学家会议（简称“会议”）在广州召开。会议由中国图象图形学学会（CSIG）主办，琶洲实验室、华南理工大学、中山大学、中国图象图形学学会青年工作委员会承办。会议面向国际学术前沿与国家战略需求，致力于支持图象图形领域的优秀青年学者，提供学术交流与研讨的平台，促进学者之 ......
大语言模型优化方法简介：Prompt、RAG、Fine-tuning
GPT、LLama、Gemini等大语言模型虽展现出强大能力，但在实际应用中仍有问题，例如在准确性、知识更新速度和答案透明度方面，仍存在挑战。 论文“Retrieval-Augmented Generation for Large Language Models: A Survey（面向大语言模型的 ......
对盒模型的理解
CSS中的盒模型有两种：标准盒子模型、IE盒子模型。 盒模型都是由4个部分组成的：content、padding、border和margin。 标准盒模型和IE盒模型的区别在于设置width和height时，对应的范围不同： 标准盒模型的width和height属性的范围只包含了content； I ......
书生·浦语大模型全链路开源体系——学习笔记
学习来源：https://www.bilibili.com/video/BV1Rc411b7ns/ 资料来源：https://github.com/InternLM/tutorial/discussions/36 （有同学发pdf，还有其他同学的笔记） 俺没啥知识积累，很多信息不太会折叠。姑且做个笔 ......
基于Matlab实现电力电子仿真模型
1. 引言电力电子是电力系统中的重要组成部分，它涉及到能量转换和功率控制等关键技术。为了研究和优化电力电子设备的性能，建立仿真模型是一种重要的手段。Matlab作为一种强大的数学软件，提供了丰富的工具和功能，可以帮助我们实现电力电子仿真模型。 2. Matlab实现电力电子仿真模型的基本步骤2.1 ......
bigdecimal 使用 stripTrailingZeros() 去除多余的小数末位 0 ，变为科学计数法的解决办法
bigdecimal 类是java 中解决高精度数字加减乘除的类。其中 stripTrailingZeros() 内置函数是去掉小数未位上是0的功能。在使用过程中发现 使用它后，整数是 70或者 100 的数据会变为科学技术法。 //lysl 是 70 BigDecimal zsl=lccb_jps ......
三维模型数据的几何坐标变换的点云重建并行计算技术方法分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
中间件 ZK分布式专题与Dubbo微服务入门 3-1 zk数据模型介绍
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12694 1 重点关注 1.1 zookeeper数据模型概念介绍 zk的数据模型也可以理解为linux/unix的文件目录 : /usr/local/. 每一个节点都称之为znode，它可以有 ......
202-STM32F103+EC800K(移远4G Cat1)基本控制篇(阿里云物联网平台)-设备使用一型一密动态注册方式连接云平台,并使用物模型Topic上报温湿度数据
<p><iframe name="ifd" src="https://mnifdv.cn/resource/cnblogs/ZLIOTB/EC800K/aliyun.html" frameborder="0" scrolling="auto" width="100%" height="1500">< ......
201-STM32F103+EC800K(移远4G Cat1)基本控制篇(阿里云物联网平台)-设备使用一机一密方式连接云平台,并使用物模型Topic上报温湿度数
<p><iframe name="ifd" src="https://mnifdv.cn/resource/cnblogs/ZLIOTB/EC800K/aliyun.html" frameborder="0" scrolling="auto" width="100%" height="1500">< ......
R语言广义线性模型(GLM)、全子集回归模型选择、检验分析全国风向气候数据|附代码数据
全文链接：http://tecdat.cn/?p=30914 最近我们被客户要求撰写关于广义线性模型(GLM)的研究报告，包括一些图形和统计输出。 我们正和一位朋友讨论如何在R软件中用GLM模型处理全国的气候数据。本文获取了全国的2021年全国的气候数据 采样时间：2021年1月1号~2021年12 ......
R语言SVM模型文本挖掘分类研究手机评论数据词云可视化
全文链接：https://tecdat.cn/?p=34772 原文出处：拓端数据部落公众号 随着大数据时代的来临，数据挖掘和机器学习在诸多领域中的应用价值日益凸显。手机评论数据作为消费者对产品和服务的主观反馈，具有巨大的商业价值。本文旨在帮助客户通过R语言实现支持向量机（SVM）模型在文本挖掘分类 ......
python(pytorch)学习中的法宝
1、dir():打开、查看 比方在Pycharm中输入dir(torch),就可以输出torch中所有的使用方法（函数） 2、help(函数名):对于新手来讲很有用，函数不知道怎么用的时候，可以用该函数调出函数的使用参考。 3、dataset：提供一种方式去获取数据及其label（如何获取每一个数据 ......
（上模型）标签库拆分多个词条后导入
import pandas as pd import os def split_excel(original_file, target_folder): # 读取原始Excel文件 df = pd.read_excel(original_file) # 计算要拆分成多少个新表格 number_of_ ......
Pytorch distributed overview
torch.distributed 包 v1.6.0后包括三个主要的部分： 1.Distributed Data-Parallel Training(DDP):单程序多数据训练范式。模型被复制到每个进程中，每个模型副本被提供一组不同的输入数据，并将其梯度计算累加以加快训练速度。（collective ......
AT事务模型使用
机制 两阶段提交协议的演变： 一阶段：业务数据和回滚日志记录在同一个本地事务中提交，释放本地锁和连接资源。 二阶段： 提交异步化，非常快速地完成。 回滚通过一阶段的回滚日志进行反向补偿。 集成过程 参考Seata客户端集成 工作机制 一阶段 根据update语句的条件组成select脚本，查询得到更 ......
大模型如何部署上线
部署大型语言模型是一个详尽且复杂的过程，需要开发者们具备深入的理解和精确的实施策略。以下是对各个开发步骤的简单介绍，欢迎各位开发者一起讨论交流。 数据集的准备与处理 在部署大型语言模型之前，首先需要准备一个广泛且多样化的数据集。这个数据集应该涵盖多个领域、不同风格和语境的文本数据，这样能确保模型全面 ......
在百度千帆大模型服务器训练的记录
1.训练模型 ChatGLM3-6B-32K 1.1数据 训练数据 本地:llama_factory_train_data_2 1.1.1 加载数据 将数据文件放到 /home/LLaMA-Factory/data 下 修改dataset_info.json文件， 在末尾加上 "modify_lor ......