huggingface
聊聊ChatGLM6B的微调脚本及与Huggingface的关联
本文首先分析微调脚本trainer.sh的内容，再剖析ChatGLM是如何与Huggingface平台对接，实现transformers库的API直接调用ChatGLM模型，最后定位到了ChatGLM模型的源码文件。 脚本分析 微调脚本： PRE_SEQ_LEN=128 LR=2e-2 CUDA_V ......
中国版的huggingface——始智AI-wisemodel
新闻： 始智AI-wisemodel社区正式上线，目标打造中国版“HuggingFace” 首先要知道，AI火热了7,8年了，不论是国内还是国外一直有要搞模型分享的网站，但是这东西基本被认为是投资大回报少的事情，就和当年的云网盘倒台一样，很多企业都认为这东西搞不了，不赚钱，不过吧，最近两年美国有个叫 ......
国内的开源AI模型共享网站（AI模型的GitHub）—— mindscope —— 对标外网的“huggingface”，mindscope好用吗？
搞AI的应该都是知道huggingface是啥的，这里不过多介绍，简单的来说就是AI模型的Github，之所以这么说是因为计算机的项目往往都是代码文件，所有计算机项目的Github只需要上传项目的代码文件即可，而AI项目则与传统的计算机project不同，是在代码文件之外还需要有有神经网络的模型文件 ......
huggingface--bert
按照huggangingface上的说明文档，进行一 一 学习的 dmis-lab/biobert-v1.1 · Hugging Face BERT (huggingface.co) BertConfig： 包含BERT模型所有配置参数的类。它定义了模型的大小，例如隐藏层的数量、注意力头的数量等。 ......
huggingface下载模型的最正确方法
# transformsers 转onnx import os os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com' #加上这行之后又恢复以前的速度了! from transformers import AutoModel, AutoConfig, ......
语言模型：GPT与HuggingFace的应用
本文分享自华为云社区《大语言模型底层原理你都知道吗？大语言模型底层架构之二GPT实现》，作者：码上开花_Lancer 。 受到计算机视觉领域采用ImageNet对模型进行一次预训练，使得模型可以通过海量图像充分学习如何提取特征，然后再根据任务目标进行模型微调的范式影响，自然语言处理领域基于预训练语言 ......
使用Huggingface创建大语言模型RLHF训练流程的完整教程
ChatGPT已经成为家喻户晓的名字，而大语言模型在ChatGPT刺激下也得到了快速发展，这使得我们可以基于这些技术来改进我们的业务。 但是大语言模型像所有机器/深度学习模型一样，从数据中学习。因此也会有garbage in garbage out的规则。也就是说如果我们在低质量的数据上训练模型，那 ......
连接huggingface.co报错：(MaxRetryError("SOCKSHTTPSConnectionPool(host='huggingface.co', port=443) (SSLEOFError(8, '[SSL: UNEXPECTED_EOF_WHILE_READING] EOF occurred in violation of protocol (_ssl.c:1007)
参考： https://blog.csdn.net/shizheng_Li/article/details/132942548 https://blog.csdn.net/weixin_42209440/article/details/129999962 ......
huggingface和相关库
title: huggingface 和相关库 banner_img: https://proxy.thisis.plus/202305091237913.png date: 2023-5-9 12:35:00 tags: - 文字生成图片 huggingface 和相关库 huggingface ......
huggingface_hub.utils._validators.HFValidationError: Repo id must be in the form 'repo_name' or 'namespace/repo_name': '/llama-2-7b-chat-hf-chinese/1.1'. Use `repo_type` argument if needed.
问题： 2023-11-26 07:45:38 | ERROR | stderr | raise HFValidationError(2023-11-26 07:45:38 | ERROR | stderr | huggingface_hub.utils._validators.HFValidati ......
huggingface下载的.arrow数据集读取与使用说明
huggingface下载的.arrow数据集读取与使用说明 from datasets import load_from_disk from datasets import load_dataset dataset_cnn = load_dataset("ccdv/cnn_dailymail", ......
解决huggingface不能联网引发的问题
通过StableDiffusionXLPipeline.from_single_file离线加载模型 pipe = StableDiffusionXLPipeline.from_single_file( pretrained_model_link_or_path=r"C:\code\stable-d ......
HuggingFace机器视觉学习
Hugging Face 中计算机视觉的现状：https://huggingface.co/blog/zh/cv_state 从0开始 timm 库的 quickstart https://huggingface.co/docs/timm/quickstart 例子中通过调用模型 mobilenet ......
# 由于我只能访问hugginface网站，但是不能下载里面的数据，所以编写下面的代码，获取从huggingface下载数据的链接。在从其它路径下载数据。
# 由于我只能访问hugginface网站，但是不能下载里面的数据，所以编写下面的代码，获取从huggingface下载数据的链接。在从其它路径下载数据。 # 获取huggingface某个模型所有要下载数据的命令行。 # 可以把结果复制到autodl里，进行执行。速度可以达到13M/s # 然后在 ......
自建免费的网站监控服务-在huggingface上部署uptime kuma
前言 基于本站构建了各种服务，产生了构建网页集群状态监视系统的需求，包括各种服务器在线状态的监控和网站运行状态等等。 于是我想起了以前尝试过的一个项目：uptime-kuma。这个项目很好，从界面的美观度到开放程度都可以满足我的需求，但是由于我手里各种服务器每天折腾各种玩意，没有一台能保证稳定在线， ......
聊聊HuggingFace如何处理大模型下海量数据集
翻译自： [Big data? 🤗 Datasets to the rescue!](https://huggingface.co/learn/nlp-course/chapter5/4?fw=pt#big-data-datasets-to-the-rescue "Big data? 🤗 Dat ......
聊聊HuggingFace Transformer
## 概述 参见：[聊聊HuggingFace](https://www.cnblogs.com/zhiyong-ITNote/p/17640835.html) ## 项目组件 一个完整的transformer模型主要包含三部分：Config、Tokenizer、Model。 ### Config ......
huggingface.co的基本介绍
Hugging Face 是一个在自然语言处理（NLP）领域非常活跃的公司和开源社区，它对于普及化和简化现代NLP工具和模型做出了巨大的贡献。以下是有关 Hugging Face 的一些基本介绍： 1. **Transformers 库**： - Hugging Face 最为人所知的可能是它们的开 ......
记录一个奇葩的huggingface数据加载问题
使用dataset = datasets.load_dataset("beyond/rlhf-reward-single-round-trans_chinese")下载数据集会报错： FileNotFoundError: [Errno 2] No such file or directory: 'C ......
HuggingFace | 基础组件之Pipeline
### 什么是Pipeline + **Pipeline** + 将数据预处理、模型调用、结果后处理三部分组装成的流水线 + 使我们能够直接输入文本便获得最终的答案  ......
HuggingFace | config.json参数讲解
在Hugging Face中，`config.json`文件是用于配置预训练模型参数的文件。这个文件通常包含了模型的架构、超参数和其他模型配置信息。它是一个JSON格式的文件，可以在加载模型时用来初始化模型的配置。 在加载模型时，`from_pretrained()`方法通常会自动加载相应的`con ......
HuggingFace | 各种tokenizer有啥区别
在 Hugging Face 中，有多种不同的 tokenizer 实现可供选择，每种实现都有其独特的优缺点和用途。 1. `BertTokenizer`：适用于 BERT 模型，支持 WordPiece 分词和 Byte-Pair Encoding（BPE）分词算法。它还支持对输入序列进行截断和填 ......
HuggingFace | HuggingFace中from_pretrained函数的加载
我们使用huggingface的`from_pretrained()`函数加载模型和`tokenizer`，那么加载这些需要什么文件？ ![](https://img2023.cnblogs.com/blog/3085423/202307/3085423-20230729184714304-1663 ......
Huggingface | 修改模型的embedding
**目标：** 在NLP领域，基于公开语料的预训练模型，在专业领域迁移时，会遇到专业领域词汇不在词汇表的问题，本文介绍如何添加专有名词到预训练模型。 NLP的处理流程： 1. 对输入的句子进行分词，得到词语及下标 2. 通过embedding层获得词语对应的embedding 3. embeddin ......
HuggingFace | huggingface中遇到的坑
### 一、不要尝试使用huggingface的Trainer函数加载自定义模型 理论上说，Hugging Face的Trainer函数可以加载自定义模型，只要您的模型是基于PyTorch或TensorFlow实现的，并且实现了必要的方法（如`forward`方法和`from_pretrained` ......
Huggingface | 使用WMT16数据集微调BART训练新的标记进行翻译
BART模型是用来预训练seq-to-seq模型的降噪自动编码器（autoencoder）。它是一个序列到序列的模型，具有对损坏文本的双向编码器和一个从左到右的自回归解码器，所以它可以完美的执行翻译任务。 如果你想在翻译任务上测试一个新的体系结构，比如在自定义数据集上训练一个新的标记，那么处理起来会 ......
HuggingFace | 如何下载数据集并加载
HuggingFace中对于数据集的使用有个`datasets`库。`datasets`是一个用于加载和处理各种自然语言处理（NLP）数据集的Python库，它由Hugging Face开发。该库提供了一个统一的API，可以方便地访问多个数据集，并且支持自定义数据集。`datasets`库的主要特点 ......
Huggingface 默认下载位置更改
Ubuntu 系统中 Huggingface 模型等默认的下载位置如下： ``` ~\.cache\huggingface\hub ``` 通过修改环境变量更改默认下载位置： ``` # 打开配置文件 vi ~/.bashrc # 添加下述变量 export HF_HOME="目标地址" # 使配置 ......
HuggingFace | 如何下载预训练模型
本例我们在Linux上进行下载，下载的模型是`bert-base-uncased`。 下载网址为：https://www.huggingface.co/bert-base-uncased huggingface的transformers框架，囊括了BERT、GPT、GPT2、ToBERTa、T5等众 ......