框架 模型tornado
scrapy框架之格式化&持久化
格式化处理 在parse方法中直接处理是简单的处理方式，不太建议，如果对于想要获取更多的数据处理，则可以利用Scrapy的items将数据格式化，然后统一交由pipelines来处理 以爬取校花网校花图片相关信息为例： 1 import scrapy 2 from scrapy.selector i ......
scrapy框架之Cookie及自动登陆抽屉并点赞
自动登录抽屉并点赞 1 # -*- coding: utf-8 -*- 2 import scrapy 3 from scrapy.selector import Selector,HtmlXPathSelector #选择器，标签查找 4 from ..items import ChoutiIte ......
tornado框架之基本用法
Tornado 是 FriendFeed 使用的可扩展的非阻塞式 web 服务器及其相关工具的开源版本。这个 Web 框架看起来有些像web.py 或者 Google 的 webapp，不过为了能有效利用非阻塞式服务器环境，这个 Web 框架还包含了一些相关的有用工具 和优化。 Tornado 和现 ......
Bert-vits2新版本V2.1英文模型本地训练以及中英文混合推理(mix)
中英文混合输出是文本转语音(TTS)项目中很常见的需求场景，尤其在技术文章或者技术视频领域里，其中文文本中一定会夹杂着海量的英文单词，我们当然不希望AI口播只会念中文，Bert-vits2老版本(2.0以下版本)并不支持英文训练和推理，但更新了底模之后，V2.0以上版本支持了中英文混合推理(mix) ......
已解决：若依更换日志EasyExcel框架导出报错 java.lang.NoClassDefFoundError: org/apache/poi/POIXMLTypeLoader
先描述一下当时的场景 回忆 看到出错了，我就想可能是哪个路径写错了，或者导依赖名字写对，或者说是多了少了标点符号什么的。 然而，还是想简单了，检查重启后发现问题并没有解决。 于是就把所有我改过的地方检查了一遍，检查和这个依赖相关的代码。发现还是没啥关系 后来去找百度、百度给的和我分析的一样，去找别的 ......
小模型也可以「分割一切」，Meta改进SAM，参数仅为原版5%
前言 Segment Anything 的关键特征是基于提示的视觉 Transformer（ViT）模型，该模型是在一个包含来自 1100 万张图像的超过 10 亿个掩码的视觉数据集 SA-1B 上训练的，可以分割给定图像上的任何目标。这种能力使得 SAM 成为视觉领域的基础模型，并在超出视觉之外的 ......
脚手架架构设计和框架搭建
站在前端研发的角度，分析开发脚手架的必要性 脚手架核心价值是将研发过程 自动化：项目重复代码拷贝/git操作/发布上线操作 标准化：项目创建/git flow/发布流程/回滚流程 数据化：研发过程数据化、系统化，使得研发过程可量化 自研脚手架和自动化构建工具的区别 市面上已经有了如Jenkins,t ......
大模型评测工具&评测基准
● 评测工具：用于评估模型的整体能力 ● 评测基准：用于评估模型在特定任务方面的能力 评测集名称 核心维度 测试模型的描述 评测类型 MMLU 多模态语言理解 理解文本、图像和音频等多种模态数据之间的关系方面的能力 评测工具 AGIEVAL 通用人工智能 自然语言理解、机器翻译、视觉识别等多种不同任 ......
语言模型：GPT与HuggingFace的应用
本文分享自华为云社区《大语言模型底层原理你都知道吗？大语言模型底层架构之二GPT实现》，作者：码上开花_Lancer 。 受到计算机视觉领域采用ImageNet对模型进行一次预训练，使得模型可以通过海量图像充分学习如何提取特征，然后再根据任务目标进行模型微调的范式影响，自然语言处理领域基于预训练语言 ......
DRF框架视图类清晰整合
2个视图基类&5个视图mixins扩展类&9个GenericAPIView的视图子类&5个viewsets视图集基类 2个视图基类 APIView 等级最高 但是写起来代码量也最多 # 基于APIView写的view.py class BookView(APIView): def get(self, ......
.NET使用分布式网络爬虫框架DotnetSpider快速开发爬虫功能
前言 前段时间有同学在微信群里提问，要使用.NET开发一个简单的爬虫功能但是没有做过无从下手。今天给大家推荐一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架（可以帮助 .NET 工程师快速的完成爬虫的开发）：DotnetSpider。 注意：为了自身安全请在国家法律允许范围内开发网络爬虫功能。 框 ......
.net下优秀的MQTT框架MQTTnet使用方法，物联网通讯必备
MQTTnet 是一个高性能的MQTT类库，支持.NET Core和.NET Framework。 MQTTnet 原理： MQTTnet 是一个用于.NET的高性能MQTT类库，实现了MQTT协议的各个层级，包括连接、会话、发布/订阅、QoS（服务质量）等。其原理涉及以下关键概念： MqttCli ......
python学习笔记-tornado框架
一、简单介绍tornado tornado学习概要 1、基本操作 -路由系统 -视图函数2、自定义开源组件 session Form表单验证3、自定义异步非阻塞web框架 1、简单示例 import tornado.ioloop import tornado.web class MainHandle ......
8卡3090GPU云服务器上采用VLLM部署中文llama2-70b模型及OpenAI格式接口
TigerBot-70b-4k-v4 推理部署 模型本地部署（基于HuggingFace) 根据实际测试，加载模型需要约129G显存，最低需要6张3090显卡（流水线并行） 如果使用vllm进行加速推理（张量并行），考虑8张3090显卡或者4张A100-40G（模型分割要求） 模型下载 截至目前，模 ......
框架运行出错
定位错误的进程（我们的例子是Datanode） 查看错误进程的日志（去DN挂掉的节点，找到其日志，例子里面我们查看hadoop102的DN日志） 定位运行日志位置 日志的位置就在Hadoop家目录下logs文件夹里面 查看日志 tail -n 100 /opt/module/hadoop-3.1.3 ......
java 单元测试之 - Spring框架提供的单元/集成测试注解
java 单元测试之 - Spring框架提供的单元/集成测试注解 Spring框架提供了很多注解来辅助完成单元测试和集成测试(备注：这里的集成测试指容器内部的集成测试，非系统间的集成测试)，先看看Spring框架提供了哪些注解以及对应的作用。@RunWith(SpringRunner.class) ......
一张图生成一个视频大模型公开
一张图生成一个视频大模型公开 Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation 为任何人制作动画：用于角色动画的一致且可控的图像到视频合成； 论文地址：https: ......
分布式资源调度框架YARN
1、YARN=Yet Another Resource Negotiator 2、主从架构，一主多从3、主=ResourceManager,从=NodeManager4、ResourceManager由ApplicationManager和ResourceScheduler组成5、NodeManag ......
深度学习笔记3：使用预训练模型之特征提取
我们在小型图像数据集上做深度学习时，一种高效且实用的方法是采用预训练模型。预训练模型，指的是在大型数据集上预先训练好的模型。如果原始数据集具有足够的规模和通用性，那么预训练模型所学习到的特征的空间层次结构可以被视为视觉世界的通用模型。与许多早期的浅层学习方法相比，这种在不同问题之间移植特征的能力是深 ......
浅析MySQL代价模型：告别盲目使用EXPLAIN，提前预知索引优化策略
熟悉代价模型之后，我们可以预先了解 MySQL 在执行查询时会如何选择索引，从而更有效地进行索引优化。在接下来的文章中，我将结合近期进行索引优化的具体案例，来详细解释如何运用代价模型来优化索引。 ......
ChatGLM 模型部署
ChatGLM 模型部署 模型地址： huggingface：https://huggingface.co/THUDM/chatglm3-6b modelscope：https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary 搭建环境 # 下载代 ......
[AI]大模型稳定角色扮演形成“自我认知”
本文从社会关系的角度,探讨人类自我身份认知形成的部分影响机理。并提出人工智能的角色扮演已经是一种基础的自我认知能力。当知识库中积累了足够的自我相关信息，那么人工智能可以模拟人类的这种自我身份认知的能力 ......
倾斜摄影三维模型的根节点合并的模型质量提升方法探讨
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
使用预训练语言模型作帖子分类
预训练语言模型PLMs或PTMs应用广泛且效果良好。有的文章中把自然语言处理中的预训练语言模型的发展划分为4个时代:词入时代，上下文嵌入(Context Word Embedding)时代、预训练语言模型时代、改进型和领域定制型时代。 为什么需要预训练 模型通常需要非常大的参数量，但并不 ......
R语言SIR模型网络结构扩散过程模拟SIR模型（Susceptible Infected Recovered ）代码实例|附代码数据
全文链接：http://tecdat.cn/?p=14593 最近我们被客户要求撰写关于SIR模型的研究报告，包括一些图形和统计输出。 与普通的扩散研究不同，网络扩散开始考虑网络结构对于扩散过程的影响。这里介绍一个使用R模拟网络扩散的例子 基本的算法非常简单：生成一个网络:g(V, E)。随机选择一 ......
数据分享|AARRR模型淘宝用户行为分析、电商销售分析
全文链接：https://tecdat.cn/?p=34482 原文出处：拓端数据部落公众号 分析师：Ye Yuan 随着互联网、5G时代到来，大数据横空出世，数据变得越来越重要，如何针对业务问题和需求 ，提取有效特征数据并对问题进行深入分析，最终得到可靠的结论是数据分析最核心的环节，只有得出正确的 ......
.NET 6 (C#) Microsoft.Extensions.Logging 日志框架的使用
.NET 6 中的日志框架主要是基于 Microsoft.Extensions.Logging，这是一个通用的、可扩展的日志记录接口，允许使用不同的日志提供程序（例如控制台、文件、第三方库等）进行日志记录。本文主要介绍 .NET 6 (C#) 中 Microsoft.Extensions.Loggi ......
.NET 6 (C#) Serilog 日志框架的使用
Serilog是.NET 6中常用的日志框架之一，用于记录和管理应用程序的日志信息。它具有灵活的配置选项和丰富的扩展功能，使开发人员能够轻松地集成日志记录功能到他们的应用程序中。Serilog是一个用于.NET应用程序的诊断日志库。它易于设置，具有清晰的API，并且可以在所有最新的.NET平台上运 ......
大模型词表构建
1.引言 在文本输入embedding层之前，以中文文本为例，首先对文本进行分词并进行one-hot编码，分词肯定是根据词表来进行分词，那构建一个合适的词表就显得至关重要，过大或者过小都会对后续模型的训练效果产生影响。所以这里介绍当前各个大模型的词表构建方法。 2.技术基础 在介绍具体的词表构建方法 ......
electron老框架打正式包
一、 将call set_env.bat添加到build.bat和package.bat文件中 二、修改set_env.bat文件内的地址 WORKSPACE为项目代码地址 NODEJS_HOME为nodejs地址，查找方式（cmd中输入where node） YARN_HOME为yarn地址，如果 ......