弹性 实战k8s模型
（上模型）标签库拆分多个词条后导入
import pandas as pd import os def split_excel(original_file, target_folder): # 读取原始Excel文件 df = pd.read_excel(original_file) # 计算要拆分成多少个新表格 number_of_ ......
MySQL运维实战（1.3）安装部署：源码编译安装
作者：俊达 引言 在大多数情况下，我们不需要自己编译MySQL源码，因为编译的MySQL和二进制包的内容基本一致。然而，有些特殊情况可能需要我们采用源码编译的方式安装MySQL： 安装非标准版本的MySQL：有些特殊的应用场景会使用到MySQL的非标准版本，这时候我们就需要编译源码来安装。 安装社区 ......
AT事务模型使用
机制 两阶段提交协议的演变： 一阶段：业务数据和回滚日志记录在同一个本地事务中提交，释放本地锁和连接资源。 二阶段： 提交异步化，非常快速地完成。 回滚通过一阶段的回滚日志进行反向补偿。 集成过程 参考Seata客户端集成 工作机制 一阶段 根据update语句的条件组成select脚本，查询得到更 ......
大模型如何部署上线
部署大型语言模型是一个详尽且复杂的过程，需要开发者们具备深入的理解和精确的实施策略。以下是对各个开发步骤的简单介绍，欢迎各位开发者一起讨论交流。 数据集的准备与处理 在部署大型语言模型之前，首先需要准备一个广泛且多样化的数据集。这个数据集应该涵盖多个领域、不同风格和语境的文本数据，这样能确保模型全面 ......
在百度千帆大模型服务器训练的记录
1.训练模型 ChatGLM3-6B-32K 1.1数据 训练数据 本地:llama_factory_train_data_2 1.1.1 加载数据 将数据文件放到 /home/LLaMA-Factory/data 下 修改dataset_info.json文件， 在末尾加上 "modify_lor ......
书生浦语大模型
书生·浦语全链路开源体系 数据：书生·万卷 文本，图像，视频 总数据量：2TB 开放平台：OpenDataLab 预训练：InternLM-Train 高可扩展，兼容主流生态 微调：XTuner 增量续训：学习新知识 有监督微调：学会理解和遵循指令，或注入少量领域知识 XTuner：7B模型最低8G ......
分布式日志追踪ID实战 | 京东物流技术团队
本文通过介绍分布式应用下各个场景的全局日志ID透传思路，以及介绍分布式日志追踪ID简单实现原理和实战效果，从而达到通过提高日志查询排查问题的效率。 背景 开发排查系统问题用得最多的手段就是查看系统日志，相信不少人都值过班当过小秘吧：给下接口和出入参吧，麻烦看看日志里的有没有异常信息啊等等，但是在并发 ......
Ubuntu 22.04 部署 ceph quincy 集群和 K8S 1.24.1对接
环境 IP 主机名 172.16.16.77 test1 172.16.16.78 test2 172.16.16.79 test3 ceph版本：quincy 主机系统：ubuntu 22.04 安装集成软件 3台机器上都要执行 vi /etc/hosts # 最后添加 172.16.16.77 ......
k8s从Pod容器中copy文件至本地
[root@k8s-master ~]# kubectl get po NAME READY STATUS RESTARTS AGE data-java-9bbf8c957-jp5dl 0/1 CrashLoopBackOff 9745 (4m28s ago) 34d data-java-bc8f6 ......
MySQL运维实战（1.2）安装部署：使用二进制安装部署
作者：俊达 引言 上一篇我们使用了RPM进行安装部署，这是一种安装快速、简化部署和管理过程、与操作系统提供的包管理工具紧密集成的部署方法。此外，当你需要更高的灵活性和自定义性，并且愿意承担一些额外的手动配置和管理工作，那么二进制安装是一个值得考虑选择。 以下是二进制安装的一些优势： 处理单机多实例： ......
欢迎 Mixtral - 当前 Hugging Face 上最先进的 MoE 模型
最近，Mistral 发布了一个激动人心的大语言模型: Mixtral 8x7b，该模型把开放模型的性能带到了一个新高度，并在许多基准测试上表现优于 GPT-3.5。我们很高兴能够在 Hugging Face 生态系统中全面集成 Mixtral 以对其提供全方位的支持 🔥！ Hugging Fac ......
AI-人工智能大模型
大模型 1.NLP 模型 GPT ：OpenAI的GPT系列 ChatGPT BERT：Google 基于 Transformer (变换器)的双向编码器表示 (BERT) 技术由 Google 开发, 通过在所有层中共同调整左右情境,利用无标记文本预先训练深度双向表示 Gemini llama M ......
MySQL运维实战（1.1）安装部署：使用RPM进行安装部署
作者：俊达 我们在生产环境部署mysql时，一般很少使用RedHat Package Manager(RedHat软件包管理工具)。用rpm或或者其他包管理器安装mysql有其好处，例如安装简单，并且许多系统可能已经自带了某个版本的MySQL。 当然，使用RPM安装也存在一些缺点： 1、rpm依赖包 ......
大模型实战营第一课心得笔记
1、了解专用模型和通用大模型，以及书生浦语大模型开源历程、轻量级、中量级以及重量级三种不同大模型系列，和其他大模型的性能对比。 2、了解从模型到应用的主要步骤以及书生大模型各步骤采取的主要技术，如训练数据，预训练、微调、开源评测体系等。 3、现有的疑问：书生中量级的使用商业成本以及具体功能性能表现， ......
k8s~动态生成pvc和pv
有时，我们不想手动建立pv和pvc，这时，我们可以通过strongClass存储类来帮我们实现，动态建立pvc,并动态为它分配pv存储空间，我们以nfs为例，说一下动态分配在nfs存储截至上建立pv的方式。 本文导读 StorageClass和PVC及PV 集群权限与绑定rbac.yaml 建立动态 ......
三维模型数据的几何坐标变换的点云重建并行计算技术方法分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
R语言DCC-GARCH模型对上证指数、印花税收入时间序列数据联动性预测可视化|附代码数据
全文链接：http://tecdat.cn/?p=31630 最近我们被客户要求撰写关于GARCH的研究报告，包括一些图形和统计输出。 普通的模型对于两个序列的波动分析一般是静态的，但是dcc-garch模型可以实现他们之间动态相关的波动分析，即序列间波动并非为一个常数，而是一个随着时间的变化而变化 ......
数据分享|用户消费行为分析预测模型、重庆市的政策数据分析
原文链接：https://tecdat.cn/?p=34754 原文出处：拓端数据部落公众号 分析师：Xingyu Lan 企业想要发展必须掌握政策的动向。本次研究把握政策的核心要点，利用Python强大的计算生态(pandas,Matplotlib,DataFrame,request_html.B ......
k8s的云原生应用部署-mysql和wordpress
在已经建立有k8s集群的前提下，使用deploy，部署一个单独pod的单点mysql，部署一个4pod的wordpress应用。
应用的数据库使用mysql，mysql和应用都做集群外服务暴露。
通过该应用部署的练习，了解中等难度应用程序如何做云原生状态下的部署，并掌握以下k8s资源-APIServ... ......
ASR项目实战-交付过程中遇到的内核崩溃问题
当前参与交付的语音识别产品服务，算法模块基于经典的Kaldi，算法中的一部分运行在GPU之上。 算法团队采用的是声学模型+语言模型的1-pass方案。这个方案的特点在于，语言模型数据文件（HCLG文件）的大小，和训练语料的丰富程度正相关，即语言文本的语料越多，经过训练、转换后得到的语言模型文件越大。 ......
基于粒子群算法优化微电网能量管理Matlab仿真模型
基于粒子群算法优化微电网能量管理Matlab仿真模型 文件列表 基于粒子群算法优化微电网能量管理Matlab仿真模型/EMS_Microgrid/batt.m , 1390基于粒子群算法优化微电网能量管理Matlab仿真模型/EMS_Microgrid/battery.m , 591基于粒子群算法优 ......
璞华智教 | AI大模型语文、英语作文批阅功能震撼上线，璞公英教学平台助力教育智能化！
璞公英教学平台AI大模型作文批阅功能，让教师的批改负担减轻，让学生的作文进步更快！大数据技术为优化作文教学策略提供有力支持，让我们一起期待更多的创新和突破！ ......
企业级微服务项目实战《学成在线》学习日志（一）
项目架构 先来看看项目架构图： 我们主要搞的就是微服务层和数据层。 而这个项目比较大，框架就分成了三个端： 环境搭建 在开发这个项目前，你需要了解java,ssm,.springboot,springcloud,springcloudAlibaba,nacos,mysql,虚拟机,docker,SS ......
阿里modelscope下载模型
个人上传的模型地址：（需要注意，这个模型参数只做测试之用，并无实际意义） https://modelscope.cn/models/devilmaycry812839668/devil/summary 注意，这里的密码是指python sdk的验证字符： 模型仓库下载到本地： PS. 这个model ......
商智C店H5性能优化实战
前言 商智C店，是依托移动低码能力搭建的一个应用，产品面向B端商家。随着应用体量持续增大，考虑产品定位及用户体验，我们针对性能较差页面做了一次优化，并取得了不错的效果，用户体验值（UEI）从一般提升到良好。本文详细记录了优化思路及过程，期望给正在或打算做用户体验提升的小伙伴提供一些参考。 一、性能优 ......
k8s+kubeedge+sedna安装全套流程+避坑指南+解决办法
https://blog.csdn.net/MacWx/article/details/130200209?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-8-13 ......
转载：大模型所需 GPU 内存笔记
转载文章：大模型所需 GPU 内存笔记 引言 在运行大型模型时，不仅需要考虑计算能力，还需要关注所用内存和 GPU 的适配情况。这不仅影响 GPU 推理大型模型的能力，还决定了在训练集群中总可用的 GPU 内存，从而影响能够训练的模型规模。 大模型推理的内存计算只需考虑模型权重即可。 大模型训练的内 ......
基于遗传算法的风光发电互补Matlab仿真模型
down 资源文件列表 基于遗传算法的风光发电互补Matlab仿真模型/ceshi.m , 1500基于遗传算法的风光发电互补Matlab仿真模型/fun.m , 1496基于遗传算法的风光发电互补Matlab仿真模型/genetic/bs2rv.M , 3356基于遗传算法的风光发电互补Matla ......