机器 分布式sagemaker pytorch
Huggy Lingo: 利用机器学习改进 Hugging Face Hub 上的语言元数据
太长不看版: Hub 上有不少数据集没有语言元数据，我们用机器学习来检测其语言，并使用 librarian-bots 自动向这些数据集提 PR 以添加其语言元数据。 Hugging Face Hub 已成为社区共享机器学习模型、数据集以及应用的存储库。随着 Hub 上的数据集越来越多，元数据，作为一 ......
python(pytorch)学习中的法宝
1、dir():打开、查看 比方在Pycharm中输入dir(torch),就可以输出torch中所有的使用方法（函数） 2、help(函数名):对于新手来讲很有用，函数不知道怎么用的时候，可以用该函数调出函数的使用参考。 3、dataset：提供一种方式去获取数据及其label（如何获取每一个数据 ......
Pytorch distributed overview
torch.distributed 包 v1.6.0后包括三个主要的部分： 1.Distributed Data-Parallel Training(DDP):单程序多数据训练范式。模型被复制到每个进程中，每个模型副本被提供一组不同的输入数据，并将其梯度计算累加以加快训练速度。（collective ......
钉钉小程序生态—企业机器人加互动卡片，改善用户体验的开始！
一、前言 大家好！我是sum墨，一个一线的底层码农，平时喜欢研究和思考一些技术相关的问题并整理成文，限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。 首先上一些图，让大家知道我这篇文章要讲的是啥。 1. 什么是企业机器人？ 企业机器人，具备完整的接收消息和发送消息的能力。它与Webhooo ......
分布式存储ceph——（3）openstack对接ceph存储后端
ceph对接openstack环境 一、使用rbd方式提供存储如下数据： （1）image：保存glanc中的image； （2）volume存储：保存cinder的volume；保存创建虚拟机时选择创建新卷； （3）vms的存储：保存创建虚拟机时不选择创建新卷； 二、实施步骤： （1）客户端也要有 ......
Google主打的机器学习计算框架——jax的升级包
相关： 机器学习洞察 | 一文带你“讲透” JAX Jax的主要应用场景： 深度学习 (Deep Learning)：JAX 在深度学习场景下应用很广泛，很多团队基于 JAX 开发了更加高级的 API 支持不同的场景，方便开发者使用。 科学模拟 (Scientific Simulation)：JAX ......
简易机器学习笔记（九）LeNet实例 - 在眼疾识别数据集iChallenge-PM上的应用
前言 上一节大概讲了一下LeNet的内容，这一章就直接来用，实际上用一下LeNet来进行训练和分类试试。 调用的数据集： https://aistudio.baidu.com/datasetdetail/19065 说明： 如今近视已经成为困扰人们健康的一项全球性负担，在近视人群中，有超过35%的人 ......
分布式日志追踪ID实战 | 京东物流技术团队
本文通过介绍分布式应用下各个场景的全局日志ID透传思路，以及介绍分布式日志追踪ID简单实现原理和实战效果，从而达到通过提高日志查询排查问题的效率。 背景 开发排查系统问题用得最多的手段就是查看系统日志，相信不少人都值过班当过小秘吧：给下接口和出入参吧，麻烦看看日志里的有没有异常信息啊等等，但是在并发 ......
机器学习-Kmeans算法的sklearn实现
from sklearn.cluster import KMeans from sklearn.datasets import make_blobs import matplotlib.pyplot as plt # 可视化数据 # 生成数据 n_samples = 200 n_clusters = ......
图像识别的技术前沿：人工智能与机器学习的融合
图像识别的技术前沿在于人工智能（AI）与机器学习（ML）的融合。这种融合使得图像识别系统能够从大量数据中自动学习并识别出各种模式，从而在复杂和动态的环境中实现更高的准确性和鲁棒性。 机器学习在图像识别中发挥着越来越重要的作用。传统的图像识别方法通常依赖于手工制作的特征提取和特征匹配，而机器学习则通过 ......
深度解析 PyTorch Autograd：从原理到实践
本文深入探讨了 PyTorch 中 Autograd 的核心原理和功能。从基本概念、Tensor 与 Autograd 的交互，到计算图的构建和管理，再到反向传播和梯度计算的细节，最后涵盖了 Autograd 的高级特性。 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、A ......
使用pytorch构建图卷积网络预测化学分子性质
在本文中，我们将通过化学的视角探索图卷积网络，我们将尝试将网络的特征与自然科学中的传统模型进行比较，并思考为什么它的工作效果要比传统的方法好。 https://avoid.overfit.cn/post/7cfa0930651b4b4cac912952d8c53d54 ......
中间件 ZK分布式专题与Dubbo微服务入门 2-3 zookeeper文件夹主要目录介绍
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12690 1 重点关注 1.1 最常用的目录 bin 执行启动关闭zookeeper命令 conifg 进行配置文件配置 recipes 案例代码 docs 文档参考 2 课程内容 2.1 zo ......
中间件 ZK分布式专题与Dubbo微服务入门 2-2 zookeeper下载、安装
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12686 1 重点关注 1.1 zookeeper的安装 下载zookeeper 在以下链接下载3.4.11 http://archive.apache.org/dist/zookeeper/ ......
中间件 ZK分布式专题与Dubbo微服务入门 2-1 JDK的安装（linux）
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12684 1 重点关注 1.1 jdk的安装 下载jdk 用fileZilla上传jdk到linux环境 home路径下 在home路径下解压压缩包 tar -zxvf jdk-8u202-1i ......
机器学习-决策树系列-决策树-剪枝-CART算法-27
目录1. 剪枝2. CCP—代价复杂度剪枝（CART） 1. 剪枝 将子树还原成一个叶子节点： 是解决过拟合的一个有效方法。当树训练得过于茂盛的时候会出现在测试集上的效果比训练集上差不少的现象，即过拟合。可以采用如下两种剪枝策略。 前剪枝，设置超参数抑制树的生长， 例如:max_depth max_ ......
分布式数据库测试
分布式数据库的测试涉及多个方面，因为它们需要在多个节点上运行、处理大量数据并保证数据一致性和可靠性。以下是测试分布式数据库时可以考虑的不同方向和方法： 功能测试： 基本功能测试：验证数据库的基本功能，如数据插入、查询、更新和删除操作是否正常工作。 事务管理测试：确保分布式事务在不同节点上的协调与管理 ......
docker构建机器学习计算环境并做无网络迁移
1.docker安装 很多系统自带docker，可以跳过 2.拉取镜像 docker pull nvcr.io/nvidia/pytorch:22.12-py3 保证有足够磁盘空间，有些镜像要几十G，不然系统会出问题，看我另一篇博文 3.配置 创建一个名字为xxx的容器，运行镜像yyy docker ......
具身智能即将为通用机器人补全最后一块拼图
1. 什么是具身智能？ 具身智能通过在物理世界和数字世界的学习和进化，达到理解世界、互动交互并完成任务的目标。 具身智能是由“本体”和“智能体”耦合而成且能够在复杂环境中执行任务的智能系统。一般认为，具身智能具有如下的几个核心要素： 第一是本体，作为实际的执行者，是在物理或者虚拟世界进行感知和任务执 ......
分布式存储ceph——（2）部署ceph
前言： 很多朋友想学ceph，但是开始ceph部署就让初学者举步为艰，ceph部署时由于国外源的问题（具体大家应该懂得），下载和安装软件便会卡住，停止不前。即使配置搭建了国内源后，执行ceph-deploy install 时又跑去了国外的源下载，很是无语呀！！！这样导致我们停下了学习ceph的脚步 ......
分布式存储ceph——（1）ceph 讲解
一、Ceph简介： Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目 ......
简易机器学习笔记（八）关于经典的图像分类问题-常见经典神经网络LeNet
前言 图像分类是根据图像的语义信息对不同类别图像进行区分，是计算机视觉的核心，是物体检测、图像分割、物体跟踪、行为分析、人脸识别等其他高层次视觉任务的基础。图像分类在许多领域都有着广泛的应用，如：安防领域的人脸识别和智能视频分析等，交通领域的交通场景识别，互联网领域基于内容的图像检索和相册自动归类， ......
基于Pytorch的网络设计语法4
import torch.nn as nn import torch.functional as F import torch.optim as optim from collections import OrderedDict class Net4(nn.Module):# 从nn.Module ......
基于Pytorch的网络设计语法3
import torch.nn as nn import torch.functional as F import torch.optim as optim from collections import OrderedDict class Net3(nn.Module):# 从nn.Module ......
基于Pytorch的网络设计语法2
import torch.nn as nn import torch.functional as F import torch.optim as optim from collections import OrderedDict class Net2(nn.Module):# 从nn.Module ......
简易机器学习笔记（七）计算机视觉基础 - 常用卷积核和简单的图片的处理
前言 这里实际上涉及到了挺多有关有关理论的东西，可以详细看一下paddle的官方文档。不过我这里不过多的谈有关理论的东西。 【低层视觉】低层视觉中常见的卷积核汇总 图像处理中常用的卷积核 在代码中，我们实际上是用不同的卷积核来造成不同的影响，我这里也是paddle中对于卷积核的几个比较简单的应用。 ......
云计算技术与应用 之 实验 10--分布式云计算部署
实验 10--分布式云计算部署 一、实验目的 掌握分布式云计算部署。 二、实验原理和内容 1.了解云解决方案； 2.了解 iaas、paas； 3.提交实验报告。 三、实验步骤 1.进入 win10 操作系统。 2.完成，步骤和结果如下： 3.完成，步骤和结果如下： 4.结果1，步骤和结果如下： 5 ......
云计算技术与应用 之 实验六-分布式文件系统算法—MapReduce
实验六-分布式文件系统算法—MapReduce 一、实验目的 掌握 MapReduce 算法的设计与实现。 二、实验原理和内容 1.原理： MapReduce 的核心思想是“分而治之”，也就是把一个大的数据集拆分成多 个小数据集在多台机器上并行处理。 一个大的 MapReduce 作业，首先会被拆分 ......
云计算技术与应用 之 实验 5-分布式文件系统并行编程— Producer-Consumer 模式
实验 5-分布式文件系统并行编程—Producer-Consumer 模式 一、实验目的 掌握并行编程 Producer-Consumer 模式的设计与实现。 二、实验原理和内容 原理： 系统有两类进程协作：Master 进程和 Worker 进程。Master 负责接收和分 配任务，Worker ......
基于Pytorch的网络设计语法1
第一种语法： 层层堆叠 import torch.nn as nn import torch.functional as F import torch.optim as optim from collections import OrderedDict class Net1(nn.Module):# ......