评估指标perplexity深度 机器
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
基于深度学习的表格检测与识别技术的优势
引言： 信息时代的高速发展导致数据的大量产生与频繁传输，单单依靠人力很难处理这些数据。依托于人工智能的兴起与发展，数据的利用变得更加高效。表格作为数据的一种重要载体，是人们为了让数据的组织形式更加标准和结构化而使用的一种数据类型。 表格的特点： 信息高度精炼集中，方便信息的检索和比较。表格被广泛用于 ......
室内单目深度估计-3
注： 研究方向为depth estimation，欢迎同一个方向的加入QQ群(602708168)交流。 1. 论文简介 论文题目：MonoIndoor: Towards Good Practice of Self-Supervised Monocular Depth Estimation for ......
Python GDAL读取栅格数据并基于质量评估波段QA对指定数据加以筛选掩膜
本文介绍基于Python语言中gdal模块，对遥感影像数据进行栅格读取与计算，同时基于QA波段对像元加以筛选、掩膜的操作~ ......
深度学习基础-优化算法详解
所谓深度神经网络的优化算法，即用来更新神经网络参数，并使损失函数最小化的算法。优化算法对于深度学习非常重要，网络参数初始化决定模型是否收敛，而优化算法的性能则直接影响模型的训练效率。 ......
深度学习-RNN
I.前言 介绍RNN的概念和应用 RNN（Recurrent Neural Network，循环神经网络）是一类能够处理序列数据的神经网络，它在处理时考虑了之前的状态，因此能够对序列数据中的每个元素进行建模和预测。 RNN的应用非常广泛，特别是在自然语言处理和时间序列分析方面。以下是RNN在各个领域 ......
深度学习-LSTM
前言 神经网络的历史和背景 神经网络是一种模拟人类神经系统的计算模型，它由大量简单的神经元单元组成，通过它们之间的连接和传递信息来模拟人脑的学习和推理过程。神经网络起源于上世纪40年代，当时Warren McCulloch和Walter Pitts提出了一种可模拟生物神经元的数学模型，这是第一个神经 ......
机器学习-集成学习LightGBM
前言 LightGBM 是微软开发的一个强大的开源梯度提升框架。它旨在高效和可扩展，能够处理大型数据集和高维特征。LightGBM结合使用基于梯度的单边采样（GOSS）和独占特征捆绑（EFB）来降低计算成本并提高模型的准确性。 LightGBM 支持各种目标函数，可用于回归和分类问题。它还提供了一些 ......
【译】使用 ML.NET 进行机器学习 - 集群完整指南
原文 | Nikola M. Zivkovic 翻译 | 郑子铭 在之前的几篇文章中，我们探索了一些基本的机器学习算法。到目前为止，我们介绍了一些简单的回归算法，分类 算法。我们使用 ML.NET 实现和应用这些算法。到目前为止，我们探索了使用监督学习的算法。这意味着我们始终拥有用于训练机器学习模型 ......
花了半个小时基于 ChatGPT 搭建了一个微信机器人
相信大家最近被 ChatGPT 刷屏了，其实在差不多一个月前就火过一次，不会那会好像只在程序员的圈子里面火起来了，并没有被大众认知到，不知道最近是因为什么又火起来了，而且这次搞的人尽皆知。 想着这么火的 AI 完全可以好好玩一玩呀，于是就尝试着将 ChatGPT 接入到了个人微信中，实现在微信中调戏 ......
【极客升维记】人与机器的较量
最近一个月，ChatGPT在持续走热，整个技术圈似乎在“瑟瑟发抖”。因为大家在不断的构思着“科幻”的那一幕：整个世界被机器所控制，人沦为“机器”的“工具”。 ......
深度复盘-重启 etcd 引发的异常
作者信息： 唐聪、王超凡，腾讯云原生产品中心技术专家，负责腾讯云大规模 TKE 集群和 etcd 控制面稳定性、性能和成本优化工作。 王子勇，腾讯云专家级工程师， 腾讯云计算产品技术服务专家团队负责人。 概况 作为当前中国广泛使用的云视频会议产品，腾讯会议已服务超过 3 亿用户，能高并发支撑千万级用 ......
Python 发展趋势：与 Rust 深度融合、更易于编写 Web 应用
大家好，我是猫哥，好久不见！2022 年末的时候，我不可避免地阳了，借着身体不舒服就停更了，接踵而至的是元旦和春节假期，又给自己放了假，连年终总结也鸽了，一懈怠就到了 2 月中旬…… 现在是我家娃出生的第三个月，全家人大部分的时间和精力都在他身上，结果是幸福与疲累共存。新生儿是那么的可爱，又是那么的 ......
一文带你入门图机器学习
本文主要涉及图机器学习的基础知识。 我们首先学习什么是图，为什么使用图，以及如何最佳地表示图。然后，我们简要介绍大家如何在图数据上学习，从神经网络以前的方法 (同时我们会探索图特征) 到现在广为人知的图神经网络 (Graph Neural Network，GNN)。最后，我们将一窥图数据上的 Tra ......
室内单目深度估计-2
注： 研究方向为depth estimation，欢迎同一个方向的加入QQ群(602708168)交流。 1. 论文简介 论文题目：Digging Into Self-Supervised Monocular Depth Estimation Paper地址：https://openaccess.t ......
从零开始，打造属于你的 ChatGPT 机器人！
大家好！我是韩老师。 不得不说，最近 OpenAI/ChatGPT 真的是太火了。 前几天，微软宣布推出全新的 Bing 和 Edge，集成了 OpenAI/ChatGPT 相关的技术，带动股价大涨： 微软市值一夜飙涨 5450 亿 国内外各家大厂也是纷纷跟进，发布或者将要发布与 OpenAI/Ch ......
Python TensorFlow深度学习回归代码：DNNRegressor
本文介绍基于Python语言中TensorFlow的tf.estimator接口，实现深度学习神经网络回归的具体方法。 () 1 写在前面 1. 本文介绍的是基于TensorFlow tf.estimator接口的深度学习网络，而非TensorFlow 2.0中常用的Keras接口；关于Keras接 ......
Python TensorFlow深度神经网络回归：keras.Sequential
本文介绍基于Python语言中TensorFlow的Keras接口，实现深度神经网络回归的方法。 1 写在前面 前期一篇文章Python TensorFlow深度学习回归代码：DNNRegressor详细介绍了基于TensorFlow tf.estimator接口的深度学习网络；而在TensorFl ......
产研指南针的量化指标实践笔记
背景 在公司和业务发展到一定阶段，高层管理者会逐步期望从直觉化的管理逐步转向量化的关键指标管理；同时从hr层面okr和kpi的考核逐步从直觉化的定性考核，转变为数据化指标考核为主做评估和分析。此时中层管理者要实践关键指标读取和分析，及对团队成员从长期关注，变成短期快速反馈并推进绩效改进。 难点 1. ......
深度剖析 Linux 伙伴系统的设计与实现
在上篇文章 《深入理解 Linux 物理内存分配全链路实现》 中，笔者为大家详细介绍了 Linux 内存分配在内核中的整个链路实现： 但是当内核执行到 get_page_from_freelist 函数，准备进入伙伴系统执行具体内存分配动作的相关逻辑，笔者考虑到文章篇幅的原因，并没有过多的着墨，算是 ......
可能是最简单的本地GPT3 对话机器人，支持OpenAI 和 Azure OpenAI
毫无疑问，GPT是目前最火的人工智能方向，已经商用的有OpenAI公司原生的GPT3 和 ChatGPT ，以及微软公司的Azure OpenAI Service （暂时还没有包含ChatGPT）。关于他们的各种资料以及讨论（甚至争论），网上已经有很多了。我这里不准备重复。本文分享的一个是我自己为了 ......
深度学习炼丹-数据标准化
当我们处理的数据具有不同尺度时，执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化，并给出相关代码实现。 ......
机器学习-Kmeans
前言 K-means是一种经典的无监督学习算法，用于对数据进行聚类。K-means算法将数据集视为具有n个特征的n维空间，并尝试通过最小化簇内平方误差的总和来将数据点划分为簇。本文将介绍K-means算法的原理、实现和应用。 定义 K-means是一种无监督学习算法， 用于对数据进行聚类。该算法将数 ......
机器学习入门总结
交叉验证是机器学习当中的概念，一般深度学习不会使用交叉验证方法，原因是深度学习的数据集一般都很大。但是也有例外，Kaggle 的一些医疗类比赛，训练集一般只有几千张，由于训练数据很少，用来作为验证集的数据会非常少，因此训练的模型在验证集上精度可能会有很大波动，这直接取决于我们所选择的验证集和训练集划... ......
【译】我们对 2023 年核心页面指标的建议
原文地址：https://web.dev/top-cwv-2023，在正文开始前，推荐一款前端监控脚本：shin-monitor，它能监控前端的错误、通信、打印等行为，以及计算各类性能参数，包括 FMP、LCP、FP 等。 我们 Google 希望我们的性能建议侧重于： 对现实世界产生最大影响的建议 ......
Isaac Sim 机器人仿真器介绍、安装与 Docker [1]
前言与参考 此文书写于： January 6, 2023， 更新于 January 6, 2023 ；可能会随着时间的变化 此教程会有过时概念哦 Isaac Sim 相关参考链接： 官方文档地址 官方docker image 镜像地址 官方讨论 论坛链接，建议没啥事就可以逛逛，看问题和回答也是件很有 ......
深度学习基础-损失函数详解
大多数深度学习算法都会涉及某种形式的优化，所谓优化指的是改变 x 以最小化或最大化某个函数 f(x) 的任务，我们通常以最小化 f(x) 指代大多数最优化问题。损失函数大致可分为两种：回归损失（针对连续型变量）和分类损失（针对离散型变量）。常用的减少损失函数的优化算法是“梯度下降法”（Gradien... ......
机器学习基本原理
深度学习是机器学习的一个特定分支。我们要想充分理解深度学习，必须对机器学习的基本原理有深刻的理解。
大部分机器学习算法都有超参数（必须在学习算法外手动设定）。机器学习本质上属于应用统计学，其更加强调使用计算机对复杂函数进行统计估计，而较少强调围绕这些函数证明置信区间；因此我们会探讨两种统计学的主要... ......
机器学习经典算法总结
K 近邻算法（KNN）是一种基本分类和回归方法。KNN 算法的核心思想是如果一个样本在特征空间中的 k 个最相邻的样本中的大多数属于一个类别，那该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分类样本所属的类别。 ......
[深度学习] 基于切片辅助超推理库SAHI优化小目标识别
对象检测是迄今为止计算机视觉中最重要的应用领域。然而，小物体的检测和大图像的推理仍然是实际使用中的主要问题，这是因为小目标物体有效特征少，覆盖范围少。小目标物体的定义通常有两种方式。一种是绝对尺度定义，即以物体的像素尺寸来判断是否为小目标，如在COCO数据集中，尺寸小于32×32像素的目标被判定为小 ......