526互联

方法论 分析法 数据分析 营销管理

transforms模块—PyTorch图像处理与数据增强方法

计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。 作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvi... ......
图像处理 transforms 模块 图像 PyTorch

模板方法实践

前言 最近在设计一个对某个中间件的测试方案，这个测试方案需要包含不同的测试逻辑，但相同的是需要对各个环节进行记录；比如统计耗时、调用通知 API 等相同的逻辑。 如果每个测试都单独写这些逻辑那无疑是做了许多重复工作了。 基于以上的特征很容易能想到模板方法这个设计模式。 这是一种有上层定义框架，下层提 ......
模板 方法

Redis数据结构与对象

参考《Redis设计与实现》 系列文章目录和关于我 一丶简单动态字符串 当redis需要的不仅仅是一个字符串字面量，而是一个可以被修改的字符串值时，就会使用SDS（simple dynamic string）来表示字符串值。比如set msg "hello world"将创建一个新键值对，键值对的键 ......
数据结构 对象 结构 数据 Redis

火山引擎DataLeap数据调度实例的 DAG 优化方案

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案，集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。在平台中，一个核心的功能为任务的调度，会根据任务设置的调度频率（月级，日 ......
火山 实例 DataLeap 引擎 方案

关于 MySQL 嵌套子查询中，无法关联主表字段问题的折中解决方法

今天在工作中写项目的时候，遇到了一个让我感到几乎无解的问题，在转换了思路后，想出了一个折中的解决方案，记录如下。 其实，问题的场景，非常简单： 就是需要查询出上图的数据，红框是从 项目产品表 中查询的2个字段，绿框是从与项目产品表关联的 文章表 中查询出的1个字段。我希望实现的效果是，获取到项目产品 ......
套子 字段 方法 问题 MySQL

Pytorch基础-tensor数据结构

torch.Tensor 是一种包含单一数据类型元素的多维矩阵，类似于 numpy 的 array。 Tensor 可以使用 torch.tensor() 转换 Python 的 list 或序列数据生成，生成的是dtype 默认是 torch.FloatTensor。 ......
数据结构 Pytorch 结构 基础 数据

图计算引擎分析——Gemini

前言 Gemini 是目前 state-of-art 的分布式内存图计算引擎，由清华陈文光团队的朱晓伟博士于 2016 年发表的分布式静态数据分析引擎。Gemini 使用以计算为中心的共享内存图分布式 HPC 引擎。通过自适应选择双模式更新（pull/push），实现通信与计算负载均衡 [‎1]。图 ......
引擎 Gemini

一种将C++函数模板定义和声明分开的方法

在 C++ 中为了操作简洁引入了函数模板。所谓的函数模板实际上是建立一个通用函数，其函数类型或形参类型不具体指定，用一个虚拟的类型来表达，这个通用函数就称为函数模板。 1、通用的写法 函数模板不是一个具体的函数，编译器不能为其生成可执行代码。定义函数模板后只是一个对函数功能框架的描述，当它具体执行时 ......
函数 模板 方法

TiDB上百T数据拆分实践

背景 提高TiDB可用性，需要把多点已有上百T TiDB集群拆分出2套 挑战 1、现有需要拆分的12套TiDB集群的版本多(4.0.9、5.1.1、5.1.2都有)，每个版本拆分方法存在不一样 2、其中5套TiDB，数据量均超过10T、最大的TiDB集群目前数据量62T、单TiDB集群备份集大，消耗 ......
数据 TiDB

BST查找结构与折半查找方法的实现与实验比较

简介 作业：查找结构与排序方法 作业题目： BST 查找结构与折半查找方法的实现与实验比较 要求编写程序实现 BST 存储结构的建立（插入）、删除、查找和排序算法； 实现折半查找算法；比较 BST 查找与折半查找方法的时间性能。 作业要求： 1． 设计 BST 的左右链存储结构，并实现 BST 插入 ......
结构 方法 BST

SpringBoot 自动装配的原理分析

关于 SpringBoot 的自动装配功能，相信是每一个 Java 程序员天天都会用到的一个功能，但是它究竟是如何实现的呢？今天阿粉来带大家看一下。 自动装配案例 首先我们通过一个案例来看一下自动装配的效果，创建一个 SpringBoot 的项目，在 pom 文件中加入下面的依赖。 <depende ......
SpringBoot 原理

Javascript | 分别用async await异步方法和Promise来实现一个简易的求职程序

关注公众号，一起交流，微信搜一搜: LiOnTalKING JavaScript Promise Promise 是一个 ECMAScript 6 提供的类，目的是更加优雅地书写复杂的异步任务。 如何创建一个 Promise 对象？ new Promise(function (resolve, re ......
Javascript 简易 Promise 程序 方法

数据看板可视化

前言 这段时间一直在做可视化，在我的项目中有一部分是电力巡检的数据可视化。其中的数据看板比较简单，我将其单独抽离出来形成一个demo，为保密demo中数据非真实数据。先看效果。 具体效果 链接相关 浏览链接：http://xisite.top/original/data-board/index.ht ......
看板 数据

数据结构高阶--八大排序汇总

排序总览 什么是排序？ 🔥**排序：所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作。 ✍️排序的稳定性：**假定在待排序的记录序列中，存在多个具有相同的关键字的记录，若经过排序，这些记录的相对次序保持不变，即在原序列中，r[i]=r[j]，且r[i]在r[j ......
数据结构 高阶 结构 数据

echarts map地图中绘制浙江省市区县乡镇多级联动边界下钻的最新geojson数据文件获取和更新

ECharts Map地图的显示 ECharts支持地理坐标显示，专门提供了一个geo组件，在setOption中提供option.geo配置即可显示地图。 option.geo配置中有个map属性，取值为已通过 echarts.registerMap("name", geojson) 注册的nam ......
县乡镇 县乡 边界 echarts geojson

【ASP.NET Core】MVC操作方法如何绑定Stream类型的参数

咱们都知道，MVC在输入/输出中都需要模型绑定。因为HTTP请求发送的都是文本，为了使其能变成各种.NET 类型，于是在填充参数值之前需 ModelBinder 的参与，以将文本转换为 .NET 类型。 尽管 ASP.NET Core 已内置基础类型和复杂类型的各种 Binder，但有些数据还是不能 ......
参数 类型 方法 Stream Core

云原生时代数据库运维体系演进

数据库运维面临着大规模数据库实例难以有效运维、数据库难以做好资源弹性伸缩以及个人隐私数据安全难以保障这三个方面的挑战。对此，vivo给出了自身的应对方案。 ......
体系 数据库 时代 数据

Redis的数据被删除，占用内存咋还那么大？

通过 CONFIG SET maxmemory 100mb 或者在 redis.conf 配置文件设置 maxmemory 100mb Redis 内存占用限制。当达到内存最大值值，会触发内存淘汰策略删除数据。 除此之外，当 key 达到过期时间，Redis 会有以下两种删除过期数据的策略： 后台定 ......
内存 数据 Redis

Kubernetes(k8s)存储管理之数据卷volumes(一)：volumes的引入和emptyDir数据卷

一.系统环境 | 服务器版本 | docker软件版本 | Kubernetes(k8s)集群版本 | CPU架构 | | | | | | | CentOS Linux release 7.4.1708 (Core) | Docker version 20.10.12 | v1.21.9 | x86 ......
volumes 数据 Kubernetes emptyDir k8s

使用Google OR-Tools分析过去20年中国金融资产最佳配置组合

前两天，在朋友圈里看到一张截至2022年Q2的金融资产历年收益图如下，图中列举了国内从2005年到2022年近20年主要的金融资产历年收益率，随产生想法分析和验证下面几个问题： 过去20年，基于怎样的资产配置才能让收益最大化？ 如果完全拒绝风险，是否可以理财，收益率会是多少？ 是否有风险小，收益高的 ......
OR-Tools 资产 金融 Google Tools

Kubernetes(k8s)存储管理之数据卷volumes(五)：动态制备-存储类StorageClass

一.系统环境 | 服务器版本 | docker软件版本 | Kubernetes(k8s)集群版本 | CPU架构 | | | | | | | CentOS Linux release 7.4.1708 (Core) | Docker version 20.10.12 | v1.21.9 | x86 ......
StorageClass Kubernetes volumes 动态 数据

【RocketMQ】主从模式下的消费进度管理

在【RocketMQ】消息的拉取一文中可知，消费者在启动的时候，会创建消息拉取API对象PullAPIWrapper，调用pullKernelImpl方法向Broker发送拉取消息的请求，那么在主从模式下消费者是如何选择向哪个Broker发送拉取请求的？ 进入pullKernelImpl方法中，可以 ......
主从 进度 RocketMQ 模式

全自动化数据洞察！数据分布对比可视化！⛵

本文介绍如何使用 Pandas Profiling 的比较报告功能，分析两个数据集的分布差异，完成数据探索分析 (EDA) 的完整流程，为后续分析做准备。 ......
数据 全自动

Window系统的mysql数据库定时备份

原文：Window系统的mysql数据库定时备份 - Stars-One的杂货小窝 最近老大提到了数据库备份的功能，由于服务器是window系统的，所以研究了下备份的方案，特此记录 主要是实现每天定时备份功能，如果还要搞容灾的话，就得对mysql数据库进行主从配置了 cmd命令 核心的cmd命令如下 ......
备份 数据库 数据 Window 系统

Python 大数据量文本文件高效解析方案代码实现

大数据量文本文件高效解析方案代码实现 测试环境 Python 3.6.2 Win 10 内存 8G，CPU I5 1.6 GHz 背景描述 这个作品来源于一个日志解析工具的开发，这个开发过程中遇到的一个痛点，就是日志文件多，日志数据量大，解析耗时长。在这种情况下，寻思一种高效解析数据解析方案。 解决 ......
文本 代码 文件 方案 数据

推荐一款 在线+离线数据 同步框架 Dotmim.Sync

移动智能应用可以分为在线模式、纯离线模式与“在线+离线”混合模式。在线模式下系统数据一般存储在服务器端的大中型数据库（如 SQL Server、Oracle、MySQL 等），移动应用依赖于稳定可靠的网络连接；纯离线模式下系统数据一般存储在移动终端的轻量级数据库（如 SQLite等），移动应用不需要 ......
框架 数据 Dotmim Sync

phpMyAdmin给非技术人员一个查阅数据库的窗口

背景 管理数据库的界面工具。 开发团队中一般有非技术背景人员，比如： 产品，功能测试人员； 对他们来说，可能安装数据库管理工具客户端都很麻烦，需要一款在线的网页工具能方便他们查阅数据。 本地docker安装 单库： docker run --name myadmin -d -e PMA_HOST=l ......
phpMyAdmin 人员 数据库 数据

想早点下班？试试Aorm库吧，更方便的进行Go数据库操作

使用go进行项目开发，大多数人会使用gorm，但是gorm有一些缺点，我无法接受。于是开发出了aorm，目前能有满足日常开发需求，并且完善了使用文档，希望能够帮助到大家。 ......
早点 数据库 数据 Aorm

Chaos 测试下的若干 NebulaGraph Raft 问题分析

作为分布式系统的基石 Raft 有非常明显的优势，但这也伴随着不小的挑战 —— Raft 算法的实现及其容易出错，同时算法的测试和调试也是一项巨大的挑战。NebulaGraph 目前使用的是自研的 Raft，鉴于 Raft 本身的复杂性我们构造了诸多 Chaos 测试来保障 NebulaGraph ... ......
NebulaGraph 问题 Chaos Raft

docker registry（私库）搭建，使用，WEB可视化管理部署

Docker Registry 是Docker官方一个镜像，可以用来储存和分发Docker镜像。目前比较流行的两个镜像私库是Docker Registry ，HarBor 其中HarBor最合适企业级应用，提供良好的WEB界面进行管理。 Docker Registry搭建 本文主要介绍Docker ......
registry docker WEB
共37000篇  :1044/1234页 首页上一页1044下一页尾页