备份centos7服务器 数据
火山引擎DataLeap数据调度实例的 DAG 优化方案
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案，集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。在平台中，一个核心的功能为任务的调度，会根据任务设置的调度频率（月级，日 ......
transforms模块—PyTorch图像处理与数据增强方法
计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。
作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvi... ......
1-微服务导论
微服务导论 SpringCloud是微服务的技术落地方案，微服务是分布式架构的一种，是为了解决项目发展过程中出现的各种问题而出现的新的项目架构方案。 项目中模块繁多，耦合度无法避免的变高，最好的方案就是对服务进行拆分：将一个大型项目根据模块拆分成不同的小模块项目，各司其职完成各自的功能。 单体应用适 ......
Pytorch基础-tensor数据结构
torch.Tensor 是一种包含单一数据类型元素的多维矩阵，类似于 numpy 的 array。 Tensor 可以使用 torch.tensor() 转换 Python 的 list 或序列数据生成，生成的是dtype 默认是 torch.FloatTensor。 ......
Dubbo架构设计与源码解析（二） 服务注册
作者：黄金 一、Dubbo简介 Dubbo是一款典型的高扩展、高性能、高可用的RPC微服务框架，用于解决微服务架构下的服务治理与通信问题。其核心模块包含 【RPC通信】 和 【服务治理】 ，其中服务治理又分为服务注册与发现、服务容错、负载均衡、流量调度等。今天将重点介绍Dubbo的服务注册与发现。 ......
.Net 6 使用 Consul 实现服务注册与发现 看这篇就够了
前言 在这几年的工作中，也经历过几个微服务项目，大多数都上了k8s，基本上都看不到Consul的身影，所以在工作之余折腾了下Consul，作为个人来讲还是得学习下，所以也就顺便通过文章来记录下学习过程。还有就是现在基本上只要提到微服务，其中涉及到的知识点就会很繁多，遇到的问题也会很多，建议阅读本文前 ......
TiDB上百T数据拆分实践
背景 提高TiDB可用性，需要把多点已有上百T TiDB集群拆分出2套 挑战 1、现有需要拆分的12套TiDB集群的版本多(4.0.9、5.1.1、5.1.2都有)，每个版本拆分方法存在不一样 2、其中5套TiDB，数据量均超过10T、最大的TiDB集群目前数据量62T、单TiDB集群备份集大，消耗 ......
裁剪栅格 —（偏移、发布后服务样式解决）
前言 应用场景： 点值数据经过插值后形成栅格数据。对于结果中，需要把水体等地表要素不具备值的地方剔除。由此引出了一些列的问题。 问题： 1、QGIS 中使用“按掩膜图层裁剪栅格”，裁剪完成在QGIS中查看是吻合的，但是在 Openlayer 中加载有偏移； 2、ArcGIS 中使用“栅格—裁剪”，裁 ......
利用云服务器发布项目
前言 平时开发我会写一些小demo，我自己觉得有用的会集中起来形成一个项目，本来想利用gitee的gitee page直接部署出来，但后面了解了下，它只支持官网之类的静态页面，无法与后台数据交互，想要完整的服务还是得有自己的服务器(我整了个轻量应用服务器)，接下来我就以此项目为例子，不用敲一行代码， ......
基于Nginx搭建WebDAV服务
title: 基于Nginx搭建WebDAV服务 categories: [IT,网络,服务] tags: WebDAV Nginx comments: true date: 2022-11-09 17:19:46 description: 基于Nginx搭建WebDAV服务 在搭建 Joplin ......
微服务11：熔断、降级的Hystrix实现（附源码）
微服务1：微服务及其演进史 微服务2：微服务全景架构 微服务3：微服务拆分策略 微服务4：服务注册与发现 微服务5：服务注册与发现（实践篇） 微服务6：通信之网关 微服务7：通信之RPC 微服务8：通信之RPC实践篇（附源码） 微服务9：服务治理来保证高可用 微服务10：系统服务熔断、限流 1 介绍 ......
数据看板可视化
前言 这段时间一直在做可视化，在我的项目中有一部分是电力巡检的数据可视化。其中的数据看板比较简单，我将其单独抽离出来形成一个demo，为保密demo中数据非真实数据。先看效果。 具体效果 链接相关 浏览链接：http://xisite.top/original/data-board/index.ht ......
数据结构高阶--八大排序汇总
排序总览 什么是排序？ 🔥**排序：所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作。 ✍️排序的稳定性：**假定在待排序的记录序列中，存在多个具有相同的关键字的记录，若经过排序，这些记录的相对次序保持不变，即在原序列中，r[i]=r[j]，且r[i]在r[j ......
echarts map地图中绘制浙江省市区县乡镇多级联动边界下钻的最新geojson数据文件获取和更新
ECharts Map地图的显示 ECharts支持地理坐标显示，专门提供了一个geo组件，在setOption中提供option.geo配置即可显示地图。 option.geo配置中有个map属性，取值为已通过 echarts.registerMap("name", geojson) 注册的nam ......
利用云服务提供商的免费证书，在服务器上发布https前端应用和WebAPI的应用
我们如果要在服务器上发布https前端应用和WebAPI的应用，那么我们就需要用到https证书了。我们一般发布的应用的云服务器上，都会提供一定量的相关的免费证书（一般为20个）供我们使用，每个一年期限，到期再续即可，一般情况下基本上满足要求了，本篇随笔介绍如何基于云服务提供商的免费证书，在服务器上... ......
Dubbo-服务暴露
前言 Dubbo源码阅读分享系列文章，欢迎大家关注点赞 SPI实现部分 Dubbo-SPI机制Dubbo-Adaptive实现原理Dubbo-Activate实现原理Dubbo SPI-Wrapper 注册中心 Dubbo-聊聊注册中心的设计Dubbo-时间轮设计 通信 Dubbo-聊聊通信模块设计 ......
构建SpringCloud网关服务
搭建网关 导入maven包： <!--网关依赖--> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-gateway</artifactId> </dependenc ......
领跑业界！腾讯云原生首发容器服务3大能力！
随着用户需求的升级和云原生技术的发展，云原生已成为企业应用上云降本增效的利器。11 月30 日，在 2022 腾讯全球数字生态大会云原生专场，腾讯云发布了容器服务的三项能力全新升级，并向外界解读了腾讯自研业务上云的经验价值和技术成果。 会议开场，腾讯云原生产品中心架构总监 陈浪交 讲述了腾讯云容器服 ......
使用.NET开发搭建OpenAI模型的中间服务端
前言：前不久微信上大家玩ChatGPT聊天机器人玩的不亦乐乎；不过随着ChatGPT被封杀，所以用微信聊天机器人有可能导致封号的风险。那如果自己不想每次都去OpenAI官网上进行对话【PS:官网上面聊天对话有局限性，例如回复的内容比较长，AI回答是一个一个字写的，就可能导致超过一定时间以后，变成请求 ......
云原生时代数据库运维体系演进
数据库运维面临着大规模数据库实例难以有效运维、数据库难以做好资源弹性伸缩以及个人隐私数据安全难以保障这三个方面的挑战。对此，vivo给出了自身的应对方案。 ......
Redis的数据被删除，占用内存咋还那么大？
通过 CONFIG SET maxmemory 100mb 或者在 redis.conf 配置文件设置 maxmemory 100mb Redis 内存占用限制。当达到内存最大值值，会触发内存淘汰策略删除数据。 除此之外，当 key 达到过期时间，Redis 会有以下两种删除过期数据的策略： 后台定 ......
Window系统的mysql数据库定时备份
原文：Window系统的mysql数据库定时备份 - Stars-One的杂货小窝 最近老大提到了数据库备份的功能，由于服务器是window系统的，所以研究了下备份的方案，特此记录 主要是实现每天定时备份功能，如果还要搞容灾的话，就得对mysql数据库进行主从配置了 cmd命令 核心的cmd命令如下 ......
微服务系列之服务监控 Prometheus与Grafana
1.为什么需要监控服务 监控服务的所属服务器硬件(如cpu,内存，磁盘I/O等)指标、服务本身的(如gc频率、线程池大小、锁争用情况、请求、响应、自定义业务指标)，对于以前的小型单体服务来说，确实没什么必要，但对于中大型项目，尤其那些群集部署显得尤为重要、尤其是现在的微服务架构，服务众多，而且很多服 ......
微服务开发平台 Spring Cloud Blade 部署实践
本文介绍使用 Rainbond 快速部署 Spring Cloud Blade 微服务平台。Spring Cloud Blade 是一个由商业级项目升级优化而来的微服务架构，采用Spring Boot 2.7 、Spring Cloud 2021 等核心技术构建，完全遵循阿里巴巴编码规范。提供基于 ......
全自动化数据洞察！数据分布对比可视化！⛵
本文介绍如何使用 Pandas Profiling 的比较报告功能，分析两个数据集的分布差异，完成数据探索分析 (EDA) 的完整流程，为后续分析做准备。 ......
Kubernetes(k8s)存储管理之数据卷volumes(一)：volumes的引入和emptyDir数据卷
一.系统环境 | 服务器版本 | docker软件版本 | Kubernetes(k8s)集群版本 | CPU架构 | | | | | | | CentOS Linux release 7.4.1708 (Core) | Docker version 20.10.12 | v1.21.9 | x86 ......
Python 大数据量文本文件高效解析方案代码实现
大数据量文本文件高效解析方案代码实现 测试环境 Python 3.6.2 Win 10 内存 8G，CPU I5 1.6 GHz 背景描述 这个作品来源于一个日志解析工具的开发，这个开发过程中遇到的一个痛点，就是日志文件多，日志数据量大，解析耗时长。在这种情况下，寻思一种高效解析数据解析方案。 解决 ......
推荐一款 在线+离线数据 同步框架 Dotmim.Sync
移动智能应用可以分为在线模式、纯离线模式与“在线+离线”混合模式。在线模式下系统数据一般存储在服务器端的大中型数据库（如 SQL Server、Oracle、MySQL 等），移动应用依赖于稳定可靠的网络连接；纯离线模式下系统数据一般存储在移动终端的轻量级数据库（如 SQLite等），移动应用不需要 ......
phpMyAdmin给非技术人员一个查阅数据库的窗口
背景 管理数据库的界面工具。 开发团队中一般有非技术背景人员，比如： 产品，功能测试人员； 对他们来说，可能安装数据库管理工具客户端都很麻烦，需要一款在线的网页工具能方便他们查阅数据。 本地docker安装 单库： docker run --name myadmin -d -e PMA_HOST=l ......
想早点下班？试试Aorm库吧，更方便的进行Go数据库操作
使用go进行项目开发，大多数人会使用gorm，但是gorm有一些缺点，我无法接受。于是开发出了aorm，目前能有满足日常开发需求，并且完善了使用文档，希望能够帮助到大家。 ......