命令 数据库 文件 数据

数据库系列:MySQL慢查询分析和性能优化

1 背景 我们的业务服务随着功能规模扩大,用户量扩增,流量的不断的增长,经常会遇到一个问题,就是数据存储服务响应变慢。 导致数据库服务变慢的诱因很多,而RD最重要的工作之一就是找到问题并解决问题。 下面以MySQL为例子,我们从几个角度分析可能产生原因,并讨论解决的方案。 2 定位慢查询的原因并优化 ......
性能 数据库 数据 MySQL

ASP.NET Core - 入口文件

1. 入口文件 一个应用程序总有一个入口文件,是应用启动代码开始执行的地方,这里往往也会涉及到应用的各种配置。当我们接触到一个新框架的时候,可以从入口文件入手,了解入口文件,能够帮助我们更好地理解应用的相关配置以及应用的工作方式。 .Net Core 应用的入口文件是 Program.cs,这里是应 ......
入口 文件 Core ASP NET

为什么 响应式数据被重新赋值了三次,但是监听回调只执行了一次

代码例子 const { createApp } = Vue const app = createApp({ components: [], template: ` <div> <button @click="handleClick">toggle</button> </div> `, data() ......
数据

【动画笔记】数据结构-AVL树的插入操作

本笔记主要围绕AVL树的平衡因子、纸上做题思路、失衡类型(LL/RR/LR/RL)、失衡调整方法、插入后回溯这几部分知识点展开。 ......
数据结构 结构 笔记 动画 数据

.NET与大数据

前言 当别人做大数据用Java、Python的时候,我使用.NET做大数据、数据挖掘,这确实是值得一说的事。 写的并不全面,但都是实际工作中的内容。 .NET在大数据项目中,可以做什么? 写脚本(使用控制台程序+顶级语句) 写工具(使用Winform) 写接口、写服务 使用C#写代码的优点是什么? ......
数据 NET

借助Radamsa变异数据(初探)

Radamsa 介绍 Radamsa是一款测试用例生成器,通常用来测试程序对格式错误和潜在恶意输入的承受能力(对程序进行模糊测试)。它通过你的输入来返回变异后的数据。它的主要卖点是,它已经在真正重要的程序中发现了许多错误。 Radamsa 使用方法 1、可以直接喂给它字符,它就会返回变异之后的数据给 ......
变异 Radamsa 数据

python命令行参数argparse常用命令

1、参数个数控制 parser.add_argument('-i', '--integers', nargs='?', const=100, type=int, help='input a number') 参数nargs: nargs='*' 表示参数可设置0个或多个,参数是一个列表 nargs= ......
命令 argparse 常用 参数 python

Kubernetes(k8s)配置文件管理:ConfigMap

Kubernetes(k8s)配置文件管理:ConfigMap ,创建ConfigMap,以环境变量的方式使用ConfigMap ,以卷的方式使用ConfigMap ......
Kubernetes ConfigMap 文件 k8s 8s

如何在 C# 项目中链接一个文件夹下的所有文件

在 C# 项目中通过链接方式引入文件可以让我们在项目中使用这些文件中的代码。常见的比如链接 AssemblyInfo.cs 文件,这样我们就可以在项目中使用这个文件中的版本号等信息。但是如果我们想要链接一个文件夹下的所有文件,该怎么做呢?今天我们就来看看如何在 C# 项目中链接一个文件夹下的所有文件... ......
文件 文件夹 链接 项目

【Django drf】视图类APIView之五层封装 ApiView的类属性 drf配置文件

ApiView的类属性 如下是ApiView所有的类属性,我们抽取一部分进行介绍: 可见这些类属性,都是使用drf配置文件的默认配置。 下列策略可以在全局设置 或者 在每一个视图类中设置。 允许依赖注入其他的设置文件, ApiView源码的settings类属性使测试更容易 (也就是不使用drf的a ......
视图 drf 属性 APIView ApiView

【rust】rsut基础:模块的使用一、mod 关键字、mod.rs 文件的含义等

本文内容 这篇文章是实战性质的,也就是说原理部分较少,属于经验总结,rust对于模块的例子太少了。rust特性比较多(悲),本文的内容可能只是一部分,实现方式也不一定是这一种。 关于 rust 模块的相关内容,准确来说:怎么在源码中引用其他模块的内容。 关于 mod、 use 、as 这几个关键字( ......
mod 模块 含义 关键字 关键

Jenkins搭建与数据迁移实践

概述 本文主要介绍内容如下: 1.使用Docker搭建Jenkins 2.迁移原Jenkins数据到新搭建的Jenkins中 3.在Jenkins容器内部配置Maven的私服配置 4.在Jenkins容器内部配置Nodejs 使用Docker搭建Jenkins Jenkins的最新版本已经全面支持j ......
Jenkins 数据

.NET 6学习笔记(7)——ASP.NET Core通过配置文件启用HTTPS

本质上我还是一个Windows App Developer,所以虽然会做一些ASP.NET Core的工作,但通常这些ASP.NET Core的程序会托管在Windows Service上,并且大部分时候跑在局域网环境。说实话传统行业的Win DEV对Web这一套其实不怎么精通,今天我们来看一下AS ......
NET 文件 笔记 HTTPS Core

mongdb遭遇勒索,用备份进行数据恢复

mongdb遭遇勒索,用备份进行数据恢复 1、背景: 某台MongoDB服务器,没有配置用户名密码,放到公网不到一天,遭到删库勒索 All your data is a backed up. You must pay 0.05 BTC to 1K4DdqZ7sWUkhtfRqAGi7VcRck3it ......
数据恢复 备份 数据 mongdb

数据结构-详解优先队列的二叉堆(最大堆)原理、实现和应用-C和Python

一、堆的基础 1.1 优先队列和堆 优先队列(Priority Queue):特殊的“队列”,取出元素顺序是按元素优先权(关键字)大小,而非元素进入队列的先后顺序。 若采用数组或链表直接实现优先队列,代价高。依靠数组,基于完全二叉树结构实现优先队列,即堆效率更高。一般来说堆代指二叉堆。 优先队列的完 ......
数据结构 队列 大堆 原理 结构

django框架之drf:4、序列化器常用字段及参数,序列化器高级用法之source,定制字段数据的两种方法,多表关联反序列化的保存,ModelSerializer的使用

Django框架之drf 一、序列化器常用字段及参数 # 序列化类 》字段类 CharField,除此之外还有哪些其他的 # 序列化类 》字段类,字段类上,传属性的 ,序列化类上,也可以写属性 models.CharField(max_length=32) 1、常用字段 | 字段 | 字段构造方式 ......
序列 字段 ModelSerializer 框架 常用

开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上

再下一城又一个实时多维交互式分析数仓利器,了解其特性和架构组成,进一步阐述相关概念和其生态圈;介绍作为开发测试最快捷方式的Docker单机部署;也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题,最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
数据 数据分析 分布式 仓库 规模

开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下

本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项,在此基础上研究Kylin查询引擎,并配置spark查询下压实现没有cube的查询;理解Cube的构建优化,通过官方提供RestAPI实现动态灵活查询和cube构建,最后通过集成JDBC的Java代码实现简单查询操作。 ......
数据 数据分析 分布式 仓库 规模

大数据实时多维OLAP分析数据库Apache Druid入门分享-上

Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库,本篇了解其特征和适用场景,并与其他框架横向对比;最后部署一个最新版本25.0.0单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式 ......
据实 大数 数据库 数据 Apache

大数据实时多维OLAP分析数据库Apache Druid入门分享-下

了解Apache Druid的基础概念后,本篇进一步研究其核心架构和核心设计原理部分,了解相关外部依赖,对其数据摄取和查询有一定认识,然后通过搭建分布式集群进一步理解其架构组成,最后用一个示例从HDFS将数据摄取到Druid并演示两种查询方式 ......
据实 大数 数据库 数据 Apache

文本数据预处理:可能需要关注这些点

要进行自然语言处理相关工作,文本数据预处理是个必不可少的过程。本文将对文本数据预处理相关的内容进行归纳整理,主要包括以下4个方面内容:文本数据获取、常规文本数据预处理、任务相关的文本数据预处理、文本预处理工具。 ......
文本 数据

图解B树及C#实现(3)数据的删除

前言 本文为系列文章 B树的定义及数据的插入 数据的读取及遍历 数据的删除 阅读本文前,建议先复习前两篇文章,以便更好的理解本文。 从删除的数据所在的节点可分为两种情况: 从叶子节点删除数据 从非叶子节点删除数据 无论从叶子节点还是非叶子节点删除数据时都需要保证B树的特性:非根节点每个节点的 key ......
数据

(数据科学学习手札149)用matplotlib轻松绘制漂亮的表格

本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师,matplotlib作为数据可视化的强力工具,可以帮助我们自由创作各式各样的数据可视化作品,其中matplotlib.pyplot ......
手札 matplotlib 表格 科学 数据

Python读取大量Excel文件并跨文件批量计算平均值

本文介绍基于Python语言,实现对多个不同Excel文件进行数据读取与平均值计算的方法。 首先,让我们来看一下具体需求:目前有一个文件夹,其中存放了大量Excel文件;文件名称是每一位同学的名字,即文件名称没有任何规律。 而每一个文件都是一位同学对全班除了自己之外的其他同学的各项打分,我们以其中一 ......
文件 平均值 Python Excel

Python自动批量修改文件名称的方法

本文介绍基于Python语言,按照一定命名规则批量修改多个文件的文件名的方法。 已知现有一个文件夹,其中包括班级所有同学上交的作业文件,每人一份;所有作业文件命名格式统一,都是地信1701_姓名_学习心得格式。 现需要对每一位同学的作业文件加以改名,有很多种需求。 第一种需求,将每一位同学作业文件名 ......
名称 文件 方法 Python

Blazor入门100天 : 身份验证和授权 (6) - 使用 FreeSql orm 管理ids数据

目录 1. **建立默认带身份验证 Blazor 程序** 2. 角色/组件/特性/过程逻辑 3. DB 改 Sqlite 4. 将自定义字段添加到用户表 5. 脚手架拉取IDS文件,本地化资源 6. freesql 生成实体类,freesql 管理ids数据表 7. 初始化 Roles,free... ......
身份 FreeSql 数据 Blazor 100

k8s部署canal-1.1.6版本实现MySQL数据库数据同步

1、版本说明 软件&镜像 版本&镜像信息 说明 Kubernetes v1.23.7 k8s服务器 Kuboard v3.5.2.0 k8s连接管理工具 Canal v1.1.6 数据同步 Canal-deployer canal/canal-server:latest canal-deplyer镜 ......
数据 版本 数据库 canal MySQL

SpringBoot学习笔记 - 构建、简化原理、快速启动、配置文件与多环境配置、技术整合案例

【前置内容】Spring 学习笔记全系列传送门: Spring学习笔记 - 第一章 - IoC(控制反转)、IoC容器、Bean的实例化与生命周期、DI(依赖注入) Spring学习笔记 - 第二章 - 注解开发、配置管理第三方Bean、注解管理第三方Bean、Spring 整合 MyBatis 和 ......
SpringBoot 原理 案例 环境 文件

(一) MdbCluster分布式内存数据库——基础架构介绍

(一) MdbCluster分布式内存数据库——基础架构介绍 这个项目是怎么开始的我已经有些记不清楚了,大概是原来的内存数据库很不好用,一次次地让我们踩坑,我又自以为是地觉得可以做一个更好的出来。自从拥有自己的团队以来,我思考最多的总是如何带着团队做出有意义和有价值的产品,而不是将时间浪费在无谓的琐 ......
分布式 MdbCluster 架构 内存 数据库

从 Cloud-Native Relational DB 看数据库设计

论文内容:Amazon Aurora: Design Considerations for HighThroughput Cloud-Native Relational Databases 里面介绍了一种云原生的关系型数据库 Aurora 的体系结构,以及导致该体系结构的设计考虑因素。我觉得和普通的 ......