数据库 开发实例 数据 实例
Selenium4+Python3系列（十二） - 测试框架的设计与开发
前言 自己从未没想过能使用python来做自动化测试框架的设计、开发。 可能有人会好奇说，六哥，你怎么也用python写测试框架了？ 领导说： python你也没有实际工作经验，可能就是自己自学的。 听完，那一刻，我真的特别证明自己，我也行！ 框架搭建 整个框架的实现，大约也就1.5天，关于框架的开 ......
【Spring专题】「开发指南」夯实实战基础功底之解读logback-spring.xml文件的详解实现
logback的maven配置 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>2.0.3</version> </dependency> <dependency> <grou ......
【JVM实战系列】「监控调优体系」实战开发arthas-spring-boot-starter监控你的微服务是否健康
相信如果经历了我的上一篇Arthas的文章[【JVM实战系列】「监控调优体系」针对于Alibaba-Arthas的安装入门及基础使用开发实战指南]之后，相信你对Arthas的功能和使用应该有了一定的理解了。那么我们就要进行下一步的探索功能。 ......
实时采集MySQL数据之轻量工具Maxwell实操
一个用于企业应用支持实时增量采集和全量采集MySQL数据开源框架Maxwell，功能强于Canal，比Flink CDC更易用。本篇先了解其定义和原理，然后通过安装和环境准备，了解其启动的两种方式，最后实操演示几个maxwell在企业中常用的场景示例。 ......
可视化编排的数据集成和分发开源框架Nifi轻松入门-上
如何你正在为数据采集做技术选型，今天介绍一款功能极其强大性能也高且采用可视化编排的数据集成框架nifi可以列入选型范畴，是数仓开发的强大工具之一，只要使用后就能体会到其丰富的处理器和扩展性。先了解其特性、核心概念和架构，也支持分布式集群，了解常见处理器分类，最后通过源码安装并使用两个简单的处理器演示... ......
Django框架：10、Ajax补充说明、多对多三种创建方法、Django内置序列化组件、批量操作数据方法、分页器思路
Django框架 一、Ajax补充说明 1、针对前端回调函数接受值的说明 主要针对回调函数args接收到的响应数据 1、后端如何判断请求发出方式 关键词：is_ajax() 通过request点的方式可以判断请求是否由Ajax发出 def home(request): print(request.i ......
Scrum敏捷开发方法实践
前言 作者所在的公司在项目开发的过程中采用着当下互联网公司中流行的小步快跑开发策略，特别借鉴了敏捷开发中的迭代递增思想来指导项目的开发。我们经过对相关敏捷开发方法的调查研究，最终采用了Scrum敏捷开发方法来管理项目。敏捷开发思想和相关方法的应用降低了项目的风险，极大地提升了项目团队对需求变更的响应 ......
kestrel网络编程--开发Fiddler
1 文章目的 本文讲解基于kestrel开发类似Fiddler应用的过程，让读者了解kestrel网络编程里面的kestrel中间件和http应用中间件。由于最终目的不是输出完整功能的产品，所以这里只实现Fiddler最核心的http请求和响应内容查看的功能。本文章是KestrelApp项目里面的一 ......
kestrel网络编程--开发redis服务器
1 文章目的 本文讲解基于kestrel开发实现了部分redis命令的redis伪服务器的过程，让读者了解kestrel网络编程的完整步骤，其中redis通讯协议需要读者自行查阅，文章里不做具体解析。 2 开发顺序 创建Kestrel的Redis协议处理者 配置监听的EndPoint并使用Redis ......
intel Pin：动态二进制插桩的安装和使用，以及如何开发一个自己的Pintool
先贴几个你可能用得上的链接 intel Pin的官方介绍Pin: Pin 3.21 User Guide (intel.com) intel Pin的API文档Pin: API Reference (intel.com) intel Pin的下载地址Pin - A Dynamic Binary In ......
架构设计（二）：数据库复制
架构设计（二）：数据库复制 作者：Grey 原文地址： 博客园：架构设计（二）：数据库复制 CSDN：架构设计（二）：数据库复制 在架构设计（一）：从单服务器模式到负载均衡设计中提到了数据库类型的选择， 针对大数据量，高可用的场景，数据库复制是一种比较好的方式，其中多个数据库实例之间可以是主/从关系 ......
更强大的远程开发，Remote Tunnels 正式发布预览版！
Visual Studio Code 的核心是一个代码编辑器，它通过我们的远程开发经验与其他环境集成，变得更加强大和灵活： 你可能没有想到，但 VS Code 有一个内置的命令行界面(CLI)，可以让你控制启动和管理编辑器的方式——你可以通过命令行选项打开文件、安装扩展和输出诊断信息: CLI 在使 ......
基于.NetCore开发博客项目 StarBlog - (24) 统一接口数据返回格式
前言 开发接口，是给客户端（Web前端、App）用的，前面说的RESTFul，是接口的规范，有了统一的接口风格，客户端开发人员在访问后端功能的时候能更快找到需要的接口，能写出可维护性更高的代码。 而接口的数据返回格式也是接口规范的重要一环，不然一个接口返回JSON，一个返回纯字符串，客户端对接到数据 ......
Redis的数据复制
本篇文章介绍了Redis的数据复制1. 完整重同步、2. 部分重同步、3. 命令传播、4. 心跳检测、5. 介绍 偏移量 & 积压缓冲区 & 运行ID ......
Redis的数据持久化
介绍 Redis 的数据持久化方案 Redis 的数据持久化主要有两大机制，AOF 日志和 RDB 快照。 AOF 持久化是通过保存 Redis 服务器所执行的写命令来记录数据库状态。 RDB 持久化是通过保存数据库中的键值对来记录数据库状态。 根据服务器是否启用了 AOF 持久化功能， 服务器载入 ......
MongoDB - 数据模型的设计模式
在实际开发中，大多数性能问题都可以追溯到糟糕的模型设计。官方也提供分享过文档模型设计的进阶技巧，这里简单翻译记录一下。 ......
图解B树及C#实现（2）数据的读取及遍历
前言 本文为系列文章 B树的定义及数据的插入 数据的读取及遍历（本文） 数据的删除 前一篇文章为大家介绍了 B树 的基本概念及其插入算法。本文将基于前一篇的内容，为大家介绍插入到 B树 中的数据该怎么读取及遍历， 本文的代码基于前一篇文章的代码，已经实现的功能可能会被省略，只介绍新增的功能。 在本文 ......
（数据科学学习手札147）Python GIS利器shapely全新2.0版本一览
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，我写过很多篇介绍geopandas相关技术的文章，而geopandas之所以如此高效易用，成为Python GIS生态中的翘楚，离 ......
基于.NetCore开发博客项目 StarBlog - (22) 开发博客文章相关接口
前言 本文介绍博客文章相关接口的开发，作为接口开发介绍的第一篇，会写得比较详细，以抛砖引玉，后面的其他接口就粗略带过了，着重于WebApi开发的周边设施。 涉及到的接口：文章CRUD、置顶文章、推荐文章等。 开始前先介绍下AspNetCore框架的基础概念，MVC模式（前后端不分离）、WebApi模 ......
基于.NetCore开发博客项目 StarBlog - (25) 图片接口与文件上传
前言 上传文件的接口设计有两种风格，一种是整个项目只设置一个接口用来上传，然后其他需要用到文件的地方，都只存一个引用ID；另一种是每个需要文件的地方单独管理各自的文件。这俩各有优劣吧，本项目中选择的是后者的风格，文章图片和照片模块又要能CRUD又要批量导入，还是各自管理文件比较好。 图片接口 说会正 ......
基于.NetCore开发博客项目 StarBlog - (23) 文章列表接口分页、过滤、搜索、排序
前言 上一篇留的坑，火速补上。 在之前的第6篇中，已经有初步介绍，本文做一些补充，已经搞定这部分的同学可以快速跳过，基于.NetCore开发博客项目 StarBlog - (6) 页面开发之博客文章列表 对标准的WebApi来说，分页、过滤、搜索、排序是很常见的功能，既可以方便用户查看数据，又可以提 ......
系统建设-数据迁移
随着业务发展，我们的系统可能面临着改造升级。改造过程中往往避免不了数据模型的变动，这时候需要将老表老模型迁移到新表新模型，并且还要保证历史数据的迁移以及映射。 这就带来了一个问题，老表老模型如何迁移到新表新模型，以下是常用的两种方案 | 方案 | 是否支持回切 | 优点 | 缺点 | | | | | ......
小技巧 EntityFrameworkCore 实现 CodeFirst 通过模型生成数据库表时自动携带模型及字段注释信息
今天分享自己在项目中用到的一个小技巧，就是使用 EntityFrameworkCore 时我们在通过代码去 Update-Database 生成数据库时如何自动将代码模型上的注释和字段上的注释携带到数据库中，方便后续在数据库直接查看各个表和各个字段的含义。 实现效果如下： 可以看到我们每张表都有明确 ......
SpringBoot源码学习2——SpringBoot x Mybatis 原理解析（如何整合，事务如何交由spring管理，mybatis如何进行数据库操作）
阅读本文需要spring源码知识，和springboot相关源码知识 对于springboot 整合mybatis，以及mybatis源码关系不密切的知识，本文将简单带过 系列文章目录和关于我 涉及到spring ioc原理，可移步学习：Spring源码学习笔记12——总结篇IOC，Bean的生命周 ......
基于.NetCore开发博客项目 StarBlog - (21) 开始开发RESTFul接口
前言 最近电脑坏了，开源项目的进度也受到一些影响 这篇酝酿很久了，作为本系列第二部分（API接口开发）的第一篇，得想一个好的开头，想着想着就鸽了好久，索性不扯那么多了，直接开写吧~ 关于RESTFul 网上很多相关的文章都要把RESTFul历史来龙去脉给复制一遍，所以我这就不重复了，现在主要的HTT ......
上帝视角一览大数据开发体系
前言 不知道大家有没有过在百度搜索旅游的关键字，不久就可能收到机票的推销的经验。如今是大数据的时代，数据的价值越来越重要。数据即资产，想必大家都听说过。最近公司的项目中也用到了一些大数据的技术，本文对大数据相关的知识体系做了一个整体的梳理。 什么是大数据 大数据，你可能就简单理解为数据量大，那是多大 ......
大数据时代，数据仓库究竟是干嘛的？
前言 无论你是否专门从事大数据开发，作为一个开发人员，应该都听说过数据仓库的概念，那你知道为什么会出现数据仓库？数据仓库究竟是干嘛的吗？有什么价值和意义呢？那么本文就带到入门，揭开数据仓库的面纱。 数据仓库的由来 数据仓库为何而来，主要解决什么问题的？ 先下结论：为了分析数据而来，分析结果为企业决策 ......
云数据库FinOps实战复盘
历时三个多月的HBase成本优化项目按照预期交付了，HBase云数据库月度成本下降了32.5%，超出预期达成目标。 我们对本次HBase成本优化项目进行深度复盘，并进一步尝试总结云数据库的FinOps之道。 希望能够赋能mysql、redis、mongo等其他云数据库产品实现降本增效，进而给互联网寒 ......
深度学习炼丹-数据增强
在工业界，数据预处理步骤对模型精度的提高的发挥着重要作用。对于机器学习任务来说，广泛的数据预处理一般有四个阶段（视觉任务一般只需 Data Transformation）: 数据清洗(Data Cleaning)、数据整合(Data Integration)、数据转换(Data Transforma... ......