自然语言 人工智能 数据分析 投资项目
基于.NetCore开发博客项目 StarBlog - (25) 图片接口与文件上传
前言 上传文件的接口设计有两种风格，一种是整个项目只设置一个接口用来上传，然后其他需要用到文件的地方，都只存一个引用ID；另一种是每个需要文件的地方单独管理各自的文件。这俩各有优劣吧，本项目中选择的是后者的风格，文章图片和照片模块又要能CRUD又要批量导入，还是各自管理文件比较好。 图片接口 说会正 ......
基于.NetCore开发博客项目 StarBlog - (23) 文章列表接口分页、过滤、搜索、排序
前言 上一篇留的坑，火速补上。 在之前的第6篇中，已经有初步介绍，本文做一些补充，已经搞定这部分的同学可以快速跳过，基于.NetCore开发博客项目 StarBlog - (6) 页面开发之博客文章列表 对标准的WebApi来说，分页、过滤、搜索、排序是很常见的功能，既可以方便用户查看数据，又可以提 ......
Redis的数据复制
本篇文章介绍了Redis的数据复制1. 完整重同步、2. 部分重同步、3. 命令传播、4. 心跳检测、5. 介绍 偏移量 & 积压缓冲区 & 运行ID ......
使用PyLint分析评估代码质量
什么是PyLint PyLint是一款用于评估Python代码质量的分析工具，它诞生于2003年，其最初十年的主要作者和维护者是Sylvain Thénault。PyLint可以用来检查代码是否错误、是否符合编码规范（它默认使用的编码规范是PEP 8），在分析代码后PyLint将会输出一段信息，内容 ......
Redis的数据持久化
介绍 Redis 的数据持久化方案 Redis 的数据持久化主要有两大机制，AOF 日志和 RDB 快照。 AOF 持久化是通过保存 Redis 服务器所执行的写命令来记录数据库状态。 RDB 持久化是通过保存数据库中的键值对来记录数据库状态。 根据服务器是否启用了 AOF 持久化功能， 服务器载入 ......
MongoDB - 数据模型的设计模式
在实际开发中，大多数性能问题都可以追溯到糟糕的模型设计。官方也提供分享过文档模型设计的进阶技巧，这里简单翻译记录一下。 ......
图解B树及C#实现（2）数据的读取及遍历
前言 本文为系列文章 B树的定义及数据的插入 数据的读取及遍历（本文） 数据的删除 前一篇文章为大家介绍了 B树 的基本概念及其插入算法。本文将基于前一篇的内容，为大家介绍插入到 B树 中的数据该怎么读取及遍历， 本文的代码基于前一篇文章的代码，已经实现的功能可能会被省略，只介绍新增的功能。 在本文 ......
（数据科学学习手札147）Python GIS利器shapely全新2.0版本一览
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，我写过很多篇介绍geopandas相关技术的文章，而geopandas之所以如此高效易用，成为Python GIS生态中的翘楚，离 ......
Jvm上如何运行其他语言？JSR223规范最详细讲解
一 在Java的平台里，其实是可以执行其他的语言的。包括且不仅限于jvm发展出来的语言。 有的同学可能会说，在java项目里执行其他语言，这不吃饱了撑着么，java体系那么庞大，各种工具一应俱全，放着好好的java不写，还要去执行其他语言干嘛。 写java的都知道，java是需要事先编译的，这意味着 ......
基于.NetCore开发博客项目 StarBlog - (21) 开始开发RESTFul接口
前言 最近电脑坏了，开源项目的进度也受到一些影响 这篇酝酿很久了，作为本系列第二部分（API接口开发）的第一篇，得想一个好的开头，想着想着就鸽了好久，索性不扯那么多了，直接开写吧~ 关于RESTFul 网上很多相关的文章都要把RESTFul历史来龙去脉给复制一遍，所以我这就不重复了，现在主要的HTT ......
项目完成小结 - Django-React-Docker-Swag部署配置
前言 最近有个项目到一段落，做个小结记录。 内容可能会多次补充，在博客上实时更新哈~ 如果是在公众号阅读这篇文章，可以点击「查看原文」访问最新版本~ 这个项目是前后端分离，后端为了快，依然用我的DjangoStarter框架。前端一开始是小程序，后面突然换成公众号H5的形式，还好我用了Taro，大差 ......
系统建设-数据迁移
随着业务发展，我们的系统可能面临着改造升级。改造过程中往往避免不了数据模型的变动，这时候需要将老表老模型迁移到新表新模型，并且还要保证历史数据的迁移以及映射。 这就带来了一个问题，老表老模型如何迁移到新表新模型，以下是常用的两种方案 | 方案 | 是否支持回切 | 优点 | 缺点 | | | | | ......
微服务组件-----Spring Cloud Alibaba 注册中心Nacos的CP架构Raft协议分析
前言 本篇幅是继 注册中心Nacos源码分析 的下半部分。 意义 【1】虽说大部分我们采用注册中心的时候考虑的都是AP架构，为什么呢？因为性能相对于CP架构来说更高，需要等待的时间更少【相对于CP架构，采用的是二段提交，AP架构是直接落盘数据，然后进行数据扩散，来达到最终一致，所以客户端收到响应会更 ......
小技巧 EntityFrameworkCore 实现 CodeFirst 通过模型生成数据库表时自动携带模型及字段注释信息
今天分享自己在项目中用到的一个小技巧，就是使用 EntityFrameworkCore 时我们在通过代码去 Update-Database 生成数据库时如何自动将代码模型上的注释和字段上的注释携带到数据库中，方便后续在数据库直接查看各个表和各个字段的含义。 实现效果如下： 可以看到我们每张表都有明确 ......
SpringBoot源码学习2——SpringBoot x Mybatis 原理解析（如何整合，事务如何交由spring管理，mybatis如何进行数据库操作）
阅读本文需要spring源码知识，和springboot相关源码知识 对于springboot 整合mybatis，以及mybatis源码关系不密切的知识，本文将简单带过 系列文章目录和关于我 涉及到spring ioc原理，可移步学习：Spring源码学习笔记12——总结篇IOC，Bean的生命周 ......
大数据时代，数据仓库究竟是干嘛的？
前言 无论你是否专门从事大数据开发，作为一个开发人员，应该都听说过数据仓库的概念，那你知道为什么会出现数据仓库？数据仓库究竟是干嘛的吗？有什么价值和意义呢？那么本文就带到入门，揭开数据仓库的面纱。 数据仓库的由来 数据仓库为何而来，主要解决什么问题的？ 先下结论：为了分析数据而来，分析结果为企业决策 ......
深度学习炼丹-数据增强
在工业界，数据预处理步骤对模型精度的提高的发挥着重要作用。对于机器学习任务来说，广泛的数据预处理一般有四个阶段（视觉任务一般只需 Data Transformation）: 数据清洗(Data Cleaning)、数据整合(Data Integration)、数据转换(Data Transforma... ......
上帝视角一览大数据开发体系
前言 不知道大家有没有过在百度搜索旅游的关键字，不久就可能收到机票的推销的经验。如今是大数据的时代，数据的价值越来越重要。数据即资产，想必大家都听说过。最近公司的项目中也用到了一些大数据的技术，本文对大数据相关的知识体系做了一个整体的梳理。 什么是大数据 大数据，你可能就简单理解为数据量大，那是多大 ......
云数据库FinOps实战复盘
历时三个多月的HBase成本优化项目按照预期交付了，HBase云数据库月度成本下降了32.5%，超出预期达成目标。 我们对本次HBase成本优化项目进行深度复盘，并进一步尝试总结云数据库的FinOps之道。 希望能够赋能mysql、redis、mongo等其他云数据库产品实现降本增效，进而给互联网寒 ......
一步步带你设计MySQL索引数据结构
前言 MySQL的索引是一个非常重要的知识点，也基本上是面试必考的一个技术点，所以非常重要。那你了解MySQL索引的数据结构是怎么样的吗？为什么要采用这样的数据结构？ 现在化身为MySQL的架构师，一步步迭代设计出MySQL的索引结构，保证你再也忘记不了索引的结构了，轻松通过面试。 索引介绍 MyS ......
说说真实Java项目的开发流程，以及面试前的项目准备说辞
介绍项目是必不可少的Java面试环节，求职者需要借此证明自己真实Java项目的经验，如果再做的好的话，需要借此展开自己的亮点说辞。 不过之前如果只有学习项目经验，比如是自己跑通一个项目，或者是在培训班里通过一个Spring Boot项目入门Java，那么这些学习项目的开发流程其实和公司里真实Java ......
数据驱动测试-从方法探研到最佳实践
作者：刘红妍 导读 在自动化测试实践中，测试数据是制造测试场景的必要条件，本文主要讲述了在沟通自动化框架如何分层，数据如何存储，以及基于单元测试pytest下如何执行。并通过实践案例分享，提供数据驱动测试的具体落地方案。 基本概念 数据驱动测试（DDT）是一种方法，其中在数据源的帮助下重复执行相同顺 ......
RocketMQ Connect 构建流式数据处理平台
RocketMQ Connect 作为 RocketMQ 与其他系统间流式数据传输的重要工具，轻松将 RocketMQ 与其他存储技术进行集成，并实现低延迟流/批处理。接下来，我们一起详解运行原理与基本特性～ ......
RocketMQ Schema——让消息成为流动的结构化数据
RocketMQ Schema 提供了对消息的数据结构托管服务，同时为原生客户端提供了较为丰富的序列化/反序列化 SDK ，补齐了 RocketMQ 在数据治理和业务上下游解耦方面的短板，让数据成为流动的结构化数据，那么快来了解下实现原理吧~ ......
MongoDB安全加固，防止数据库攻击删除勒索威胁
前言： 今天发现前段时间自己搭建的一个系统的MongoDB数据找不到了，觉得很奇妙，然后登上MongoDB数据库发现多了一个名为READ__ME_TO_RECOVER_YOUR_DATA的数据库，里面还有一个README的集合里面包含了下面描述的勒索信息。没错我的MongoDB数据库被攻击了，不过还 ......
SpringBoot向Excel模板中写入数据并下载 （无需获取file对象及模板绝对路径）
之前用获取模板路径的方式测试没问题打包后就有问题了 莫名出现一个！ 找了很多教程尝试无果 最终使用下面这个方式 无需获取file对象以及模板路径的方式进行写入下载 （那个设置浏览器编码没有测试不知道能不能用！！！） public void export(SampleFilterAO filter, ......
数据结构高阶--AVL（平衡二叉树）（图解+实现）
AVL树（平衡二叉树） 概念 二叉搜索树虽可以缩短查找的效率，但如果数据有序或接近有序二叉搜索树将退化为单支树，查找元素相当于在顺序表中搜索元素，效率低下。因此为了解决这个问题，两位俄罗斯的数学家发明了一种方法：当向二叉搜索树中插入新结点后，如果能保证每个结点的左右子树高度之差的绝对值不超过1(需要 ......
MySQL JDBC驱动版本与数据库版本的对应关系及注意事项
事情发生 学了三遍的servlet，经典老师又教的第一万遍登陆注册，并且让实现，并且让演示，我们老师可能和之前的小学期公司老师 完全没有沟通过，我们小学期大作业都做了一个小项目出来还搁这登陆注册。 就把五个月前写的一个小项目拿出来，是一个类似菜鸟教程的网站，不过只有java的教程，这都是后话， 项目 ......
数据结构高阶--二叉搜索树（原理+实现）
二叉搜索树 概念 二叉搜索树又称为二叉排序树，因为这棵树的中序遍历是有序的。二叉搜索树总结起来有以下几个性质： 若它的左子树不为空，则左子树上所有节点的值都小于根节点的值 若它的右子树不为空，则右子树上所有节点的值都大于于根节点的值 它的左右子树都是二叉搜索树 这棵树中没有重复的元素 举个例子： 二 ......
kubernetes数据持久化StorageClass动态供给(二)
存储类的好处之一便是支持PV的动态供给，它甚至可以直接被视作为PV的创建模版，用户用到持久性存储时，需要通过创建PVC来绑定匹配的PV，此类操作需求较大，或者当管理员手动创建的PV无法满足PVC的所有需求时，系统按PVC的需求标准动态创建适配的PV会为存储管理带来极大的灵活性，不过仅那些属于Stor ......