三步走 数据分析 框架 思维
需求分析之道——需求分析要做什么（C系架构设计法，sishuok）
需求分析之道——需求分析要做什么。 需求分析是架构师开始做架构设计的第一步，对架构师来讲非常非常的重要。因为需求分析能够告诉我们，到底我们要做什么，架构设计就是为了去完成这件事情而做的。 接下来，我们就从实战的角度来讲一讲，需求分析的一些方法，都是咱们多年经验的总结，也许听上去或者说大家看上去，没有 ......
深入理解需求分析的目标（C系架构设计法）
需求分析的目标：是尽可能准确、全面、深入的理解业务。 1：理解“尽可能准确” 首先，需求分析，要做的事，肯定是去理解业务，但是要达到什么样的程度，才算是我们理解了这个业务呢？ 第一个是“尽可能”，尽可能的意思，就是你不太可能百分之百的、完整的、准确的去理解，做不到。我们只能说是尽自己最大努力去理解， ......
模拟浏览器与服务器交互(简易TomCat框架)
模拟浏览器发送请求到服务器获取资源的思想和代码实现 浏览器发送请求到服务器获取资源的流程和概念 日常我们使用的浏览器,底层都是帮我们做了很多事情,我们只需要用,比如输入www.baidu.com,就可以访问百度的首页 那么它是如何做到的呢,其实简单来说就是浏览器在底层利用socket,将我们输入的地 ......
maven 多模块项目的测试覆盖率分析 - jacoco 聚合分析
前言 对于大多数 maven 多模块化工程，可以使用 Jacoco 这款工具，关于 Jacoco 这款工具，ChatGPT 对它的描述是这样的： JaCoCo（Java Code Coverage）是一个开源的测试覆盖率工具，它可以用于帮助开发人员衡量其软件测试的有效性。它支持多种语言，包括 Jav ......
数据转换工具DBT介绍及实操
一、什么是DBT dbt （data build tool）是一款流行的开源数据转换工具，能够通过 SQL 实现数据转化，将命令转化为表或者视图，提升数据分析师的工作效率。dbt 主要功能在于转换数据库或数据仓库中的数据，在 E（Extract）、L（Load）、T（Transform） 的流程中， ......
Net6 EFcore框架介绍
1、简介 EFcore，可用使得开发人员不需要再去关注数据库的实现，全都由代码进行生成 这样有利于减少工作量、数据库快速迁移... 2、上手搭建架构 (这个图是做完本章内容的完整图，我们一步步深入即可) 在写EF之前，先安装好数据库，我选择在本地安装Sqlserver 我们先执行最核心的两步，将EF ......
如何高效实现 MySQL 与 elasticsearch 的数据同步
MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w，后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......
推荐系统[八]算法实践总结V2：排序学习框架(特征提取标签获取方式)以及京东推荐算法精排技术实战
0.前言 「排序学习（Learning to Rank，LTR）」，也称「机器排序学习（Machine-learned Ranking，MLR)」 ，就是使用机器学习的技术解决排序问题。自从机器学习的思想逐步渗透到信息检索等领域之后，如何利用机器学习来提升信息检索的性能水平变成了近些年来非常热门的研 ......
重磅！flink-table-store 将作为独立数据湖项目重新加入 Apache
数据湖是大数据近年来的网红项目，大家熟知的开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来野蛮生长，目前各自背后也都有商业公司支持，投入了大量的人力物力去做研发和宣传。然而今天我们要讲的是数据湖界的后起之秀 —— flink-tabl ......
Mybatis数据库驱动
Mybatis数据库驱动 最近在学习mybatis的源码,有一个databaseIdProvider根据不同数据库执行不同sql的功能,我正好有一个mysql还有一个瀚高数据库,就去试了一下,使用如下 pom文件导入两个数据库的驱动 <dependency> <groupId>mysql</grou ......
【数据结构与算法学习】线性表（顺序表、单链表、双向链表、循环链表）
实现语言：C++ 1. 线性表相关概念 线性表（Linear List） 是由n(n≥0)个具有相同特性（数据类型）的数据元素（结点）a1，a2，...，ai-1，ai，ai+1，...，an组成的有限序列。 其中，a1为线性起点（起始结点），an为线性终点（终端结点）。对于每一个数据元素ai，我们 ......
常用的"小脚本"-json数据处理
小背景： 我们公司项目中的小脚本是一些工具类，比如常用的是MapUtil工具类的一些方法 写公司的MapUtil工具类的方法要注意，方法名的命名，因为方法名，在公司的项目的某个业务流程有对方法名的进行String截取开头字符串然后进行判断 一、工具的使用推荐 1、获取到请求url（接口的形式-一般数 ......
【数据结构与算法学习】散列表（Hash Table，哈希表）
实现语言：C++ 1. 散列表 散列表，英文名称为Hash Table，又称哈希表、杂凑表等。 线性表和树表的查找是通过比较关键字的方法，查找的效率取决于关键字的比较次数。 而散列表是根据关键字直接访问的数据结构。散列表通过散列函数将关键字映射到存储地址，建立了关键字和存储地址之间的一种直接映射关系 ......
基于NUXT.JS搭建一款VUE版SSR前端框架（解决SPA应用的SEO优化优化问题）
本文档是从官网文档中摘录的一些重点内容，以及加入了自己的一些调整和对官网内容的理解和解释。适合新手学习，有一定技术水平的宝子，建议直接查看 [NUXT英文官网] ......
c/c++指针从浅入深介绍——基于数据内存分配的理解（上）
c/c++指针从浅入深介绍——基于数据内存分配的理解（上） 本文是对自我学习的一个总结以及回顾，文章内容主要是针对代码中的数据在内存中的存储情况以及存储中数值的变化来对指针进行介绍，是对指针以及数据在内存中数值是如何变化的，为什么需要使用到指针，为什么有时候使用指针很容易会报错，怎么去使用指针才能让 ......
【django-vue】封装logger 封装全局异常 封装response 数据库配置 用户表继承AbstractUser配置
上节回顾 这是一个django-Vue前后端分离的项目（视频网站） # 1 企业软件类型 -商城类 -公司内部： -业务 -RBAC权限管理 # 2 软件开发流程 -你的工作流程 # 3 pip换源 ：国内镜像 -命令行中 -pycharm中 # 4 虚拟环境： -每个项目有自己的环境 -虚拟环境： ......
docker mysql8.0 启动，挂数据卷，定时备份，恢复~
安装mysql 从mysql社区版的官方源去拉取镜像：mysql/mysql-server - Docker Image | Docker Hub docker run --name=mysql1 -d mysql/mysql-server:latest 镜像起来之后，mysql就默默的初始化好了， ......
微软出品自动化神器【Playwright+Java】系列（十二）测试框架的设计与开发
一、前言 大家好，我是六哥！ 又有好长一段时间没更文了，不是我懒，而是确实在更文上，没有以前积极了，这里是该自我检讨的。 其实不是我不积极，而是相对更文学习来说，优先级不是最高。 对我而言，目前最重要的就是减肥，除了下雨下雪，我都坚持每天5公里，keep记录如下： 早在四天前就完成了playwrig ......
[数据分析与可视化] Python绘制数据地图1-GeoPandas入门指北
本文主要介绍GeoPandas的基本使用方法，以绘制简单的地图。GeoPandas是一个Python开源项目，旨在提供丰富而简单的地理空间数据处理接口。GeoPandas扩展了Pandas的数据类型，并使用matplotlib进行绘图。GeoPandas官方仓库地址为：GeoPandas。GeoPa ......
hibernate跨数据库，columnDefinition不可移植性改造方案
#背景&问题描述 很多项目选择jpa/hibernate，更多是为了代码的可移植性，不限制数据库的选择。特别是toB的业务系统，不同的客户，要求用不同的数据库。特别近几年，大力倡导软件国产化，国产数据库也在崛起，很多政府、国企、电力、银行在数据库的选择上，纷纷转向国产数据库。也许mybatis+my ......
hibernate跨数据库，json字段处理方案，自定义扩展JsonStringType
一、背景 对于一些不经常更新的静态数据，我们喜欢使用json格式存储。推荐的做法是将json数据存储在key-value数据库，但这无疑增加了技术成本，所以我们通常还是存储在RDB数据库中。我们在使用hibernate，对json数据的存取期望是，存能自动转换为json格式存储，取能自动将json数 ......
Celery框架从入门到精通
Celery介绍、安装、基本使用 一、Celery服务 什么是Celery: Celery是一个简单、灵活且可靠的，处理消息的分布式系统 Celery可以用来做什么： 异步任务 定时任务 延迟任务 Celery的运行原理: 可以不依赖任何服务，通过自身命令，启动服务 celery服务为其他项目服务提 ......
LoadRunner——分析图详解（十四）
《分析图详解》 一、Running V user s 图 X轴表示运行所用的时间，Y轴表示vuser数， 显示在整个运行过程中随着时间的推移，虚拟用户数量是如何变化的，具体描述为：用户是如何增长的，最大负载用户数以及用户退出方式。与平均事务响应时间图合并可以查看用户数量的变化对事务响应时间产生的影响 ......
Redis缓存数据库-快速入门
Redis数据库快速入门 一、Redis数据库 介绍： Redis：非关系型缓存数据库 nosql：非关系型数据库 没有表，没有表与表之间的关系，更不存在外键 存储数据的形式为key：values的形式 c语言写的服务（监听端口），用来存储数据的，数据是存储在内存中，取值，放值速度非常快， 10w ......
数据问题排查思路
1、背景 数据开发、数据仓库工作和业务系统开发工作很大的一个不同是，业务系统功能开发一旦完成并通过测试，一般就可以比较稳定地长期运行，因为它的输入是相对稳定的。但是数据仓库开发加工的数据模型、数据指标和分析结论，却很难保持稳定。因为输入数据每天都在源源不断产生，很难保证数据没有大的波动，而输入的不稳 ......
MySQL 并行复制方案演进历史及原理分析
预告: 《MySQL实战》即将出版，敬请关注！ 有过线上 MySQL 维护经验的童鞋都知道，主从延迟往往是一个让人头疼不已的问题。 不仅仅是其造成的潜在问题比较严重，而且主从延迟原因的定位尤其考量 DBA 的综合能力：既要熟悉复制的内部原理，又能解读主机层面的资源使用情况，甚至还要会分析 binlo ......
云原生时代顶流消息中间件Apache Pulsar部署实操之轻量级计算框架
本篇逐层递进了解Pulsar Functions的基本概念和理论，如工作原理、处理保证模式、窗口函数；进一步搭建Pulsar函数运行环境，一步步操作演示函数也包括窗口函数的示例使用，最后通过Java语言实现原生语言接口和Pulsar函数SDK两种方式的代码示例、打包、部署和结果验证。 ......
sqlite3数据库Linux 系统移植和使用
sqlite3数据库是一个小型的数据库，当数据量不大，要求不是特别高的时候，是个不错的选择。 在Linux上移植和使用也非常的方便。 本示例是在硬件全志r528 .linux5.4 上验证的。 移植操作： 1、源码下载 去官网进行下载源码SQLite Download Page，根据自己的选取选择不 ......
在Vue中体验LeanCloud无后台轻量级数据存储服务
作为一个前端开发小伙伴，你在做一款自己的App、小程序或H5网页时如果需要存储列表数据你是怎么做的，自学后端编程搞一套？部署服务还需要花服务器的钱，不能盈利的个人小项目肯定是不合适的，其实各种平台有提供一些 ServerLess 云服务，微信小程序的云开发、Uniapp的UniCloud及其早年在做... ......