研究生 数据 论文
数据测试实践：从一个bug开始的大数据引擎兼容性探索
数据测试不仅关注数据加工的代码逻辑，还要考虑大数据执行引擎带来的影响，因为各种引擎框架将对同一份数据产生不同的计算或检索结果。本文将从一个年度账单bug引入，讲解在数据测试实践中对大数据执行引擎兼容性 ......
配运基础数据缓存瘦身实践
在基础数据的常规能力当中，数据的存取是最基础也是最重要的能力，为了整体提高数据的读取能力，缓存技术在基础数据的场景中得到了广泛的使用，下面会重点展示一下配运组近期针对数据缓存做的瘦身实践。 ......
SpringCloud微服务实战——搭建企业级开发框架（四十九）：数据字典注解的设计与实现
数据字典是系统中基本的必不可少的功能，在多种多样的系统中，数据字典表的设计都大同小异。但是使用方式确是多种多样，设计好一套易用的数据字典功能模块，可以使开发事半功倍。 常用的数据字典使用方式： 直接在SQL语句中LEFT JOIN （当然是不推荐这样用的） 查询出原始数据，然后再根据原始数据需要的字 ......
SpringCloud微服务实战——搭建企业级开发框架（五十）：集成移动端推送功能的系统通知公告数据库设计
系统的通知公告功能似乎是很容易被忽略的功能模块，在传统的软件系统中，一般OA类软件系统不可或缺，而在应用软件系统中此功能或有或无，在现在大多数的互联网软件系统中，此功能又必不可缺。所以，在框架设计时，我们需要考虑业务系统是否需要此功能模块，然后将此功能作为扩展插件，在需要时开启，在不需要时配置关闭即 ......
网易数帆数据治理体系、工具、流程、制度与管理概述
导读 本文将介绍网易数帆在数据治理方面的一些总结和思考。文章将围绕以下三点展开： 1. 数据治理解决了什么问题 2. 数据治理体系 3. 浅谈数据治理的实现 01数据治理解决了什么问题 首先看一下数据治理解决了什么问题，可以总结为六个方面： 1. 数据开发与数据治理脱节 在许多企业中存在这样一个现象 ......
用Redis实现延迟队列，我研究了两种方案，发现并不简单
大家好，我是三友~~ 背景 前段时间有个小项目需要使用延迟任务，谈到延迟任务，我脑子第一时间一闪而过的就是使用消息队列来做，比如RabbitMQ的死信队列又或者RocketMQ的延迟队列，但是奈何这是一个小项目，并没有引入MQ，我也不太想因为一个延迟任务就引入MQ，增加系统复杂度，所以这个方案直接就 ......
Hbase学习二：Hbase数据特点和架构特点
转载请注明出处： 1.Hbase数据特点 大：一个表可以有上亿行，上百万列。 面向列：面向列表（簇）的存储和权限控制，列（簇）独立检索。 稀疏：对于为空（NULL）的列，并不占用存储空间，因此，表可以设计的非常稀疏。 无模式：每一行都有一个可以排序的主键和任意多的列，列可以根据需要动态增加，同一张表 ......
图解 paxos 论文《The Part-Time Parliament》
本文以图文并茂的方式重新演绎 Paxos 开山之作 《The Part-Time Parliament》[1]，并尝试解释原论文中语焉不详的地方。 背景 在 Paxos 小岛上，施行着一种 Parliament(议会) 政治。小岛上执行的所有 decree(法令) 都需要先由 Parliament ......
echarts使用dataset数据集创建单轴散点图
dataset创建单轴散点图 由于使用echarts作图时，我很喜欢用dataset作为数据源，但是官方案例中，又没有给出相关示例，于是，在翻阅官方文档相关案例之后，结合官方文档使用dataset的示例，成功使用dataset绘制单轴散点图！ 配置项 //配置项 const option = { t ......
研究c#异步操作async await状态机的总结
前言 前一段时间得闲的时候优化了一下我之前的轮子[DotNetCoreRpc]小框架，其中主要的优化点主要是关于RPC异步契约调用的相关逻辑。在此过程中进一步了解了关于async和await异步操作相关的知识点，加深了异步操作的理解，因此总结一下。关于async和await每个人都有自己的理解，甚至 ......
SpringBoot多数据源以及事务处理
背景 在高并发的项目中，单数据库已无法承载大数据量的访问，因此需要使用多个数据库进行对数据的读写分离，此外就是在微服化的今天，我们在项目中可能采用各种不同存储，因此也需要连接不同的数据库，居于这样的背景，这里简单分享实现的思路以及实现方案。 如何实现 多数据源实现思路有两种，一种是通过配置多个Sql ......
C#NPOI操作Excel，实现Excel数据导入导出（支持多个sheet）
首先在项目中引用NPOI,通过管理NuGet程序包，搜索NPOI，选择版本2.3.0（支持.NET Framework 4.0）根据自己项目选择适当版本。 1.NpoiExcelHelper.cs Npoi操作Excel类 using System.Data; using System.IO; us ......
数值的扩展方法以及新增数据类型BigInt
二进制和八进制表示法 ES6提供了二进制和八进制数值的新的写法，分别用前缀0b(或0B)和0o或(0O)表示 0b111110111 503 // true; 0o767 503; // true 在es5开始，严格模式中，八进制不允许使用前缀0 表示，否则会报错 // 严格模式 (function ......
odoo 给列表视图添加按钮实现数据文件导入
实践环境 Odoo 14.0-20221212 (Community Edition) 代码实现 模块文件组织结构 说明：为了更好的表达本文主题，一些和主题无关的文件、代码已略去 odoo14\custom\estate │ __init__.py │ __manifest__.py │ ├─mod ......
jdbc访问KingbaseES数据库SocketTimeoutException Read timed out
jdbc访问KingbaseES数据库发生异常：SocketTimeoutException Read timed out 一、异常现象： 应用显示ERROR信息： Caused By: java.net.SocketTimeoutException: Read timed out at java. ......
【Vue】style和class 列表渲染 使用v-for进行循环 监控失效 双向数据绑定 过滤案例 事件修饰符
昨日回顾 # 1 前端发展历史 -vue react -谷歌flutter，Dart语言 -uni-app：小公司 -vue： 3.x 2.x -3.x :ts -2.x :js # 2 vue: -渐进式 -MVVM: M层：model，数据层，js V层：view，视图层，html，css VM ......
Iceberg 数据治理及查询加速实践
数据治理 Flink 实时写入 Iceberg 带来的问题 在实时数据源源不断经过 Flink 写入的 Iceberg 的过程中，Flink 通过定时的 Checkpoint 提交 snapshot commit 操作到 Iceberg，将已写入到 Iceberg 的数据文件通过 Snapshot ......
ArcGIS Pro SDK 002 对数据文件的读取和操作
做系统开发或者数据处理的时候，我一般还是喜欢使用文件数据源，例如矢量用.shp文件存储，栅格数据用.tif或者.img文件存储。ArcGIS Pro SDK中对数据源操作的API和ArcObjects SDK中差别还是比较大的。 1、打开数据文件 打开文件数据的步骤如下。 （1）使用Shape文件所 ......
精华推荐 |【算法数据结构专题】「延时队列算法」史上非常详细分析和介绍如何通过时间轮（TimingWheel）实现延时队列的原理指南
时间轮的介绍 时间轮（TimeWheel）是一种实现延迟功能（定时器）的精妙的高级算法，其算法应用范围非常广泛，在Java开发过程中常用的Dubbo、Netty、Akka、Quartz、ZooKeeper 、Kafka等各种框架中，各种操作系统的定时任务crontab调度都有用到，甚至Linux内核 ......
redis（1）NoSQL数据库简介
1.1 技术发展 redis是用来解决性能问题的数据库 技术的分类： 解决功能性问题：Java、Jsp、RDBMS、Tomcat、HTML、Linux、JDBC、SVN 解决扩展性问题：Struts、Spring、SpringMVC、Hibernate、Mybatis 解决性能问题：NoSQL、Ja ......
2023年十款开源测试开发工具推荐（自动化、性能、造数据、流量复制）
1、AutoMeter-API 自动化测试平台 AutoMeter 是一款针对分布式服务，微服务 API 做功能和性能一体化的自动化测试平台，一站式提供发布单元，API，环境，用例，前置条件，场景，计划，报告等管理 在项目开发，迭代交付过程中开发人员，测试人员需要针对系统提供的 API 做调试，回归 ......
SQLSERVER 语句交错引发的死锁研究
一：背景 1. 讲故事 相信大家在使用 SQLSERVER 的过程中经常会遇到 阻塞 和 死锁，尤其是 死锁，比如下面的输出： (1 row affected) Msg 1205, Level 13, State 51, Line 5 Transaction (Process ID 62) was ......
一文详解ATK Loss论文复现与代码实战
摘要：该方法的主要思想是使用数值较大的排在前面的梯度进行反向传播，可以认为是一种在线难例挖掘方法，该方法使模型讲注意力放在较难学习的样本上，以此让模型产生更好的效果。 本文分享自华为云社区《ATK Loss论文复现与代码实战》，作者：李长安。 损失是一种非常通用的聚合损失，其可以和很多现有的定义在单 ......
slate源码解析（二）- 基本框架与数据模型
源码架构 首先来看下最核心的slate包下的目录： 可以看到，作为一个开源富文本库，其源码是相当之少。在第一篇文章中说过，Slate没有任何开箱即用的功能，只提供给开发者用于构建富文本所需的最基本的一套schema及操作API。因此源码的体量自然就要少许多。 我们来预览上图中各个目录下文件所负责的功 ......
Python GDAL读取栅格数据并基于质量评估波段QA对指定数据加以筛选掩膜
本文介绍基于Python语言中gdal模块，对遥感影像数据进行栅格读取与计算，同时基于QA波段对像元加以筛选、掩膜的操作~ ......
Python批量绘制遥感影像数据的直方图
本文介绍基于Python中gdal模块，实现对大量栅格图像批量绘制直方图的方法。 首先，明确一下本文需要实现的需求：现需对多幅栅格数据文件进行依据其像元数值的直方图绘制，具体绘制内容即各栅格图像像素数值的分布情况；所有栅格数据都保存在同一目标路径下，且均为.tif格式；而目标路径下具有其它非.tif ......
Mybatis连接数据库
从零开始Mybatis连接数据库 创建Maven文件 File-->new-->project-->maven,点击next 配置 在出现的pom.xml文件中<project>标签之间加入以下内容 <!--打包方式--> <packaging>jar</packaging> <dependenci ......
任何人均可上手的数据库与API搭建平台
编写API可能对于很多后端开发人员来说，并不是什么难事儿，但如果您主要从事前端功能，那么可能还是有一些门槛。 那么有没有工具可以帮助我们降低编写API的学习门槛和复杂度呢？ 今天就来给大家推荐一个不错的开源工具：APITable APITable是一个面向API的可视化数据库，它适用于所有人，甚至没 ......
Android JetPack~ DataBinding(数据绑定)(一) 集成与使用
近期将会梳理一下JetPack全家桶的使用，包括DataBinding，Room，ViewModel，LiveData，Navigation等。 本来打算先写DataBinding的使用，没想到在17年的时候已经写过了，这里就补充一点吧，毕竟不是什么新东西 Android数据绑定技术一，企业级开发 ......
DIVFusion_ Darkness-free infrared and visible image fusion 论文解读
研究 背景： 当前图像融合方法都是针对正常照明的红外与可见光图像设计的，无法有效处理夜景下的情况。 而针对夜景下的融合可以分为以下两个步骤，1 可见光图像增强，2 可见光图像与红外图像融合。但是现存的弱光增强算法与融合算 法存在严重不兼容，简单的组合会导致一系列问题。如何建模消除两种算法的不 ......