数据excel java
在腾讯云上创建一个玩具docker-mysql数据服务
有时候开发需求会自己做一下测试数据，在自己电脑本地安装的服务多了电脑环境会搞的很乱，这时使用云服务器安装个docker服务是一个不错的选择。 下面步骤是在腾讯云上安装docker-mysql镜像，并导入数据，使用的过程。 服务端配置 首先使用ssh登录服务器，然后按照下面的步骤一步一步操作即可。 安 ......
用Java写一个分布式缓存——RESP服务端
本篇我们将完成一个RESP的socket的服务端，初步完成一个单机版缓存。
另外我们还需要完成命令的动态路由。
源码：https://github.com/weloe/Java-Distributed-Cache ......
数据库系列：MySQL慢查询分析和性能优化
1 背景 我们的业务服务随着功能规模扩大，用户量扩增，流量的不断的增长，经常会遇到一个问题，就是数据存储服务响应变慢。 导致数据库服务变慢的诱因很多，而RD最重要的工作之一就是找到问题并解决问题。 下面以MySQL为例子，我们从几个角度分析可能产生原因，并讨论解决的方案。 2 定位慢查询的原因并优化 ......
Java线程池详解
一、线程池有哪些优点 减少资源开销，不用频繁的创建和销毁线程 提高响应时长，有任务时可直接执行。 提高线程的可管理性，所有线程资源都由线程池统一管理。 二、线程池的主要参数 线程池ThreadPoolExecutor的继承关系： 想知道有哪些参数，先看参数最多的构造函数： public Thread ......
Java线程池中的execute和submit
一、概述 execute和submit都是线程池中执行任务的方法。 execute是Executor接口中的方法 public interface Executor { void execute(Runnable command); } submit是ExecuteService接口中的方法。 pu ......
对线面试官：浅聊一下 Java 虚拟机栈？
对于 JVM（Java 虚拟机）来说，它有两个非常重要的区域，一个是栈（Java 虚拟机栈），另一个是堆。堆是 JVM 的存储单位，所有的对象和数组都是存储在此区域的；而栈是 JVM 的运行单位，它主管 Java 程序运行的。那么为什么它有这样的魔力？它存储的又是什么数据？接下来，我们一起来看。 1 ......
面试必问：说一下 Java 虚拟机的内存布局？
我们通常所说的 Java 虚拟机（JVM）的内存布局，一般是指 Java 虚拟机的运行时数据区（Runtime Data Area），也就是当字节码被类加载器加载之后的执行区域划分。当然它通常是 JVM 模块的第一个面试问题，所以，接下来我们一起来看它里面包含了哪些内容。 官方定义 《Java虚拟机 ......
ORM哪家强？java，c#，php，python，go 逐一对比， 网友直呼：全面客观
最近一段时间，我使用golang开发了一个新的ORM库。 为了让这个库更好用，我比较研究了各语言的主流ORM库，发现有一些语言的ORM库确实很好用，而有另外一些语言的库那不是一般的难用。于是... ......
为什么 响应式数据被重新赋值了三次，但是监听回调只执行了一次
代码例子 const { createApp } = Vue const app = createApp({ components: [], template: ` <div> <button @click="handleClick">toggle</button> </div> `, data() ......
Java堆外缓存(一个很有意思的应用)
我们在开发过程中会遇到这样的场景：就是一个服务的各项 JVM 的配置都比较合理的情况下，它的 GC 情况还是不容乐观。分析之后发现有 2 个对象特别巨大，占了总存活堆内存的 90%以上。其中第 1 大对象是本地缓存， GC 之后对象一直存活。然后不久应用就会抛出OutOfMemoryError，那怎 ......
【动画笔记】数据结构-AVL树的插入操作
本笔记主要围绕AVL树的平衡因子、纸上做题思路、失衡类型(LL/RR/LR/RL)、失衡调整方法、插入后回溯这几部分知识点展开。 ......
.NET与大数据
前言 当别人做大数据用Java、Python的时候，我使用.NET做大数据、数据挖掘，这确实是值得一说的事。 写的并不全面，但都是实际工作中的内容。 .NET在大数据项目中，可以做什么？ 写脚本（使用控制台程序+顶级语句） 写工具（使用Winform） 写接口、写服务 使用C#写代码的优点是什么？ ......
借助Radamsa变异数据（初探）
Radamsa 介绍 Radamsa是一款测试用例生成器，通常用来测试程序对格式错误和潜在恶意输入的承受能力（对程序进行模糊测试）。它通过你的输入来返回变异后的数据。它的主要卖点是，它已经在真正重要的程序中发现了许多错误。 Radamsa 使用方法 1、可以直接喂给它字符，它就会返回变异之后的数据给 ......
Java微服务随机掉线排查思路
背景 我们的业务共使用11台(阿里云)服务器,使用SpringcloudAlibaba构建微服务集群,共计60个微服务,全部注册在同一个Nacos集群 流量转发路径: nginx->spring-gateway->业务微服务 使用的版本如下: spring-boot.version:2.2.5.RE ......
Java-Integer好大一坑，一不小心就掉进去了
遛马少年，一个代码写的很6的程序员，专注于技术干货分享 最近，在处理线上bug的时候，发现了一个奇怪的现象 业务代码大概是这样的 public static boolean doSth(Integer x, Integer y) { if (x == y) { return true; } //do ......
Jenkins搭建与数据迁移实践
概述 本文主要介绍内容如下： 1.使用Docker搭建Jenkins 2.迁移原Jenkins数据到新搭建的Jenkins中 3.在Jenkins容器内部配置Maven的私服配置 4.在Jenkins容器内部配置Nodejs 使用Docker搭建Jenkins Jenkins的最新版本已经全面支持j ......
Java JDK Proxy和CGLib动态代理示例讲解
简介 代理模式在Java中有很多应用场景，而代理又分静态代码和动态代理。静态代理是编写、编译或加载时织入代码实现，而动态代理则在运行时实现。简单而言，静态代理是在运行前就已经存在，而动态代理则在运行时才存在的。而常用的动态代理有两种实现： JDK Proxy： JDK Proxy是JDK自带的，不需 ......
dapr本地托管的服务调用体验与Java SDK的Spring Boot整合
1 简介 之前在文章《dapr入门与本地托管模式尝试》中介绍了dapr和本地托管，本文我们来介绍如果在代码中使用dapr的服务调用功能，并把它整合到Spring Boot中。 Dapr服务调用的逻辑如下： 本次实验会创建两个服务： pkslow-data，提供数据服务，用于返回数据； pkslow- ......
mongdb遭遇勒索,用备份进行数据恢复
mongdb遭遇勒索,用备份进行数据恢复 1、背景： 某台MongoDB服务器，没有配置用户名密码，放到公网不到一天，遭到删库勒索 All your data is a backed up. You must pay 0.05 BTC to 1K4DdqZ7sWUkhtfRqAGi7VcRck3it ......
数据结构-详解优先队列的二叉堆（最大堆）原理、实现和应用-C和Python
一、堆的基础 1.1 优先队列和堆 优先队列（Priority Queue）：特殊的“队列”，取出元素顺序是按元素优先权（关键字）大小，而非元素进入队列的先后顺序。 若采用数组或链表直接实现优先队列，代价高。依靠数组，基于完全二叉树结构实现优先队列，即堆效率更高。一般来说堆代指二叉堆。 优先队列的完 ......
django框架之drf：4、序列化器常用字段及参数，序列化器高级用法之source，定制字段数据的两种方法，多表关联反序列化的保存，ModelSerializer的使用
Django框架之drf 一、序列化器常用字段及参数 # 序列化类 》字段类 CharField，除此之外还有哪些其他的 # 序列化类 》字段类，字段类上，传属性的 ，序列化类上，也可以写属性 models.CharField(max_length=32) 1、常用字段 | 字段 | 字段构造方式 ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-上
Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库，本篇了解其特征和适用场景，并与其他框架横向对比；最后部署一个最新版本25.0.0单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-下
了解Apache Druid的基础概念后，本篇进一步研究其核心架构和核心设计原理部分，了解相关外部依赖，对其数据摄取和查询有一定认识，然后通过搭建分布式集群进一步理解其架构组成，最后用一个示例从HDFS将数据摄取到Druid并演示两种查询方式 ......
Python读取大量Excel文件并跨文件批量计算平均值
本文介绍基于Python语言，实现对多个不同Excel文件进行数据读取与平均值计算的方法。 首先，让我们来看一下具体需求：目前有一个文件夹，其中存放了大量Excel文件；文件名称是每一位同学的名字，即文件名称没有任何规律。 而每一个文件都是一位同学对全班除了自己之外的其他同学的各项打分，我们以其中一 ......
文本数据预处理:可能需要关注这些点
要进行自然语言处理相关工作，文本数据预处理是个必不可少的过程。本文将对文本数据预处理相关的内容进行归纳整理，主要包括以下4个方面内容：文本数据获取、常规文本数据预处理、任务相关的文本数据预处理、文本预处理工具。 ......
图解B树及C#实现（3）数据的删除
前言 本文为系列文章 B树的定义及数据的插入 数据的读取及遍历 数据的删除 阅读本文前，建议先复习前两篇文章，以便更好的理解本文。 从删除的数据所在的节点可分为两种情况： 从叶子节点删除数据 从非叶子节点删除数据 无论从叶子节点还是非叶子节点删除数据时都需要保证B树的特性：非根节点每个节点的 key ......
（数据科学学习手札149）用matplotlib轻松绘制漂亮的表格
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，matplotlib作为数据可视化的强力工具，可以帮助我们自由创作各式各样的数据可视化作品，其中matplotlib.pyplot ......