统计分析 代码 数据python
百万级数据excel导出功能如何实现？
前言 最近我做过一个MySQL百万级别数据的excel导出功能，已经正常上线使用了。 这个功能挺有意思的，里面需要注意的细节还真不少，现在拿出来跟大家分享一下，希望对你会有所帮助。 原始需求：用户在UI界面上点击全部导出按钮，就能导出所有商品数据。 咋一看，这个需求挺简单的。 但如果我告诉你，导出的 ......
Flutter 耗时监控 | 路由名为空原因分析
前言 最近群里遇到获取Route名为空的问题，当时没在意。。。 直到自己在监控页面启动耗时，需要确定当前页面是哪个从而方便标记它加载的耗时时，遇到同样 route.settings.name 为空问题，模拟场景如下： 在 main.dart 页面中点击 + 按钮跳转到 TestPage2 页面。 M ......
ArcGIS工具 - 统计工具数量
ESRI作为GIS行业中的龙头，代表产品ArcGIS也在不断地优化和升级，从10.0开始已发布了8个版本，其工具箱（ToolBox）是它一个特色，每个版本的工具箱数量是不相同的，为源地理来教您如何统计工具箱和工具个数和名称。 ......
11.硬核的volatile考点分析
大家好，我是王有志。关注王有志，一起聊技术，聊游戏，聊在外漂泊的生活。 今天我们学习并发编程中另一个重要的关键字volatile，虽然面试中它的占比低于synchronized，但依旧是不可忽略的内容。 关于volatile，我收集到了8个常见考点，围绕应用，特点和实现原理。 volatile有什么 ......
Java程序员用代码，计算最大公约数和最小公倍数
作者：小傅哥 博客：https://bugstack.cn 源码：https://github.com/fuzhengwei/java-algorithms 沉淀、分享、成长，让自己和他人都能有所收获！😄 一、前言 嘿，小傅哥怎么突然讲到最大公约数了？ 这么想你肯定是没有好好阅读前面章节中小傅哥讲 ......
从实战出发，聊聊缓存数据库一致性
在云服务中，缓存是极其重要的一点。所谓缓存，其实是一个高速数据存储层。当缓存存在后，日后再次请求该数据就会直接访问缓存，提升数据访问的速度。但是缓存存储的数据通常是短暂性的，这就需要经常对缓存进行更新。而我们操作缓存和数据库，分为读操作和写操作。 读操作的详细流程为，请求数据，如缓存中存在数据则直接 ......
物以类聚人以群分,通过 GensimLda文本聚类构建人工智能个性化推荐系统(Python3.10)
众所周知，个性化推荐系统能够根据用户的兴趣、偏好等信息向用户推荐相关内容，使得用户更感兴趣，从而提升用户体验，提高用户粘度，之前我们曾经使用协同过滤算法构建过个性化推荐系统，但基于显式反馈的算法就会有一定的局限性，本次我们使用无监督的Lda文本聚类方式来构建文本的个性化推荐系统。 推荐算法:协同过滤 ......
如何优雅地校验后端接口数据，不做前端背锅侠
背景 最近新接手了一批项目，还没来得及接新需求，一大堆bug就接踵而至，仔细一看，应该返回数组的字段返回了 null，或者没有返回，甚至返回了字符串 "null"？？？ 这我能忍？我立刻截图发到群里，用红框加大加粗重点标出。后端同学也积极响应，答应改正。 第二天，同样的事情又在其他的项目上演，我只是 ......
上古神兵,先天至宝,Win11平台安装和配置NeoVim0.8.2编辑器搭建Python3开发环境(2023最新攻略)
毫无疑问，我们生活在编辑器的最好年代，Vim是仅在Vi之下的神级编辑器，而脱胎于Vim的NeoVim则是这个时代最好的编辑器，没有之一。异步支持、更好的内存管理、更快的渲染速度、更多的编辑命令，是大神Thiago de Arruda对开发者们最好的技术馈赠。 之前一篇：Win10系统下安装编辑器之神 ......
闻其声而知雅意,基于Pytorch(mps/cpu/cuda)的人工智能AI本地语音识别库Whisper(Python3.10)
前文回溯，之前一篇：含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入)，利用AI技术将文本合成语音，现在反过来，利用开源库Whisper再将语音转回文字，所谓闻其声而知雅意。 Whisper 是一个开源的语音识别库，它是由Facebook AI ......
SpringBoot+Mybatis-plus整合easyExcel批量导入Excel到数据库+导出Excel
一、前言 今天小编带大家一起整合一下easyExcel，之所以用这个，是因为easyExcel性能比较好，不会报OOM！ 市面上常见的导入导出Excel分为三种： hutool easyExcel poi hutool和easyExcel都是对poi的封装，使用起来更加方便！ 如果想使用poi和hu ......
Python实现单项链表
单向链表 单向链表也叫单链表，是链表中最简单的一种形式，它的每个节点包含两个域，一个信息域（元素域）和一个链接域。这个链接指向链表中的下一个节点，而最后一个节点的链接域则指向一个空值。 表元素域elem用来存放具体的数据。 链接域next用来存放下一个节点的位置（python中的标识） 变量p指向链 ......
AI换脸实战教学（FaceSwap的使用）---------第二步Tools：处理输入数据集。
续上篇：https://www.cnblogs.com/techs-wenzhe/p/12936809.html 第一步中已经提取出了源视频的人脸照片以及对应人脸遮罩(landmark以及其他自选遮罩) 第二步：利用Tools处理提取号好的数据集，使其对模型的训练产生正向收益。 步骤1：剔除不需要的 ......
【RocketMQ】消息拉模式分析
RocketMQ有两种获取消息的方式，分别为推模式和拉模式。 推模式 推模式在【RocketMQ】消息的拉取一文中已经讲过，虽然从名字上看起来是消息到达Broker后推送给消费者，实际上还是需要消费向Broker发送拉取请求获取消息内容，推模式对应的消息消费实现类为DefaultMQPushCons ......
Redis缓存何以一枝独秀？(2) —— 聊聊Redis的数据过期、数据淘汰以及数据持久化的实现机制
Redis作为一个非关系型数据库，由于其超高的并发处理性能，及其对缓存场景所提供的系列能力构建，使其成为了集中缓存的绝佳选择。本篇我们聊聊Redis数据管理的能力，如数据过期、数据淘汰、数据持久化等。 ......
【Django drf】 序列化类常用字段类和字段参数 定制序列化字段的两种方式 关系表外键字段的反序列化保存 序列化类继承ModelSerializer 反序列化数据校验源码分析
序列化类常用字段类和字段参数 常用字段类 # BooleanField BooleanField() # NullBooleanField NullBooleanField() # CharField CharField(max_length=None, min_length=None, allow ......
【RocketMQ】负载均衡源码分析
RocketMQ在集群模式下，同一个消费组内，一个消息队列同一时间只能分配给组内的某一个消费者，也就是一条消息只能被组内的一个消费者进行消费，为了合理的对消息队列进行分配，于是就有了负载均衡。 接下来以集群模式下的消息推模式DefaultMQPushConsumerImpl为例，看一下负载均衡的过程 ......
RealWorld CTF 5th ShellFind 分析
前言 RealWorld CTF 5th 里的一道iot-pwn，根据真实设备固件改编而成，觉得题目贴近iot实战且很有意思，故在此记录一下复现过程。 题目分析 题目描述 Hello Hacker. You don't know me, but I know you. I want to play ......
SICP：复数的直角和极坐标的表示（Python实现）
数据抽象屏障是控制复杂性的强有力工具，然而这种类型的数据抽象还不够强大有力。从一个另一个角度看，对于一个数据对象可能存在多种有用的表示方式，且我们希望所设计的系统能够处理多种表示形式。比如，复数就可以表示为两种几乎等价的形式：直角坐标形式（实部和虚部）和极坐标形式（模和幅角）。有时采用直角坐标更方便... ......
使用Python库pyqt5制作TXT阅读器（一）-------UI设计
项目地址：https://github.com/pikeduo/TXTReader PyQt5中文手册：https://maicss.gitbook.io/pyqt-chinese-tutoral/pyqt5/ QtDesigner学习地址：https://youcans.blog.csdn.net ......
表格集算表高性能原理——怎样实现纯前端百万行数据秒级响应
集算表 （Table Sheet）是一个具备高性能渲染、数据绑定功能、公式计算能力的数据表格，通过全新构建的关系型数据管理器结合结构化公式，在高性能表格的基础上提供排序、筛选、样式、行列冻结、自动更新、单元格更新等功能。 什么是集算表（Table Sheet）? 集算表是一个具有网络状行为和电子表格 ......
Jasypt与Apollo一起使用造成Apollo热更新失效问题分析
背景 近日业务同学反映在Apollo界面更改配置后, 服务中对应变量的值却没有改变 相关配置key定义如下: @ApolloJsonValue("${apollo.config.map:{}}") private Map<String, List<String>> apolloConfigMap; ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
【Azure 存储服务】.NET7.0 示例代码之上传大文件到Azure Storage Blob (一)
问题描述 在使用Azure的存储服务时候，如果上传的文件大于了100MB， 1GB的情况下，如何上传呢？ 问题解答 使用Azure存储服务时，如果要上传文件到Azure Blob，有很多种工具可以实现。如：Azure 门户， Azure Storage Explorer, 命令行工具 az copy ......
企业应用架构研究系列二十四：SQL Server 数据库调优之XEvent 探查器
如果入职一些中小型公司，往往需要接手一些很“坑”的项目，到底多坑就不牢骚了，只讲一下，如果破解这些历史遗留的项目问题。项目代码可能短时间无法进行通读研究，我们就需要从底层数据库进行挖掘问题，有经验的老开发工程师，他会开启Sql Server Profiler 这个功能，进行语句的跟踪。这个是一个很好 ......
【深入浅出Spring原理及实战】「源码调试分析」结合DataSourceRegister深入分析ImportBeanDefinitionRegistrar的源码运作流程
每日一句 人的一生中不可能会一帆风顺，总会遇到一些挫折，当你对生活失去了信心的时候，仔细的看一看、好好回想一下你所遇到的最美好的事情吧，那会让你感觉到生活的美好。 注入案例代码 如何通过实现SpringBoot框架带有的ImportBeanDefinitionRegistrar注册器，注入我们想要注 ......
dotnet 代码优化 聊聊逻辑圈复杂度
本文属于 dotnet 代码优化系列博客。相信大家都对圈复杂度这个概念很是熟悉，本文来和大家聊聊逻辑的圈复杂度。代码优化里面，一个关注的重点在于代码的逻辑复杂度。一段代码的逻辑复杂度越高，那么维护起来的难度也就越大。衡量代码的逻辑复杂度的一个维度是通过逻辑圈复杂度进行衡量。本文将告诉大家如何判断代码... ......
【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南
前提介绍 本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能，从而可以方便我们在实际工作中，进行分析Redis的性能运行状况以及对应的优化Redis性能的佐证和指标因素。 在我们5.0左右的版本中Redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据服务。接下来主要分析Re ......
精华推荐 | 【JVM深层系列】「GC底层调优系列」一文带你彻底加强夯实底层原理之GC垃圾回收技术的分析指南（GC原理透析）
前提介绍 很多小伙伴，都跟我反馈，说自己总是对JVM这一块的学习和认识不够扎实也不够成熟，因为JVM的一些特性以及运作机制总是混淆以及不确定，导致面试和工作实战中出现了很多的纰漏和短板，解决广大小伙伴痛点，我写了本篇文章，希望可以帮助大家夯实基础和锻造JVM技术功底。 什么是垃圾收集（GC) 在JV ......