大批量
Java实现大批量数据导入导出(100W以上)
一、文件导入 一、为什么一定要在代码实现 说说为什么不能通过SQL直接导入到数据库，而是通过程序实现： 首先，这个导入功能开始提供页面导入，只是开始业务方保证的一次只有<3W的数据导入； 其次，业务方导入的内容需要做校验，比如门店号，商品号等是否系统存在，需要程序校验； 最后，业务方导入的都是编码， ......
数据库导出大批量数据
import jsonimport calendarfrom bin import *start_time_yue = 1end_time=start_time_yue+1start_time_r=1day,daynum=calendar.monthrange(2023,start_time_yue ......
easypoi大批量导出excel数据
easypoi导出excel数据 最近，面临了一个新的需求，需要将表中的几百万数据导出到Excel文件中。为了满足这一需求，我决定采用EasyPoi库来实现该功能，并生成压缩包。 <dependency> <groupId>cn.afterturn</groupId> <artifactId>eas ......
记一次 OSS 大批量文件下载的实现 → bat脚本不好玩！
开心一刻 一天夜里，侄女跟我哥聊天 侄女一脸期待的看着我哥：爸爸，你说妈妈和奶奶谁漂亮啊？ 我哥不慌不忙的拿起一粒瓜子，轻声说道：为啥没有你啊？ 侄女笑容渐起，似乎得到了她想要的回答，仍继续问道：那妈妈和奶奶还有我，谁漂亮？ 我哥瞄了一眼侄女，又拿起一粒瓜子坚定的说到：奶奶！ 侄女笑脸瞬间一拉，死死 ......
mysql大批量删除数据，工作记录
在10万记录的三张关系表中删除相对应的数据，三张表为层级嵌套关系 优化查询 目的：减少mysql数据库慢查询导致的长时间占据锁的情况出现 优化方向：将慢sql改为多次执行的快sql，避免长时间占用mysql资源情况出现 多表查询会用到的几种方式 连表查询 SELECT event_data.id F ......
Postgresql结合Postgis实现大批量矢量点数据转换为线面数据
最近在测试客户给的csv数据时，发现了系统中处理的csv导入功能，存在内存处理不当的问题，问题背景是客户给的csv矢量点数据接近100万条，而我们工程师之前实现的时候，是将csv的数据全部查出到VO层，然后再分批插入，这种传统处理方式，在数据体量比较小的情况下，可以满足业务需求，但是当数据体量比较大 ......
mybatis查询大批量数据的几种方式
问题背景 公司里有很多需要跑批数据的场景，这些数据几十万到几千万不等，目前我们采用的是分页查询，但是分页查询有个深度分页问题，上百万的数据就会查询的很慢 常规解决方案 全量查询 分页查询 流式查询 游标查询 1. 全量查询 默认情况下，全量查询的话系统会把所有结果集存储在内存中，在数据库中准备了大概 ......
大批量订单来了由于入库慢，先缓存后通知入库
请求小，订单少时，订单可以先入db，再刷到缓存。其他地方需要查询订单时，直接到缓存中查询，但当大批量订单来临，每个订单入库就变得慢了。 很奇怪的是，订单少时，每个订单（100多个字段）入库时间在2ms左右，当订单大量来临，订单入库时间到了两位数的ms。从而导致订单排队，影响交易。 为了效率，我想可以 ......
国标GB28181安防视频平台EasyGBS大批量通道接入后，创建角色接口未响应的排查
安防视频监控国标对接EasyGBS视频能力丰富，部署灵活，既能作为业务平台使用，也能作为视频能力层被业务平台调用。平台可提供流媒体接入、处理、转发等服务，支持内网、公网的监控设备通过国标GB/T28181协议进行视频监控直播。 ......
盘点一个通过python大批量插入数据到数据库的方法
大家好，我是皮皮。 ### 一、前言 前几天在Python白银群【鶏啊鶏】问了一个`Python`数据存入数据库的问题，一起来看看吧。 各位大佬 我想请教下通过python大批量插入数据到数据库的方法 目前我在用的操作是以下这个模式： ``` sql='' for i in list: sql = ......
第一次写一篇与技术无关的博客-大批量数据处理
上周接到了一个这样的需求，有几千个xml文件需要解析入库，每个文件里边有三万条数据。解析出来后要按表字段，重新组成需要的数据，不能直接将解析后的json入库。 一开始我觉得这个事挺简单的，直接动手写了个demo，用随机选了两个xml文件测一下，没问题，成功入库。从解压xml到最后的数据入库，一个文件 ......
针对近日ChatGPT账号大批量封禁的理性分析
文 / 高扬 这两天不太平。 3月31号，不少技术圈的朋友和我闲聊说，ChatGPT账号不能注册了。 我不以为然，自己有一个号足够了，并不关注账号注册的事情。 后面又有不少朋友和我说ChatGPT账号全部不能注册了，因为老美要封锁我们。 越听越离谱，颇有狼来了之势。 作为一个程序员，这些传闻听多了， ......
cesium加载大批量点
如果想在Cesium中显示一个点，目前有这么几种方法：Primitive、Entity、czml文件、GeoJson文件等。 下面是显示64,800 个点的 PointPrimitiveobjects 的代码示例，并且让所有点同时都运动起来 var viewer = new Cesium.Viewe ......
MYSQL大批量数据插入的性能问题
批处理 rewriteBatchedStatements=true 项目原来使用的大批量数据插入方法是Mybatis的foreach拼接SQL的方法。 我发现不管改成Mybatis Batch提交或者原生JDBC Batch的方法都不起作用，实际上在插入的时候仍然是一条条记录的插，速度远不如原来My ......
针对近日ChatGPT账号大批量封禁的理性分析
文 / 高扬 这两天不太平。 3月31号，不少技术圈的朋友和我闲聊说，ChatGPT账号不能注册了。 我不以为然，自己有一个号足够了，并不关注账号注册的事情。 后面又有不少朋友和我说ChatGPT账号全部不能注册了，因为老美要封锁我们。 越听越离谱，颇有狼来了之势。 作为一个程序员，这些传闻听多了， ......