数据 持久性 数据备份 分布式
使用EasyExcel 导入数据，失败原因数据导出
引言 在日常开发过程中，Excel 导入是非常常见的场景，而且也有很多开源的项目是针对Excel的读写的，如Apache 的poi ，最近用的比较好的还是阿里的EasyExcel 开源工具。平时我们只是简单的读取文件并写入数据库持久化即可，但是前段时间，产品搞了个需求，需要将导入失败的数据及原因写入 ......
python numpy所有的数据类型 查看 np.sctypeDict
>>> np.sctypeDict {'?': <class 'numpy.bool_'>, 0: <class 'numpy.bool_'>, 'byte': <class 'numpy.int8'>, 'b': <class 'numpy.int8'>, 1: <class 'numpy.int ......
传统事务，分布式事务分析
这里先抛出一个问题：什么是事务？什么是分布式事务？由于隔离机制做的不恰当，在并发事务操作中我们经常会遇见的三个问题(1)脏读（Dirty Read）：脏读是指一个事务在读取了另一个事务未提交的数据时发生的情况。假设事务A更新一个数据，但是还没有提交，事务B读取了这个未提交的数据，然后事务A回滚了或者 ......
ABAP-MIGO保存修改数据增强
三代增强：MB_DOCUMENT_BADI 1 METHOD if_ex_mb_document_badi~mb_document_before_update. 2 3 FIELD-SYMBOLS:<fs_action> TYPE godynpro-action, 4 <fs_refdoc> TYP ......
大数据 | Hive使用示例
数据库中，通常会针对一个或者几个列建立索引，因此对于少量的特定条件的数据的访问，数据库可以有很高的效率，较低的延迟。Hive对数据的访问延迟较高，决定了Hive不适合在线数据查询。 ......
大数据 | Spark基本使用示例
欢迎参观我的博客，一个Vue 与 SpringBoot结合的产物：https://poetize.cn 博客：https://gitee.com/littledokey/poetize-vue2.git 聊天室：https://gitee.com/littledokey/poetize-im-vue ......
（十五）Unity性能优化-Stats（统计数据窗口）
通过Stats窗口可以初步查看游戏运行时，当前一帧的各项性能。 Stats是英文单词Statistics的缩写，意思是“统计数据”。 打开方法：Game窗口右上角，找到Stats，点击它。 Audio表示音频的数据 Level表示声音强度，单位是分贝，也就是dB。声音太大或太小都会影响玩家体验。 应 ......
分布式事务
分布式事务，就是指不是在单个服务或单个数据库架构下，产生的事务，例如呢跨数据源的分布式事务，还有跨服务的分布式事务，而分布式事务中又有很多个本地事务，在每个本地事务中药保证ACID的原则，而分布式事务呢我们就可以把所有的事务看作是一个业务，也就是全局事务，要保证全局事务的原子性，要么所有本地事务都成 ......
Python脚本连接Oracle数据库并验证成功
# yaml文件存储数据->root\Data\oracle_admin_f_shozaiko.yaml # Test Data for Oracle DB: ADMIN->F_SHOZAIKO- name: connect to Oracle request: uname: admin upwd: ......
SpringBoot | Redis序列化与分布式锁
Redisson提供了一个监控锁的看门狗，它的作用是在Redisson实例被关闭前，不断的延长锁的有效期，也就是说，如果一个拿到锁的线程一直没有完成逻辑，那么看门狗会帮助线程不断的延长锁超时时间，锁不会因为超时而被释放。 ......
选择“大数据”的初心
其实高一刚开学没多久的时候，就买了一本很厚的C语言编程书，还下载了猿编程这一软件学习编程，后来填志愿那会，第一次看到数据科学与大数据这个专业，让我想起了当初那个想学编程的自己。而这个专业给我的第一印象联想到的便是海量数据，它渗透于每个人的生活中，由此对这些数据是如何处理的产生了些兴趣。关于这个专业最 ......
数据结构 玩转数据结构 14-4 链地址法
0 课程地址 https://coding.imooc.com/lesson/207.html#mid=15347 1 重点关注 1.1 本节内容 解决哈希冲突的常用方法：链地址法，求绝对值的另一种表述方式 1.2 链地址法常用方案 链表法 红黑树法： java8之前：使用链表法解决哈希冲突 jav ......
ceph（八）实现kubernetes数据持久化
一、基于ceph块存储的数据持久化 让k8s中的pod可以访问ceph中rbd提供的镜像作为存储设备，需要在ceph创建rbd，并且让k8s node节点能够通过ceph的认证。 k8s在使用ceph作为动态存储卷的时候，需要kube-controller-manager组件能够访问ceph，因此需 ......
数据结构 玩转数据结构 14-2 哈希函数的设计
0 课程地址 https://coding.imooc.com/lesson/207.html#mid=15345 1 重点关注 1.1 本节内容 使用合理的哈希函数的理论支持，解析不同数据类型键如何转为整型索引（这是其中最通用的一种方式） 1.2 哈希函数的设计原则 一致性：如果a==b,则has ......
数据采集与融合技术第一次作业
作业① 用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的数据，屏幕打印爬取的大学排名信息（前十位）。 输出要求： 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 综合 ......
2023数据采集与融合技术实践作业一
作业① 要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的数据，屏幕打印爬取的大学排名信息。 输出信息 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 综合 85 ......
Vue双向数据绑定原理
Vue响应式的原理(数据改变界面就会改变)是什么? 时时监听数据变化, 一旦数据发生变化就更新界面, 这就是Vue响应式的原理。 Vue是如何实现时时监听数据变化的 通过原生JS的defineProperty方法, 通过get和set方法来监听数据的变化。 defineProperty方法的特点 可 ......
数据采集与融合技术作业1
作业①: 要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020）的数据，屏幕打印爬取的大学排名信息。 输出信息： 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 综合 8 ......
如何设计实现一个好用的分布式监控体系？
dg-publish: true title: 可观测性：如何设计实现一个好用的分布式监控体系？ createTime: 2023-09-25 23:35 tags: - kafka 可观测性：如何设计实现一个好用的分布式监控体系？ 怎样实现好用的指标和日志模块，以便我们快速定位业务问题出在哪里 指 ......
生信教程：使用全基因组SNP数据进行ABBA-BABA分析
动动发财的小手，点个赞吧！ 简介 ABBA BABA 统计（也称为“D 统计”）为偏离严格的分叉进化历史提供了简单而有力的测试。因此，它们经常用于使用基因组规模的 SNP 数据（例如来自全基因组测序或 RADseq）来测试基因渗入。 在本次实践中，我们将结合使用可用软件和一些用 R 从头编写的代码来 ......
数据库连接池长时间不用，乍一用还用不了，结果是防火墙的锅
前言 我们的程序，在实际的网络部署时，一般比较复杂，会经过很多的网络设备，防火墙就是其中的一种。做开发的同事，一般对这块了解不多，也很可能被防火墙坑到。比如，应用一般需要访问数据库，为了避免频繁建立连接，一般是会提前建立一个连接池，每次来一个请求，就从连接池取一个连接来用，用完再归还到池子里。 连接 ......
在excel表格插入标黄的这列数据 实现合并单元格，并统计单元格个数？
大家好，我是皮皮。 一、前言 前几天在Python最强王者交流群【哎呦喂 是豆子～】问了一个Python自动化办公的问题，一起来看看吧。 下图是他的原始数据和他想得到的目标数据，如下所示： 需要在标黄的两行里边进行相关操作。 二、实现过程 这里【瑜亮老师】给了一个思路，groupby系统.漏洞数.s ......
2023数据采集与融合技术实践作业一
第一次作业 作业①: 要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的数据，屏幕打印爬取的大学排名信息。 输出信息： 排名 学校名称 省市 学校类型 总分 1 清华大学 ......
Hive中创建ETL表进行数据清洗
问题描述 今天看到这么一个问题： 看到清洗这两个字，就觉得可高级可高级了！！！ 所以，就把这个问题的解决方法也看了看，学了学； 问题的具体解决方法 看到了对ETL的分析（抽取-->过滤-->加载）： 首先创建一个在原表的结构基础上，新增我们所需数据的字段的表； 然后执行insert+select操作 ......
2023数据采集与融合技术实践作业1
作业① o 要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的数据，屏幕打印爬取的大学排名信息。 o 输出信息： 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 ......
如何实现简单的分布式链路功能？
为什么需要链路跟踪 为什么需要链路跟踪？微服务环境下，服务之间相互调用，可能存在 A->B->C->D->C 这种复杂的服务交互，那么需要一种方法可以将一次请求链路完整记录下来，否则排查问题不好下手、请求日志也无法完整串起来。 如何实现链路跟踪 假设我们从用户请求接口开始，每次请求需要有唯一的请求 ......
手写数字数据集AutoEncoder降噪算法
对训练数据加噪声的方法，在训练里面对 x 做如下处理，添加椒盐噪声： bs, ch, h, w = x.shape x = x.reshape(bs, ch, h*w) + 0.2*np.random.normal(size=28*28) x = x.to(torch.float32) 数据集里面的 ......
Springboot简单功能示例-6 使用加密数据源并配置日志
博主尝试通过gitee的发行版，使用Springboot为基础框架，逐步整合JWT、JPA、VUE等常用功能项目。【本节完成】配置logback；配置了数据源，对数据库账号密码进行加密；增加了系统启动配置 ......