数据处理 字符串 脚本 字符
ETL之apache hop系列4-hop开发数据增量同步功能
ETL增量数据抽取CDC 概念：Change Data Capture，变化的数据捕获，也称：【增量数据抽取】（名词解释） CDC是一种实现数据的增量抽取解决方案，是实现【ETL整体解决方案】中的一项子方案/子问题。(对CDC的定位） 如何捕获变化的数据是增量抽取的关键，对捕获方法一般有2点要求： ......
多通道振弦数据记录仪在岩土工程隧洞中的完整解决方案
多通道振弦数据记录仪在岩土工程隧洞中的完整解决方案 隧洞工程是一种非常复杂的工程类型，需要高度的安全性和精确性。而在岩土工程中，振弦是一种非常常用的测试方法，用于测定岩土体的物理性质以及地震波传播特性等，以利于对隧洞工程的设计和施工进行分析和预测。 为了确保振弦测试数据的准确性和完整性，多通道振弦数 ......
springboot 数据库连接池配置
appilciation.properties配置信息： # 数据库连接池配置 #最小空闲连接，默认值10，小于0或大于maximum-pool-size，都会重置为maximum-pool-size spring.datasource.hikari.minimum-idle=15 #连接池中可同时 ......
电脑数据恢复
许你也有过数据被误删的经历。误删之后该如何操作才能将损失降到最低，用什么软件恢复比较有效？看完这篇文章，从此不怕数据丢失！ 这是一篇帮你紧急拯救数据的干货，强烈建议先收藏后看！ 相信很多人在日常生活中都遇到过以下情况： ❗硬盘内的数据不小心被删除了，回收站里也找不到 ❗硬盘被不小心格式化了，数据全部 ......
大数据计算
# 大数据计算 ## 2023.8.30 ### 笔记 - [判全0数组](#1.1) - [年份聚合存储 ] - [b➕ ] - [hash] - [避免垃圾回收 ] - [内存拷贝 ] - [避免对象创建 ] - [磁盘操作对象加锁 ] - [自己管理内存 mapreduce pregel] 判 ......
Redis系列21：缓存与数据库的数据一致性讨论
[Redis系列1：深刻理解高性能Redis的本质](https://www.cnblogs.com/wzh2010/p/15886787.html "Redis系列1：深刻理解高性能Redis的本质") [Redis系列2：数据持久化提高可用性](https://www.cnblogs.com/w ......
数据结构分类
C++作为一种强大的编程语言，为开发者提供了多种数据结构来处理和组织数据。以下是一些常见的C++数据结构： 1. 数组（Array）：一组相同类型的元素，通过索引访问。数组在内存中是连续存储的。 2. 链表（Linked List）：由节点组成的线性数据结构，节点包含数据和指向下一个节点的指针。 3 ......
高基数类别特征预处理：平均数编码
本文介绍了一种对高基数类别特征非常有效的编码方式：平均数编码。详细的讲述了该种编码方式的原理，在实际工程应用中有效避免过拟合的方法，并且提供了一个直接上手的代码版本。 ......
vim evil 处理大于号小于号中间的文本
// 删除和中间的文本 ca 参考链接: [[https://www.cnblogs.com/wkfvawl/p/9821411.html][键盘符号中英文对照表 - 王陸 - 博客园 '0.0']] [[https://github.com/tpope/vim-surround/issues/20 ......
Win10系统下插入耳机前面板无声后面板有声的处理（三）
接上，此为管理声音面板不同： 1.win+R ，调出命令框，输入“control”； 2.进入“硬件和声音”，选择“Realtek高清音频管理器” 3.点击声音控制面板上的齿轮，调出选项，选择选项， 4.勾选“AC97前面板”，既可以调出声音。 ......
Cortex-A55和Cortex-A73处理器的区别
Cortex-A55和Cortex-A73都是由ARM开发的处理器内核。Cortex-A55是一种低功耗、高效的内核，专为入门级智能手机和其他设备设计。 ......
【Java】- 非法字符：“\ufeff”解决办法
问题描述： 新引入项目的运行时提示"非法字符：“\ufeff” "，项目报错不能运行. 出现原因： 编码风格不一致 解决方案： 方案一：编码改为GBK格式，再转为UTF-8格式,重新启动项目问题解决； 操作步骤： （1）在IDEA右下角找到UTF-8字样的编码格式设计项，点击选择第一项GBK，然后C ......
Day11_指定字符编码，r模式，w模式，a模式
1.指定字符编码： 2.r模式： 3.r模式案例_1： 4.r模式案例_2： 5.w模式: 6.w模式案例: 7.w模式_强调1：在以w模式打开文件，没有关闭的情况下，连续写入，新写的内容总是跟在旧的之后: 8.w模式_强调2：如果重新以w模式打开文件，则会清空文件 9.a模式:追加写: 10.a模 ......
Python的基础数据类型
int, float, bool (5星)str (5星)list (5星)tuple (2星)set (1星)dict (5星)bytes (4星)运算符 (3星)文件操作 (4星) int: 整数，可以用来加减乘除, 大小比较a = 10 float: 小数, 浮点数 a = 10.5 prin ......
(转)C# 数据类型映射 (SQLite,MySQL,MSSQL,Oracle)
一、C# vs SQLite: C# SQLite 字段名 类型 库类型 GetFieldType(#) 转换 备注 F_BOOL bool BIT NOT NULL Boolean F_BOOL_NULL bool? BIT Boolean F_SBYTE sbyte INT8 NOT NULL ......
C# 数据类型保存到Oracle报错问题
项目中用的EF，数据库oracle，entity实体的字段类型是int，oracle的类型是number(3) 在EF保存时报错，" Unable to cast object of type 'System.Int16' to type 'System.Byte' " 网上有的文章说oracle ......
df.groupby().agg({...})语句，对数据进行分组。对分组后的数据进行如下聚合操作
data = list_tupel dict_data = {'城市': [item[0] for item in data], '工作路程': [item[1] for item in data], '路线': [item[2] for item in data], '回家路程': [item[3 ......
谈了千百遍的数据一致性
今天来说一个老生常谈的问题，来看一个实际案例：业务中往往都会通过缓存来提高查询效率，降低数据库的压力，尤其是在分布式高并发场景下，大量的请求直接访问Mysql很容易造成性能问题。 ......
Educational Codeforces Round 150 (Rated for Div. 2)E. Fill the Matrix（数据结构，数学）
题目链接：https://codeforces.com/contest/1841/problem/E 题意： 有一个nxn的正方形网格； 现在对每一列进行约束，对第 i 列 从上往下，将 a[ i ] 个格子涂成黑色； 给正整数m，你要在网格内填上 1 ~ m 个数，有以下限制： 1： 数字只能填在 ......
Codeforces Round 879 (Div. 2)E. MEX of LCM（数学，数据结构）
题目链接：https://codeforces.com/contest/1834/problem/E 题意： 有长度为n的序列，问最小的正整数 x ，对于任意连续的子区间，区间的数的最小公倍数 都不等于 x； 分析： 首先来分析一下答案的范围是多少； 我们可以知道，对于长度 为n 的序列，前 n + ......
dedebiz数据重置
TRUNCATE biz_addonarticle;TRUNCATE biz_addonimages;TRUNCATE biz_addoninfos;TRUNCATE biz_addonshop;TRUNCATE biz_addonsoft;TRUNCATE biz_addonspec;TRUNCA ......
AWS Glue批量同步OpenSearch数据入Redshift
1. 目标 使用Glue同步AWS OpenSearch数据到Redshift。 2. 加载测试数据 AOS创建索引并写入： curl -X POST -u 'xx:xxx' 'https://vpc-knn-4r272pshdggabtlhihabz7clba.ap-northeast-1.es. ......
查看navicat 数据库密码
一、 从系统注册表中查看（一）第一步打开注册表 windows键+r，输入 regedit （二）、在注册表中找到 \HKEY_CURRENT_USER\SOFTWARE\PremiumSoft\navicat\servers 二、 找到密码并破解1、从上面步骤中，打开注册表、并找到密码栏：Pwd ......
js 遍历json格式数据到table中
//将json字符串转换为json格式
2 var yslist = $.parseJSON(result);
3 //遍历table
4 $.each(yslist, function (index, item) {
5 var $tr = $('');
6 ... ......
python 筛选目标站点的数据 采用isin函数
isin 函数的使用 返回的结果是根据从isin函数传入的列表(list)，筛选出与列表中包含的数值或字符串相同的数据记录, 用法有点类似sql中的"in" 原始数据一堆站点，想筛选目标站点 #!usr/bin/env python # -*- coding:utf-8 -*- """ @autho ......
最后一天，CDMP数据治理认证高分训练营（9-10月）开放报名！
大家好，我是独孤风，一位曾经的港口煤炭工人，目前在某国企任大数据负责人，公众号大数据流动主理人。 首先告诉大家一个好消息，在大家共同的努力下，我们的CDMP国际数据治理认证训练营（7-8月）基本收官，全员成绩都已经公布，进入等证书的状态了，估计月底证书都能收到。 对于本次训练营我已经尽了自己最大的努 ......
Python实现批量s57数据转geojson
需要在gdal环境下运行 ```py from osgeo import ogr import subprocess import glob import os OGR_S57_OPTIONS = "SPLIT_MULTIPOINT=ON,ADD_SOUNDG_DEPTH=ON" def GetAl ......
《最新出炉》系列入门篇-Python+Playwright自动化测试-15-playwright处理浏览器多窗口切换
1.简介 浏览器多窗口的切换问题相比大家不会陌生吧，之前宏哥在java+selenium系列文章中就有介绍过。大致步骤就是：使用selenium进行浏览器的多个窗口切换测试，如果我们打开了多个网页，进行网页切换时，我们需要先获取各个页面的句柄，通过句柄来区分各个页面，然后使用switch_to.wi ......
探讨三维模型OBJ格式轻量化在数据存储的重要性
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
如何利用Excel导入网站表格数据
很多同学知道如何用Python爬取网站数据，那么不会Python的同学想爬取网站数据就没办法了吗，今天给大家推荐一个实用技能，用Excle（不是wps）爬取网站数据！ 1.首先我们找到包含表格数据的目标网站 http://114.xixik.com/hangyefenlei/compare/ 复制这 ......