数据处理 字符串 脚本 字符

js 处理对象数组 + map 筛选出指定字段数据 + filter过滤重复数据/指定数据

const res = [{ id: 1, name: 'zhangsan', age: 16, gender: 0 }, { id: 1, name: 'zhangsan', age: 16, gender: 0 }, { id: 2, name: 'lisi', age: 20, gender: ......
数据 数组 字段 选出 对象

测试 doris stream load 数据流

root@tc-doris-fe-1:~# vim data.csv root@tc-doris-fe-1:~# curl --location-trusted -u root -T ./data.csv -H "label:label_example" -H "column_separator:, ......
数据流 数据 stream doris load

【反汇编3】基本数据类型的表现形式

参考书籍,《C++反汇编与逆向分析技术揭秘》。 这次主要研究各种数据在计算机里怎么存的,又要涉及补码、科学计数法等基础内容。这些课程计算机专业的都会学,但作为程序员未必有直观的体验,比如java或python程序员,他们不用自己管理内存,也就根本不会接触到这类内容,例如int i = -1; 对于他 ......
形式 类型 数据

Redis和Mysql如何保证数据一致性?

1、redis作用: 用于读数据库操作的缓存层,可以减少数据库的io,还能提升数据的io性能; 无法保证数据的acid 2、实现一致性方案: 1、先更新数据库,在更新缓存 2、先删除缓存再更新数据库 3、最终一致性方案: (1)基于roketMQ可靠通信 (2)通过canal组件采集mysql bi ......
一致性 数据 Redis Mysql

MongoDB中如何优雅地删除大量数据

删除大量数据,无论是在哪种数据库中,都是一个普遍性的需求。 除了正常的业务需求,我们也需要通过这种方式来为数据库“瘦身”。 为什么要“瘦身”呢? 表的数据量到达一定量级后,数据量越大,表的查询性能相对也会越差。 毕竟数据量越大,B+树的层级会越高,需要的IO也会越多。 表的数据有冷热之分,将很多无用 ......
MongoDB 数据

数据隐私治理所面临的四大挑战

近年来,隐私功能越来越受到重视,在重大立法改革和加强监管审查的支持下,各组织通过部署和扩展专门的隐私计划和职能来做出回应。隐私不再是信息安全、法律或道德的一个子集,而是一门专业学科,需要全球专门的隐私专业人士投入时间和精力。 ......
隐私 数据

Databend 源码阅读: Meta-service 数据结构

作者:张炎泼(XP) Databend Labs 成员,Databend 分布式研发负责人 https://github.com/drmingdrmer 引言 Databend 是一款开源的云原生数据库,采用 Rust 语言开发,专为云原生数据仓库的需求而设计。 面向云架构:Databend 是完全 ......

php+dm达梦数据库简单连接

1.安装php 准备php环境,下载phpstudy,自带php7.3.4nts,安装好以后如果系统环境变量没有配置要配置一下php的的系统环境变量 2.安装达梦数据库 win64+dmv8 在达梦数据库的文件夹中选择合适版本的扩展文件复制到 达梦的各版本扩展文件所在位置: php的扩展文件中 ph ......
数据库 数据 php dm

linux:date <=> timestamp:转换;10进制 <=> 16进制;读取二进制原始数据hexdump

进制转换: 使用linux的 coreutils 的 printf 函数 : printf "%d" 0xf23b9 printf "%x" 12345 date timestamp 转换: date +"%F_%T" -d @时间戳的长整型值 date +"%s" [now] tail\head ......
进制 二进制 timestamp hexdump 数据

mysql数据库字符集utf8mb4和排序规则utf8mb4_bin

一、存储字符集 utf8 和 utf8mb41、utf8utf8 是 Mysql 中的一种字符集,只支持最长三个字节的 UTF-8 字符,也就是 Unicode 中的基本多文本平面2、utf8mb4要在 Mysql 中保存 4 字节长度的 UTF-8 字符,需要使用 utf8mb4 字符集,但只有 ......
字符集 utf8 8mb utf 字符

你知道跨站脚本攻击吗?一篇带你了解什么叫做XSS 转载

XSS简介 (1)XSS简介 XSS作为OWASP TOP 10之一。 XSS中文叫做跨站脚本攻击(Cross-site scripting),本名应该缩写为CSS,但是由于CSS(Cascading Style Sheets,层叠样式脚本)重名,所以更名为XSS。XSS(跨站脚本攻击)主要基于ja ......
脚本 XSS

李强 分布式计算、云计算与大数据 作者:林伟伟 著出版社:机械工业出版社出版时间:2015年11月

前 言背景分布式计算从20世纪六七十年代发展到现在,一直是计算机科学技术的理论与应用的热点问题,特别是*近几年,随着互联网、移动互联网、社交网络应用的发展,急需分布式计算的新技术——云计算、大数据,以满足和实现新时代计算机的应用需求。云计算、大数据等新技术本质上是分布式计算的发展和延伸,现有的书籍一 ......
出版社 分布式 时间 工业 作者

批量修改maven版本号脚本

#! /bin/bash ls | grep -v sh | while read line do cd $line echo $line echo "开始" git checkout dev-20241001-01 find -name pom.xml|xargs -i sed -i 's/1.0 ......
脚本 版本 maven

java.io.FileInputStream#read(byte[]) 阻塞导致没办法继续执行的问题处理

在对设备节点进行操作的时候,发现读的时候进入阻塞状态(可能是设备节点异常),导致没办法继续执行后面的代码 查看了一下,文件的方式读,是没办法配置超时的自动报异常的 设计了一段代码,针对读阻塞做异常处理 public static String sendCmdToFile(String fromFil ......
FileInputStream 办法 问题 java byte

实时湖仓技术选型,企业如何借实时湖仓赢在“数据驱动”时代

在之前三期的实时湖仓系列文章中,我们从业务侧、产品侧、应用侧等几个方向,为大家介绍了实时湖仓方方面面的内容,包括实时湖仓对于企业数字化布局的重要性以及如何进行实时湖仓的落地实践等。 本文将从纯技术的角度,为大家解析实时湖仓的存储原理以及生态选型,为企业建设实时湖仓给出技术方面的参考意见。 实时湖仓能 ......
实时 时代 数据 技术 企业

sqlserver bak还原时提示文件过大,系统盘符空间较小(数据库日志清理)

USE [master] GO ALTER DATABASE QTHQ SET RECOVERY SIMPLE WITH NO_WAIT GO ALTER DATABASE QTHQ SET RECOVERY SIMPLE GO USE QTHQ GO DBCC SHRINKFILE (N'QTHQ ......
sqlserver 数据库 文件 数据 系统

油猴在iframe中才执行脚本

只需要把 // @match https://cn.bing.com/* 地址写在这里就好了 这里也可以配置 ......
脚本 iframe

LANDSAT LC08 C02 T1_L2 metadata dictory 元数据字典

LANDSAT/LC08/C02/T1_L2 metadata dictory 元数据字典2023年12月20日星期三 by xrkvar image=ee.ImageCollection('LANDSAT/LC08/C02/T1_L2').first();print("image",image); ......
字典 metadata LANDSAT dictory 数据

前端体验优化(4)——数据

数据包括性能指标、监控数据以及通过埋点得到的业务数据,而数据分析是体验优化的最后一环。 通过数据来量化当前的工作,从而证明工作是否高效,优化是否有效等问题。 量化的工作包括代码质量和业务数据。 一、代码质量 代码质量的数据来源于思维导图中的性能指标和监控体系,包括 SLA、慢响应、前端错误、白屏和首 ......
前端 数据

关于GreatSQL字符集的总结

关于GreatSQL字符集的总结 前言 最近的SQL优化工作中经常遇到因字符集或校验规则不一致导致索引使用不了的问题,修改表的字符集或校验规则相当于把表重构,表中数据量大时,处理起来费时费力,希望应用开发者在设计之初时注意到此问题,让后期接手运维的小伙伴少一些负担。GreatSQL的字符集和校验规则 ......
字符集 字符 GreatSQL

数据库

Oracle 序列 新建 create sequence '序列名称'; -- 创建序列名称 CREATE SEQUENCE 'sequence_name' -- 递增`n`的序列(默认:`1`) -- 如果`n`是正数就递增 -- 如果`n`是负数就递减 [INCREMENT BY 'n'] -- ......
数据库 数据

不容忽视,电力行业挑选跨网数据交换平台的五大准则!

为了加强数据传输控制和安全防护。电力企业一般都会采用防火墙、网闸等方式,将网络隔离为办公网、生产网等隔离网域。 生产网:主要负责电力生产过程中的控制和监控,包括发电、输电、配电等环节。生产网通常与电力生产设备直接相连,对实时性、可靠性和安全性要求非常高。生产网中的数据传输通常是单向的,以确保数据的安 ......
不容忽视 准则 电力 数据 行业

【scikit-learn基础】--『预处理』之 分类编码

数据的预处理是数据分析,或者机器学习训练前的重要步骤。通过数据预处理,可以 提高数据质量,处理数据的缺失值、异常值和重复值等问题,增加数据的准确性和可靠性 整合不同数据,数据的来源和结构可能多种多样,分析和训练前要整合成一个数据集 提高数据性能,对数据的值进行变换,规约等(比如无量纲化),让算法更加 ......
scikit-learn 编码 基础 scikit learn

三维模型数据的高程偏差的几何坐标纠正技术方法浅析

三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作,从而实现三维模型轻量化。轻量化压缩比大,模型轻量化效率高,自动化处理能力高;采用多种算法对三维模型进行几何精纠正处理,精度高,... ......
高程 偏差 坐标 几何 模型

SQL 建立数据库备份作业

declare @name nvarchar(50) declare @datetime char(14) declare @path nvarchar(255) declare @bakfile nvarchar(255) set @name='DBNAME' set @datetime=CONV ......
备份 数据库 数据 SQL

Spring-Bean后置处理器之CommonAnnotationBeanPostProcessor

本文帮你回答以下几个问题: @PostConstruct和@PreDestroy注解标注的方法是在什么阶段调用的? @Resource是如何完成属性自动注入的? @Resource相比@Autowired查找候选者的过程差异是什么? 类定义 类的作用 对@PostConstruct和@PreDest ......

Spring的Bean后置处理器之AutowiredAnnotationBeanPostProcessor

学习此文后,可以回答以下几个问题: @Autowired注解是如何完成属性自动注入的? 如何改变bean实例化构造函数的选择? @Autowired查找候选者过程是什么? @Qualifier与@Primary的作用? AutowiredAnnotationBeanPostProcessor介绍 类 ......

EF Core助力信创国产数据库

前言 国产数据库作为国产化替代的重要环节,在我国信创产业政策的指引下实现加速发展,我们国产数据库已进入百花齐放的快速发展期,相信接触到涉及到政府类等项目的童鞋尤为了解,与此同时我们有一部分也在使用各种开源的ORM都早已支持主流国产数据库,我们也有一部分在使用官方EF Core但没有对国产数据库的统一 ......
国产 数据库 数据 Core EF

Kernel Memory 入门系列:文档预处理

Kernel Memory 入门系列:文档预处理 Embedding为我们提供了问题理解和文档检索的方法,但是面对大量的文档,如果在用于提问的时候再进行文档的Embedding的话,那这个过程是非常耗时的,再加之我们的文档并不会频繁变化,所以我们可以对文档进行预处理,提升检索的效率。 文档的预处理大 ......
文档 Kernel Memory

数字信号处理源码

# solution.py import cv2 import numpy as np import matplotlib.pyplot as plt from scipy.signal import find_peaks import uniformNoise def calculate_red_ ......
信号处理 源码 信号 数字
共31000篇  :56/1034页 首页上一页56下一页尾页