随笔 数据
高精度地形DEM数据下载（NASA数据 12.5米分辨率）
本文介绍从NASA阿拉斯加卫星设备处网站下载高精度DEM数据，下载的数据精度是12.5米分辨率。 目前国内大部分可以下载的dem数据都是30米或90米分辨率的，对于更高精度的数据要不就是需要付费下载，要不就是涉密数据无法获取。 下载地址：https://vertex.daac.asf.alaska. ......
防止JPA在set数据时自动更新数据库
## 方法一：JDK1.8 ```Java @PersistenceContext private EntityManager entityManager; //…… //JPA项目防止更新数据库，新建entityManager和session HibernateEntityManager hibe ......
小米手机换苹果手机怎么迁移便签数据？
小米等安卓手机和苹果iOS手机在系统、拍照、外观设计等方面各有千秋，有不少网友在更换手机时会从苹果手机换成安卓手机，当然也会有使用安卓手机的用户更换苹果手机使用。例如有的用户之前使用的是小米手机，但是选择新手机时购入了苹果手机，这时候就出现了一个问题，这就是换手机怎么迁移数据？ 如果新旧手机为不同的 ......
K3cloud数据字典更新库表及字段注释（一）
目标 由于K3CLOUD并未将表及字段注释填写在数据库表中，元数据采集过程中无法获取到注释信息，手工补充耗时耗力，打算通过爬取K3CLOUD数据字典的表及字段注释，然后批量填充到数据库。 一、获取K3CLOUD数据库表及字段数据 import PyClass.ConnMsSQL as msDB -- ......
历时1年，大型金融企业100%核心系统国产数据库迁移实践
历时1年，大型金融企业100%核心系统国产数据库迁移实践 2022-08-03 09:40 作者介绍 刘伟光，阿里巴巴集团副总裁、阿里云智能新金融&互联网事业部总经理。 一、前言 在国家层面提出加快建设科技强国，实现高水平科技自立自强的大背景之下，某超大型保险（集团）公司深入推进数字化转型，紧随先锋 ......
河北稳控科技多通道振弦传感器无线采集仪存储数据如此导出
河北稳控科技多通道振弦传感器无线采集仪存储数据如此导出 1 内部存储器设备工作过程中， 定时采集到的数据保存于设备内部文本文件内，可使用专用工具“ DST For VSxxx”通过 RS232 接口进行文件下载， 操作十分简单， 如下图示。 2 外部存储器-U 盘每次开机时，设备会自动检测是否有 U ......
使用Node.js调用Sqlite3模块写的大数据查询接口
使用Node.js调用Sqlite3模块写的大数据查询接口 const sqlite3 = require('sqlite3'); const http = require('http'); const url = require('url'); const SqliteDb = async (db ......
openGauss动态数据脱敏
openGauss动态数据脱敏 2021-03-24 晨光 249 openGauss核心技术 数据脱敏背景及介绍 数据脱敏背景 伴随着互联网大数据、云服务等新兴技术的飞速发展和普及，业务上云、数据集中存储、数据共享等数据应用方式已成为未来发展的趋势，云数据库和云计算服务具有易部署、低成本、高效率、 ......
Springboot 系列 (30) - Springboot+HBase 大数据存储（八）| Springboot Client/Server 程序通过 SASL/GSSAPI 访问 Kerberos 实现认证
Kerberos (Secure Network Authentication System，网络安全认证系统)，是一种网络认证协议，其设计目标是通过密钥系统为 Client/Server 提供强大的认证服务。该认证过程的实现不依赖于主机操作系统的认证，无需基于的信任，不要求网络上所有主机的物理安全 ......
7-在Servlet中连接数据库，怎么做？
Servlet是Java程序，所以在Servlet中完全可以编写JDBC代码连接数据库。 在一个webapp中去连接数据库，需要将驱动jar包放到WEB-INF/lib目录下。（com.mysql.cj.jdbc.Driver 这个类就在驱动jar包当中。） 代码如下： package com.no ......
Istio数据面新模式：Ambient Mesh技术解析
摘要：Ambient Mesh以一种更符合大规模落地要求的形态出现，克服了大多数Sidecar模式的固有缺陷，让用户无需再感知网格相关组件，真正将网格下沉为基础设施。 本文分享自华为云社区《华为云云原生团队：Istio数据面新模式 Ambient Mesh技术解析》，作者： 云容器大未来。 如果说在 ......
css随着浏览器窗口width度变化展示数据
这是需求 这是通过css写法实现的 @media screen and (min-width: 1900px){//>=1900的设备 .boxWidth{ width:25%; } } @media screen and (min-width: 1440px) and (max-width: 18 ......
修改Pandas数据表的列名
一、修改列名 1. 全部修改 直接以属性赋值的方式，一次将全部的列名进行重新定义 data.columns = ['city','name','post','pay','request','number'] df.columns的附加用法 df.columns = df.columns.str.st ......
查找某物质的热力学数据并转换为chemkin数据格式
在使用CHEMKIN时，其库中的热力学数据有时无法满足需求，需要自行查询物质的热力学数据并编写热力学文件，本文将以B2O3为例子描述查找到转换热力学数据的整个过程。 查找热力学数据 进入 NIST的热力学数据库网站 http://webbook.nist.gov/chemistry/form-ser ......
以最大速度将数据迁移至AWS S3存储
数据上云，已经成为企业数据管理发展的必然趋势。 对于企业而言，数据上云“常态化”的趋势，无疑是一个巨大的技术红利。而数据规模爆发式增长的今天，移动和访问云端数据却成为困扰企业的一大难题。不过幸运的是，在对象存储方面，大部分供应商都会为企业提供一系列现成的优质工具以及用于移动和访问数据的选项。但如果企 ......
主流的大数据分析框架有哪些？
1、HadoopHadoop 采用 Map Reduce 分布式计算框架，根据 GFS开发了 HDFS 分布式文件系统，根据 Big Table 开发了 HBase数据存储系统。Hadoop 的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo，Facebook，Amazon 以及国内的百 ......
kubectl top nodes无法获取到节点资源使用数据问题的处理（401 Unauthorized）
1、问题描述 项目同事反馈，通过kubectl top nodes命令，无法查看节点的CPU，内存的使用情况 但是，节点的状态是Ready的状态。 2、问题分析 登录到环境中，发现： 部分节点是可以获取到资源使用数据的： 说明：metrics server是没有问题的，api-server里面关于A ......
canal数据库数据备份时，不同步删除分区动作。
场景： 我们有一大批业务数据，为减少数据库压力和提高使用效率，需要 周期性的 清理历史 分区数据。但是这些数据并不是代表不要了。需要在另一个地方保存 传统数据库的主从复制功能，主要强调的是可以互为备份，强调高可用和可读写分离。但是在我们这个场景下并不适用。该场景下主要是用来数据保存和偶尔的”回访“。 ......
Pytorch数据操作
1.Pytorch中tensor的生成与访问 可以使用arange()创建一个张量：如，torch.arange(12)创建0开始的前12个整数： 除非特殊指定，否则新的张量将存放在内存中，并采用CPU计算。 可以使用reshape()来改变张量的形状： 注意，reshape()的发起者是一个张量， ......
pgadmin4中view/edit data列名称右侧有小锁图标导致不能修改数据。
pgadmin4中，view/edit data之后数据列名称旁边有个小锁的图片，导致不能修改数据。解决方法： 之前创建表时没有primary key，表加上primary key 即可，之后列名称之后的小图标变成了一支笔。例CREATE TABLE joe.tb1 (id int,c1 varch ......
数据导向下制造业的生产效率、交易效率提升办法
在智能制造和工业4.0成为趋势的今天，大部分制造业企业，均已在企业内部通过实施PLM系统（Product Lifecycle Management，产品生命周期管理系统），实现了对组织内产品研发过程和产品研发数据的管理，有效提升了内部各部门之间的研发协作效率。 但从近年来镭速传输跟制造企业的接触来看 ......
SQL注入攻击中检查数据库
在利用SQL 注入漏洞时，通常需要收集有关数据库本身的一些信息。这包括数据库软件的类型和版本，以及数据库中包含的表和列的内容。 一、查询数据库类型和版本 不同的数据库提供了不同的查询版本的方法。需要尝试不同的查询以找到一个有效的查询，从而确定数据库软件的类型和版本。 确定一些流行数据库类型的数据库版 ......
原生微信小程序使用watch监听数据变化的方法
考虑多个页面需要监听需求，可以把监听方法写在app.js中。后续全局调用 onLaunch: function () {}, // 设置监听器 watch: function (ctx, obj) { Object.keys(obj).forEach(key => { this.observer(c ......
chatglm-6b法律名词数据训练
整体流程于上一份微调文件基本一致，此份是详细备份及关键说明： 1.处理文件 处理好法律名词解释为json文件的格式，其中prompt column为 content，response column 为summary，如下： （如果KEY不是content-summary的形式，也可修改train.s ......
PostgreSQL数据块损坏一例
PostgreSQL数据块损坏一例 原创 七月流火 紧到说 2022-07-06 09:00 发表于四川 背景 数据库备份报错 ERROR: invalid memory alloc request size 18446744073709551613 这种问题可以首先想到使用zero_damaged ......
PostgresQL-丢失各种数据文件如何恢复
PostgresQL-丢失各种数据文件如何恢复 环境准备索引文件丢失fsm文件丢失mv文件丢失数据文件丢失pg_wal日志丢失pg_xact日志丢失pg_authid系统表数据丢失总结 环境准备 --创建测试表postgres=# create table test (n_bh int4 prima ......
PostgresQL-toast表数据损坏修复案例
PostgresQL-toast表数据损坏修复案例 pg_statistic-toast表块损坏修复 当访问该表的时候报错：missing chunk number 0 for toast value 59747165 in pg_toast_2619 首先我们要找到出问题的表：toast表的表名是 ......
python 创建虚拟环境以及数据迁移和.Django创建app
一.python创建虚拟环境 1.1首先要确认在那个位置创建虚拟环境 创建命令 virtualenv 虚拟环境名称 二.python数据迁移 1. 生成迁移文件 python manage.py makemigrations 2. 同步到数据库中 python manage.py migrate 三 ......