526互联

思路k8s_ipv数据库 方法

数据库自动收缩造成的阻塞

背景 今天上午11点时客户打电话过来说医院的CIS系统一直有阻塞，导致系统卡慢严重，信息中心的电话都快被打爆了。赶紧要了远程登录到SQL专家云，看到了系统确实存在大量的阻塞。 点击紫色圆点进入活动会话原始数据，可以看到会话标识33是阻塞的源头，造成了大量的语句被阻塞，而且阻塞已经持续了很长的时间。 ......
数据库 数据

数据转换工具DBT介绍及实操

一、什么是DBT dbt （data build tool）是一款流行的开源数据转换工具，能够通过 SQL 实现数据转化，将命令转化为表或者视图，提升数据分析师的工作效率。dbt 主要功能在于转换数据库或数据仓库中的数据，在 E（Extract）、L（Load）、T（Transform） 的流程中， ......
工具 数据 DBT

漫谈Python魔术方法，见过的没见过的都在这里了

漫谈Python魔术方法，见过的没见过的都在这里了 就说一下，不深入 假的一览 提到魔术方法，学过python都应该知道一些。至少你得会__init__吧。 在我之前写的博文中有很多都涉及魔术方法。比如 浅谈Python中的if，可能有你不知道的，涉及__bool__和__len__ 浅谈Pytho ......
魔术 方法 Python

如何高效实现 MySQL 与 elasticsearch 的数据同步

MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w，后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......
elasticsearch 数据 MySQL

重磅！flink-table-store 将作为独立数据湖项目重新加入 Apache

数据湖是大数据近年来的网红项目，大家熟知的开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来野蛮生长，目前各自背后也都有商业公司支持，投入了大量的人力物力去做研发和宣传。然而今天我们要讲的是数据湖界的后起之秀 —— flink-tabl ......
重磅 flink-table-store 项目 数据 Apache

.NET应用系统的国际化-整体设计思路

近期产品要支持国际化多语言，主要涉及前端界面国际化以及后端提示信息、异常信息的国际化多语言支持。 目前我们的开发技术栈：前端VUE、后端.NET。面向前端界面和后端服务，分别涉及对应的国际化多语言支持方案。 一、前端界面国际化多语言支持 前端VUE界面的源码如下： 上述代码中，我们将需要多语言支持的 ......
应用系统 思路 整体 国际 系统

Mybatis数据库驱动

Mybatis数据库驱动 最近在学习mybatis的源码,有一个databaseIdProvider根据不同数据库执行不同sql的功能,我正好有一个mysql还有一个瀚高数据库,就去试了一下,使用如下 pom文件导入两个数据库的驱动 <dependency> <groupId>mysql</grou ......
Mybatis 数据库 数据

【数据结构与算法学习】线性表（顺序表、单链表、双向链表、循环链表）

实现语言：C++ 1. 线性表相关概念 线性表（Linear List） 是由n(n≥0)个具有相同特性（数据类型）的数据元素（结点）a1，a2，...，ai-1，ai，ai+1，...，an组成的有限序列。 其中，a1为线性起点（起始结点），an为线性终点（终端结点）。对于每一个数据元素ai，我们 ......
数据结构 线性 双向 算法 顺序

常用的"小脚本"-json数据处理

小背景： 我们公司项目中的小脚本是一些工具类，比如常用的是MapUtil工具类的一些方法 写公司的MapUtil工具类的方法要注意，方法名的命名，因为方法名，在公司的项目的某个业务流程有对方法名的进行String截取开头字符串然后进行判断 一、工具的使用推荐 1、获取到请求url（接口的形式-一般数 ......
数据处理 quot 脚本 常用 数据

【数据结构与算法学习】散列表（Hash Table，哈希表）

实现语言：C++ 1. 散列表 散列表，英文名称为Hash Table，又称哈希表、杂凑表等。 线性表和树表的查找是通过比较关键字的方法，查找的效率取决于关键字的比较次数。 而散列表是根据关键字直接访问的数据结构。散列表通过散列函数将关键字映射到存储地址，建立了关键字和存储地址之间的一种直接映射关系 ......
数据结构 算法 结构 数据 Table

【django-vue】封装logger 封装全局异常 封装response 数据库配置 用户表继承AbstractUser配置

上节回顾 这是一个django-Vue前后端分离的项目（视频网站） # 1 企业软件类型 -商城类 -公司内部： -业务 -RBAC权限管理 # 2 软件开发流程 -你的工作流程 # 3 pip换源 ：国内镜像 -命令行中 -pycharm中 # 4 虚拟环境： -每个项目有自己的环境 -虚拟环境： ......
全局 AbstractUser django-vue response 数据库

c/c++指针从浅入深介绍——基于数据内存分配的理解（上）

c/c++指针从浅入深介绍——基于数据内存分配的理解（上） 本文是对自我学习的一个总结以及回顾，文章内容主要是针对代码中的数据在内存中的存储情况以及存储中数值的变化来对指针进行介绍，是对指针以及数据在内存中数值是如何变化的，为什么需要使用到指针，为什么有时候使用指针很容易会报错，怎么去使用指针才能让 ......
指针 内存 数据

docker mysql8.0 启动，挂数据卷，定时备份，恢复~

安装mysql 从mysql社区版的官方源去拉取镜像：mysql/mysql-server - Docker Image | Docker Hub docker run --name=mysql1 -d mysql/mysql-server:latest 镜像起来之后，mysql就默默的初始化好了， ......
备份 数据 docker mysql8 mysql

创建型：工厂模式-工厂方法、抽象工厂

简单工厂问题 简单工厂中我们通过参数来返回不同的产品对象，如果管理的对象过多，这个工厂函数会比较庞大，且当我们需要增加一个新的产品时，需要修改这个工厂方法，违反开闭原则（对拓展开放，对修改关闭）。 为了解决简单工厂模式的问题，出现了工厂方法模式。 解决简单工厂思路 简单工厂类图关系类似如下： 如上图 ......
工厂 模式 方法

方法论系列：用四个金字塔来说明金字塔原理

本系列博客就以比较知名的《金字塔原理》作为开篇，本文会以四个“金字塔”的形式介绍金字塔原理的核心概念，从而剖析金字塔的结构、了解金字塔的构建方式、掌握其中的思考逻辑以及解决问题的关键思路。为什么一金字塔原理开篇呢？因为这个是我17年入职当前这家公司时所听到的第一个方法论，在公司时隔5年依然被奉为方法... ......
金字塔 金字 方法论 原理 方法

【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)

问题描述 使用Azure Kubernetes服务(AKS)，可以通过kubectl连接 pod 中查看日志，但是如何来查看节点的系统日志呢？如是否有ubuntu系统升级的记录？ 问题解答 是的，可以进入AKS的节点查看系统文件，如日志文件（/var/log) 或者由应用生产的其他日志。 具体的操作 ......
集群 AKS 方法 Azure 日志

hibernate跨数据库，columnDefinition不可移植性改造方案

#背景&问题描述 很多项目选择jpa/hibernate，更多是为了代码的可移植性，不限制数据库的选择。特别是toB的业务系统，不同的客户，要求用不同的数据库。特别近几年，大力倡导软件国产化，国产数据库也在崛起，很多政府、国企、电力、银行在数据库的选择上，纷纷转向国产数据库。也许mybatis+my ......
移植性 columnDefinition hibernate 数据库 方案

hibernate跨数据库，json字段处理方案，自定义扩展JsonStringType

一、背景 对于一些不经常更新的静态数据，我们喜欢使用json格式存储。推荐的做法是将json数据存储在key-value数据库，但这无疑增加了技术成本，所以我们通常还是存储在RDB数据库中。我们在使用hibernate，对json数据的存取期望是，存能自动转换为json格式存储，取能自动将json数 ......
字段 JsonStringType hibernate 数据库 方案

[数据分析与可视化] Python绘制数据地图1-GeoPandas入门指北

本文主要介绍GeoPandas的基本使用方法，以绘制简单的地图。GeoPandas是一个Python开源项目，旨在提供丰富而简单的地理空间数据处理接口。GeoPandas扩展了Pandas的数据类型，并使用matplotlib进行绘图。GeoPandas官方仓库地址为：GeoPandas。GeoPa ......
数据 数据分析 GeoPandas 地图 Python

Java多种方法实现等待所有子线程完成再继续执行

简介 在现实世界中，我们常常需要等待其它任务完成，才能继续执行下一步。Java实现等待子线程完成再继续执行的方式很多。我们来一一查看一下。 Thread的join方法 该方法是Thread提供的方法，调用join()时，会阻塞主线程，等该Thread完成才会继续执行，代码如下： private st ......
线程 多种 方法 Java

Redis缓存数据库-快速入门

Redis数据库快速入门 一、Redis数据库 介绍： Redis：非关系型缓存数据库 nosql：非关系型数据库 没有表，没有表与表之间的关系，更不存在外键 存储数据的形式为key：values的形式 c语言写的服务（监听端口），用来存储数据的，数据是存储在内存中，取值，放值速度非常快， 10w ......
缓存 数据库 数据 Redis

数据问题排查思路

1、背景 数据开发、数据仓库工作和业务系统开发工作很大的一个不同是，业务系统功能开发一旦完成并通过测试，一般就可以比较稳定地长期运行，因为它的输入是相对稳定的。但是数据仓库开发加工的数据模型、数据指标和分析结论，却很难保持稳定。因为输入数据每天都在源源不断产生，很难保证数据没有大的波动，而输入的不稳 ......
思路 数据 问题

sqlite3数据库Linux 系统移植和使用

sqlite3数据库是一个小型的数据库，当数据量不大，要求不是特别高的时候，是个不错的选择。 在Linux上移植和使用也非常的方便。 本示例是在硬件全志r528 .linux5.4 上验证的。 移植操作： 1、源码下载 去官网进行下载源码SQLite Download Page，根据自己的选取选择不 ......
sqlite3 数据库 数据 sqlite 系统

在Vue中体验LeanCloud无后台轻量级数据存储服务

作为一个前端开发小伙伴，你在做一款自己的App、小程序或H5网页时如果需要存储列表数据你是怎么做的，自学后端编程搞一套？部署服务还需要花服务器的钱，不能盈利的个人小项目肯定是不合适的，其实各种平台有提供一些 ServerLess 云服务，微信小程序的云开发、Uniapp的UniCloud及其早年在做... ......
轻量 轻量级 LeanCloud 数据 Vue

Kakao Brain 的开源 ViT、ALIGN 和 COYO 文字-图片数据集

最近 Kakao Brain 在 Hugging Face 发布了一个全新的开源图像文本数据集 COYO，包含 7 亿对图像和文本，并训练了两个新的视觉语言模型 ViT 和 ALIGN ViT 和 ALIGN。 这是 ALIGN 模型首次公开发布供开源使用，同时 ViT 和 ALIGN 模型的发布都 ......
文字 数据 图片 Kakao Brain

OracleDatabase——数据库表空间dmp导出与导入

由于公司的程序一直部署在客户现场内网，内网调试难度高，一般是有备份还原数据库的需求，这里简记备份（导出）数据库dmp文件与恢复（导入）的步骤。 一、导出dmp文件 exp与expdp命令异同 相同点：exp与expdp命令都是备份数据库的。 不同点： 1、expdp效率更高，exp是串行备份的，但e ......
OracleDatabase 数据库 数据 空间 dmp

Landsat数据在USGS中无法下载Surface Reflectance产品的解决方法

本文介绍在USGS官网下载Landsat遥感影像数据时，出现报错信息，无法下载地表反射率产品（Surface Reflectance）的解决办法~ ......
Reflectance Landsat Surface 方法 数据

批量下载Landsat遥感影像的方法

本文介绍在USGS网站批量下载Landsat系列遥感影像的方法。 首先，打开EarthExplorer的官网，首先完成注册与登录。 接下来，点击左侧“Search Criteria”，首先选择研究区域。研究区域的划定有多种方法，可以依据地理名称选定研究区域，也可以在右侧地图中手动划定研究区域，还可以 ......
遥感 影像 Landsat 方法

批量下载浏览器网页中全部链接的方法

本文介绍在Chrome浏览器中，通过迅雷自动批量选中网页中全部下载链接并进行下载的方法。 前期的文章批量下载Landsat遥感影像的方法中，我们详细介绍了USGS遥感影像批量下载的方法。在利用这一方法生成每一幅影像的下载链接后，我们直接结合可以批量获取网页内下载链接的下载软件进行下载。而在这一过程中 ......
浏览器 链接 网页 方法

批量下载MODIS遥感影像：基于LAADS DAAC的方法

本文介绍在LAADS DAAC的官方网站中，批量、快速下载MODIS遥感影像各类产品数据的免费方法。 之前一篇文章Earthdata批量下载MODIS遥感影像的方法介绍了MODIS等遥感数据在Earthdata中批量下载的方法，但是这一方法需要可以访问外国网站才可进行，因此相对不太实用；本文所介绍方 ......
遥感 影像 方法 MODIS LAADS
共31000篇  :766/1034页 首页上一页766下一页尾页