数据分析marketpalce kubesphere playground
以最大速度将数据迁移至AWS S3存储
数据上云，已经成为企业数据管理发展的必然趋势。 对于企业而言，数据上云“常态化”的趋势，无疑是一个巨大的技术红利。而数据规模爆发式增长的今天，移动和访问云端数据却成为困扰企业的一大难题。不过幸运的是，在对象存储方面，大部分供应商都会为企业提供一系列现成的优质工具以及用于移动和访问数据的选项。但如果企 ......
filebeat+kafka_logstash+es进行日志分析
filebeat+kafka_logstash+es进行日志分析 目录 一. 将安装包上传至目标服务器(即日志所在的服务器) 二. 解压安装 三. 配置filebeat 1. 配置采集日志到logstash,这种配置适用于日志量较小的场景,Filebeat > logstash,logstash直接 ......
主流的大数据分析框架有哪些？
1、HadoopHadoop 采用 Map Reduce 分布式计算框架，根据 GFS开发了 HDFS 分布式文件系统，根据 Big Table 开发了 HBase数据存储系统。Hadoop 的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo，Facebook，Amazon 以及国内的百 ......
kubectl top nodes无法获取到节点资源使用数据问题的处理（401 Unauthorized）
1、问题描述 项目同事反馈，通过kubectl top nodes命令，无法查看节点的CPU，内存的使用情况 但是，节点的状态是Ready的状态。 2、问题分析 登录到环境中，发现： 部分节点是可以获取到资源使用数据的： 说明：metrics server是没有问题的，api-server里面关于A ......
spring-transaction源码分析(1)概述和事务传播级别
spring-tx概述 spring-tx包使用注解驱动和AOP通知将事务开启、提交/回滚、以及复杂的传播机制封装了起来，开发者不再需要编写事务管理的代码，而是可以只关注自己的业务逻辑。 本文将简单介绍spring-tx使用步骤以及七种事务传播级别。 后续文章会阅读源码，深入分析spring-tx ......
canal数据库数据备份时，不同步删除分区动作。
场景： 我们有一大批业务数据，为减少数据库压力和提高使用效率，需要 周期性的 清理历史 分区数据。但是这些数据并不是代表不要了。需要在另一个地方保存 传统数据库的主从复制功能，主要强调的是可以互为备份，强调高可用和可读写分离。但是在我们这个场景下并不适用。该场景下主要是用来数据保存和偶尔的”回访“。 ......
Pytorch数据操作
1.Pytorch中tensor的生成与访问 可以使用arange()创建一个张量：如，torch.arange(12)创建0开始的前12个整数： 除非特殊指定，否则新的张量将存放在内存中，并采用CPU计算。 可以使用reshape()来改变张量的形状： 注意，reshape()的发起者是一个张量， ......
pgadmin4中view/edit data列名称右侧有小锁图标导致不能修改数据。
pgadmin4中，view/edit data之后数据列名称旁边有个小锁的图片，导致不能修改数据。解决方法： 之前创建表时没有primary key，表加上primary key 即可，之后列名称之后的小图标变成了一支笔。例CREATE TABLE joe.tb1 (id int,c1 varch ......
数据导向下制造业的生产效率、交易效率提升办法
在智能制造和工业4.0成为趋势的今天，大部分制造业企业，均已在企业内部通过实施PLM系统（Product Lifecycle Management，产品生命周期管理系统），实现了对组织内产品研发过程和产品研发数据的管理，有效提升了内部各部门之间的研发协作效率。 但从近年来镭速传输跟制造企业的接触来看 ......
KubeSphere部署流程
来源：http://www.shanhubei.com/archives/2599.html 单节点服务器-部署 步骤 1：准备 Linux 机器 若要以 All-in-One 模式进行安装，您仅需参考以下对机器硬件和操作系统的要求准备一台主机。 image.png 依赖项要求 KubeKey 可以 ......
SQL注入攻击中检查数据库
在利用SQL 注入漏洞时，通常需要收集有关数据库本身的一些信息。这包括数据库软件的类型和版本，以及数据库中包含的表和列的内容。 一、查询数据库类型和版本 不同的数据库提供了不同的查询版本的方法。需要尝试不同的查询以找到一个有效的查询，从而确定数据库软件的类型和版本。 确定一些流行数据库类型的数据库版 ......
原生微信小程序使用watch监听数据变化的方法
考虑多个页面需要监听需求，可以把监听方法写在app.js中。后续全局调用 onLaunch: function () {}, // 设置监听器 watch: function (ctx, obj) { Object.keys(obj).forEach(key => { this.observer(c ......
chatglm-6b法律名词数据训练
整体流程于上一份微调文件基本一致，此份是详细备份及关键说明： 1.处理文件 处理好法律名词解释为json文件的格式，其中prompt column为 content，response column 为summary，如下： （如果KEY不是content-summary的形式，也可修改train.s ......
PostgreSQL数据块损坏一例
PostgreSQL数据块损坏一例 原创 七月流火 紧到说 2022-07-06 09:00 发表于四川 背景 数据库备份报错 ERROR: invalid memory alloc request size 18446744073709551613 这种问题可以首先想到使用zero_damaged ......
PostgresQL-丢失各种数据文件如何恢复
PostgresQL-丢失各种数据文件如何恢复 环境准备索引文件丢失fsm文件丢失mv文件丢失数据文件丢失pg_wal日志丢失pg_xact日志丢失pg_authid系统表数据丢失总结 环境准备 --创建测试表postgres=# create table test (n_bh int4 prima ......
PostgresQL-toast表数据损坏修复案例
PostgresQL-toast表数据损坏修复案例 pg_statistic-toast表块损坏修复 当访问该表的时候报错：missing chunk number 0 for toast value 59747165 in pg_toast_2619 首先我们要找到出问题的表：toast表的表名是 ......
解密Elasticsearch：深入探究这款搜索和分析引擎
最近使用Elasticsearch实现画像系统，实现的dmp的数据中台能力。同时调研了竞品的架构选型。以及重温了redis原理等。特此做一次es的总结和回顾。网上没看到有人用Elasticsearch来完成画像的。我来做第一次尝试。 ......
python 创建虚拟环境以及数据迁移和.Django创建app
一.python创建虚拟环境 1.1首先要确认在那个位置创建虚拟环境 创建命令 virtualenv 虚拟环境名称 二.python数据迁移 1. 生成迁移文件 python manage.py makemigrations 2. 同步到数据库中 python manage.py migrate 三 ......
MYSQL数据库基础--MySQL子查询怎么操作？
前言 从今天开始本系列文章就带各位小伙伴学习数据库技术。数据库技术是Java开发中必不可少的一部分知识内容。也是非常重要的技术。本系列教程由浅入深, 全面讲解数据库体系。 非常适合零基础的小伙伴来学习。 全文大约 【1258】字，不说废话，只讲可以让你学到技术、明白原理的纯干货！本文带有丰富案例及配 ......
CyclicBarrier源码分析
1、CyclicBarrier的介绍 CyclicBarrier 被称为栅栏，允许一组线程相互等待，直到这一组线程都准备完毕，放行，程序方可继续执行。 就好像做摩天轮，游乐园规定，至少有9个游客乘坐摩天轮，管理员才可以启动摩天轮，游客数和管理员少一个条件，摩天轮都不会启动。 2、CyclicBarr ......
ConditionObject源码分析
ConditionObject是AbstractQueuedSynchronizer(AQS)实现的内部类，类图如下： 1、Condition接口 ConditionObject实现了Condition接口。先来看看Codition接口。 Codition中主要定义了挂起线程和唤醒线程的接口方法。C ......
PostgreSQL数据库支持中文拼音和笔画排序
PostgreSQL数据库支持中文拼音和笔画排序 1.前言 默认安装，PG是不支持中文拼音和笔画排序的。 1postgres=# select * from pg_settings where name ~ 'collate'; 2 name | setting | unit | category ......
spring batch简单使用(基于springboot)从数据库读取控制台打印
先上效果图 db脚本，直接数据库执行就好 /* SQLyog Ultimate v11.24 (32 bit) MySQL - 5.6.51 : Database - spring_batch ***************************************************** ......
生成随机数批量插入数据库方案
Java生成随机数值4位插入数据库，如何保证插入数据库不重复的方案 我们可以通过以下两种方式来保证Java生成的随机数不会重复插入到数据库中： 1. 使用Java代码检测数据库中是否已存在该数值 在生成随机数之前，我们可以查询数据库，确保生成的随机数不存在于数据库中。如果已经存在，则重新生成一个随机 ......
数据结构 玩转数据结构 13-6 颜色翻转和右旋转
0 课程地址 https://coding.imooc.com/lesson/207.html#mid=15184 1 重点关注 1.1 红黑树本节解析草图 1为颜色翻转（4节点（有4个子节点）拆分为3个2节点）； 2为右旋转，4节点右旋转，未进行拆分； 他们都是子过程 2 课程内容 3 Codin ......
团队作业6——复审与事后分析
|软件工程|https://edu.cnblogs.com/campus/gdgy/2023softwareengine| |--|--| |团队GitCode仓库|https://gitcode.net/weixin_56428538/nobugsonlyfeatures| |这个作业的目标|<进 ......
SQL SERVER 数据库性能优化与管理从零基础到走两步系列（一）——性能计数器
前辈大佬资料： 使用性能监视器找出SQLServer硬件瓶颈 在网络上苦苦流浪了近十几个小时，从百度到谷歌，从CSDN到博客园，从知乎到微信读书，看了无数本滥竽充数的书，读了无数篇夹生的技术文章，快下班的时候，终于找到一篇讲人话的好文章： 使用性能监视器找出SQLServer硬件瓶颈 - 墨天轮 ( ......
事后诸葛亮分析报告
|软件工程|https://edu.cnblogs.com/campus/gdgy/2023softwareengine| |--|--| |团队GitCode仓库|https://gitcode.net/weixin_56428538/nobugsonlyfeatures| |这个作业的目标|<事 ......
团队作业6——复审与事后分析
|这个作业属于哪个课程|2023软件工程-双学位（广东工业大学-计算机学院）| |-- |-- | |这个作业要求在哪里|团队作业6——复审与事后分析| |这个作业的目标|Alpha项目复审| Alpha阶段项目复审 事后诸葛亮分析 ......
团队作业6——复审与事后分析
##汇总 |作业|链接| |:--|:--| |Alpha阶段项目复审|https://www.cnblogs.com/genie766/p/17375781.html| |事后诸葛亮分析|https://www.cnblogs.com/genie766/p/17375784.html| ......