管理工具 工具 日志amp
Parquet格式文件读写&合并小文件
Parquet格式文件读写 依赖工具parquet-tools： parquet-tools-1.6.0rc3-SNAPSHOT.jar 查看结构： java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d pane-0-00000-of-000 ......
MySQL - 分布式部署&主从复制&读写分离
Step1：基础环境准备 虚拟机环境：VMware workstation 服务器信息： 主机名 IP 操作系统 node01 192.168.1.131 CentOS Linux release 7.9.2009 (Core) node02 192.168.1.132 CentOS Linux r ......
营业日志 —— 矩阵加速
Q：矩阵加速（数列） 已知一个数列 \(a\)，它满足： \[a_x= \begin{cases} 1 & x \in\{1,2,3\}\\ a_{x-1}+a_{x-3} & x \geq 4 \end{cases} \]求 \(a\) 数列的第 \(n\) 项对 \(10^9+7\) 取余的值。 ......
关于大数据平台上任务管理的思考
本文于2019年7月16日完成，发布在个人博客网站上。 考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 作业，比如提交一个hive脚本到计算平台上运行，这个脚本宏观上称为一个作业。 任务，比如mapper，reducer等。 资源，比如CPU时间，内存，硬盘IO，网络 ......
CF331A1&CF331A2
不难发现一件事：对于在 \(i\) 之后能跟 \(i\) 匹配的 \(j\)，最好的办法显然是使得 \(j\) 最大。则用前缀和统计整个和，并且用前缀和维护负数和，在枚举 \(i\) 统计出最小答案时在后面计算出满足最大答案的条件并输出即可。 ac records #include<bits/std ......
AUTOSAR Builder—符合AUTOSAR（CPAP）的嵌入式系统设计工具
AUTOSAR Builder是达索旗下一款基于Eclipse并使用Artop的可扩展工具套件。Artop是由AUTOSAR成员和合作伙伴共同推动的开放的AUTOSAR工具环境。它使用户能够构建自己的工具并与其他工具供应商进行集成。AUTOSAR Builder在此基础上新增了多个工具套件，更加能够... ......
Vagrant 虚拟机管理
一 、 安装 Vagrant 2.4.0 下载地址：https://developer.hashicorp.com/vagrant/downloads VirtualBox 7.0.12 下载地址：https://www.virtualbox.org/wiki/Downloads 二 、 类比doc ......
.NET6中使用Log4net记录日志
1、引用NuGet包 2、创建logHelper类 using log4net.Repository; using log4net; using System; using System.Collections.Generic; using System.Diagnostics; using Sys ......
Python包管理之poetry基本使用
Python包管理之poetry基本使用 - 知乎 (zhihu.com) poetry是一个Python虚拟环境和依赖管理的工具，之前用pipenv，最近学习httprunner时，接触了poetry。poetry和pipenv类似，另外还提供了打包和发布的功能。 官方文档：https://pyt ......
屎山代码风格指南（避免被优化&&避免被接盘）
欢迎补充！！！ 序言 良好的代码结构：Bad 👎🏻 使用有意义的变量和函数名，遵循命名规范，使代码易于理解。 组织代码，使用适当的文件和文件夹结构，保持模块化。 避免全局变量的滥用，尽量使用局部作用域。 单一职责原则：Bad 👎🏻 每个函数或模块应该只负责一个特定的功能。这样的设计使得代码更 ......
超大日志文件分割工具和方法
来源：https://blog.csdn.net/sangser/article/details/123169275 1. 直接运行：MobaXterm1_CHS1.exe，如下画面： 2. 点击：Start local terminal： 切换到大文件所在目录，执行命令：split -l 6000 ......
实现简单日志管理类 + 单例模式分析优化
#pragma once #include <stdio.h> #include <iostream> #include <string> #include <vector> #include <list> #include <stdarg.h> #include <pthread.h> #incl ......
文件加密解密工具类
：需求：文件上传到系统后，只能通过系统预览或者下载，其他方式下载下来的文件，对方看不了， 实现思路：上传文件时，对文件进行加密处理，数据库存放文件名，把加密文件存到指定目录下 预览、下载文件时，通过指定目录+文件名，找到该文件，并进行解密处理，根据前端需求，对解密后的文件进行处理（下载到指定目录/直 ......
权限管理
1 561 1 menu 组织管理 org:* page/sys/org/orgview 532 1 ace-icon glyphicon glyphicon-user 1 2 568 1 menu 编码类型管理 codetype:*;codeinfo:* page/common/codetype/ ......
安装HUE并配置连接Hive&Flink&TIDB
创建用户 groupadd hadoop useradd -g hadoop hadoop 解压编译 wget https://cdn.gethue.com/downloads/hue-4.8.0.tgz PREFIX=/usr/share make install 集成Hive Conf 在/op ......
Aware依赖注入管理
1.Aware介绍 在Spring当中有一些内置的对象是未开放给我们使用的，例如Spring的上下文ApplicationContext、环境属性Environment，BeanFactory等等其他的一些内置对象，而在我们可以通过实现对应的Aware接口去拿到我们想要的一些属性，一般命名都是xxx ......
防护工具 雷池（SafeLine）
参考 https://waf-ce.chaitin.cn/ 正文 很久之前网站安全用360主机卫士或者安全狗，后面不知道为什么就在云平台上面裸奔了（仅仅xss过滤+sql pdo）。 官网 控制台 ......
User-defined Sources & Sinks
Dynamic tables are the core concept of Flink’s Table & SQL API for processing both bounded and unbounded data in a unified fashion. Because dynamic ta ......
DataX试用Mongo→Hdfs&Hdfs→Mongo
安装 下载安装包 wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 解压即可 配置 生成模板 python ./datax.py -r hdfsreader -w mongodbwriter python . ......
珠海盈致浅析MES生产管理系统的优点
MES系统是用于管理和控制制造过程的信息化系统.它具有许多优点： 1. 生产过程可视化:MES系统提供实时的生产过程监控和数据收集,使管理人员能够清晰地了解生产线上的各个环节,包括设备状态、生产进度、质量指标等.这使得管理人员能够作出准确的决策并快速响应变化.2. 生产资源优化:MES系统可以对生产 ......
防止商业秘密外泄：从企业内部管理抓起
商业秘密泄露是企业面临的重大风险之一，而有效的内部管理措施是防止商业秘密泄露的关键。华企盾DSC数据防泄密系统是一款专业的防泄密软件，其主要功能包括文件加密、U盘管控、屏幕监控、桌面行为管理、日志审计等，可以全面保护企业的商业秘密。 企业应该建立完善的内部管理制度，明确商业秘密的定义、范围和保护措施 ......
VSCode设置使用PySide6的uic工具
我这里升级成PySide6后，VSCode还是把ui文件用PySide2来生成_ui.py文件，修改方法如下： 找到 Qt for Python 扩展，进行设置： 点击设置按钮，进入“扩展设置” 在扩展设置中，修改下面Uic的两项 Uic:Option -g python 指定生成的代码语言是Pyt ......
使用RandomAccessFile监听日志文件，并实时一行行读取出来
public static void main(String[] args) { String filePath = "E:\\codes\\work\\product-parent\\logs\\alarm_log_info.log"; try { RandomAccessFile randomA ......
元数据管理系统
产品背景 市场分析 元数据管理是数据治理的基础，企业以元数据为基础进行数据治理，能帮助企业更好地对数据资产进行管理，理清数据之间的关系，实现精准高效的分析和决策。就国内而言，目前完备成熟的元数据产品较少，市场正处于上升期，是抢占市场份额的好时机。 用户痛点 随着大数据技术的发展和日渐成熟，如何进行海 ......
数据治理之元数据管理（转）
转自：https://blog.csdn.net/jiangzhenbo/article/details/85255240 这篇文章主要讲数据治理的基础和核心之一：元数据。从关于元数据的三个概念谈起，讲到元数据的分布范围和如何获取元数据，最后从几个常见的应用出发，谈谈元数据的一些实际应用场景。 一、 ......
元数据管理功能列表
1. 数据地图 数据地图展现是以拓扑图的形式对数据系统的各类数据实体、数据处理过程元数据进行分层次的图形化展现，并通过不同层次的图形展现粒度控制，满足开发、运维或者业务上不同应用场景的图形查询和辅助分析需要。 2. 元数据分析 血缘分析 血缘分析（也称血统分析）是指从某一实体出发，往回追溯其处理过程 ......
中电金信推出行业首个外汇客户风险管理系统，助力金融机构稳中提效
中电金信基于多年的行业积累洞察、和对金融机构的访谈调研发现，《办法》推出前，部分银行缺乏内控系统，只能手工判断客户是否符合便利化办理条件，并需要企业提供资料，同时缺乏交易风险审查，事后抽查存在不愿配合提供单据材料或需要反复沟通对接问题，业务的开展不具有便利性。而《办法》的推出对于推动商业银行外汇业务 ......
C#开源的一款友好的.NET SDK管理器
前言 今天推荐一款由C#开源的、友好的.NET SDK管理器：Dots。 工具介绍 Dots 是一款 .NET SDK 管理器，可让您轻松安装、卸载和切换 .NET SDK。它是一款跨平台工具，可在 Windows 和 macOS 上运行，即将支持 Linux。它由 C# 编写，使用 Avaloni ......
基于buildroot connman 网络管理工具的应用
快速了解connman的使用 可以参考： https://www.jianshu.com/p/03aed25b96f7 ConnMan - ArchWiki (archlinux.org) wifi配置文件的介绍：https://man.archlinux.org/man/connman-servi ......
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......