硬盘 数据linux
基于云原生的物联大数据智能服务
摘要:物联大数据已成为当前物联网系统建设的核心,基于物联大数据的涌现智能和应用以及借此对物理世界的反馈和控制是未来物联网系统的建设目标。 本文分享自华为云社区《基于云原生的物联大数据智能服务》,作者:赵卓峰 、丁维龙 、于淇 / 北方工业大学数据工程研究院、大规模流数据集成与分析北京市重点实验室。 ......
关于使用Serilog配置MySql数据库和appsettings的问题
1、项目使用dtonet 6 WebApi。 2、Nuget包: 用来访问mysql数据库 Pomelo.EntityFrameworkCore.MySql Serilog日志 Serilog 配合dotnet Serilog.AspNetCore 读取环境变量配置 Serilog.Settings ......
提高数据的安全性和可控性,数栈基于 Ranger 实现的 Spark SQL 权限控制实践之路
在企业级应用中,数据的安全性和隐私保护是极其重要的。Spark 作为数栈底层计算引擎之一,必须确保数据只能被授权的人员访问,避免出现数据泄露和滥用的情况。为了实现Spark SQL 对数据的精细化管理及提高数据的安全性和可控性,数栈基于 Apache Ranger 实现了 Spark SQL 对数据 ......
Linux 文件系统inode号
目录 一、inode inode只有一个,唯一的,一个文件必须占用一个inode号,但是至少占用一个数据块(数据不足一个数据块,也是占用一个数据块) inode记录:元信息,权限,字节数,所有组,所有组,时间 二、时间类型 atime:使用都会修改时间 mtime:修改数据内容,空文件修改内容并且保 ......
数据结构
数据结构 堆 1.插入一个元素:h[++size] = x; up(size); 2.求集合中当前最小值:h[1]; 3.删除最小值:h[1] = h[size]; size--; down(1); 4.删除任意一个元素:h[k] = h[size]; size--; up(k) or down(k ......
properties数据处理-类
1、介绍 (1)Properties类 通用的properties数据类型,即不预设sep1和sep2,也不预设是否大小写敏感,不预设是否对键和值去除首尾空白字符。 该类也是其余类的父类,定义属性和方法。部分属性和方法可能被继承重写,而其它则可以直接使用。 (2)Headers类 头部字段,sep1 ......
linux 定时任务只保留7天内的文件和目录
shell脚本 #!/bin/bash ######################### #删除7天之前的文件 # ######################### tmp_path=/tmp/test/* find ${tmp_path} -maxdepth 0 -type d -ctime ......
行政区划代码(使用国务院官方数据)形成树形结构数据表
2022年中华人民共和国行政区划代码 https://www.mca.gov.cn/article/sj/xzqh/1980/202304/20230400047341.shtml 下拉复制 粘贴到excel,导入数据库 表结构为: CREATE TABLE `citynew` ( `id` int ......
shell 中怎样去除数据中^M 字符
这个符号^M在Linux文本文件中能看出来,在Windows系统下看不出来,因为这是windows系统下的回车换行符号。 有2中方法可以去掉这个回车换行符号。 第一种是全文替换,第二中是先搜索字符串,然后用sed命令替换。 方法一**:** 用vim打开文件,输入以下命令 vim filename ......
linux grep 查找文件中关键字
grep [选项] {关键字} 文件名 选项: -i:忽略大小写 -n:输出关键字行号 -v:取反,不输出包含关键字内容 -r:递归查找,用于查找多个文件是否包含某个关键字 -E:使用正则表达式 查找 file.txt 文件中匹配关键字的-所有行 grep "关键字1" file.txt 查找 fi ......
.NET + SignalR 的反向代理 websocket/http 数据隧道
开源项目TuToDataTunnel: https://github.com/viordash/TuToDataTunnel,这个项目可以满足以下几个需求:使用一个公网 IP 地址和一个 tcp 端口,默认端口为 80 http。Websocket 或 http 隧道传输、性能或可访问性。理想情况下 ......
地铁数据挖掘
最近在看图神经网络的视频,里面使用了北京上海的地铁信息,这里整了一下郑州的地铁信息,直接上代码 # 引包 from bs4 import BeautifulSoup import requests url = 'http://www.zzmetro.com/lines/query/operating ......
oracle数据库重启命令
1、 https://www.cmy.cn/yun/article/y47072.html 1、oracle服务器重启命令是什么 Oracle服务器是面向企业级应用的关系数据库管理系统。在日常使用中,由于各种原因可能需要进行服务器重启。下面是Oracle服务器重启命令的介绍。 Oracle服务器重启 ......
三种方式从jdbc中获取数据库表字段信息
一、整体代码 1、method1:执行select语句获取,select * from dims where 1 = 2 2、method2:执行show create table获取,show create table dims 3、method3:从jdbc数据库连接获取 import lomb ......
druid使用时,发现数据库空闲太久自动关闭连接导致异常的问题
系统启动后,创建了连接池。那如果后续超过数据库配置的最大连接时间,就会单方面的断开连接。 而此时,druid并不知道,所以,在有请求访问进行数据操作的时候,使用到那个已断开的连接,就会报错。 解决方式是: 回收连接池中的链接 实例: timeBetweenEvictionRunsMillis: 10 ......
excel-数据的输入
数据的输入 填充方式 自动填充 方式:通过鼠标下拉方式进行数据的快速填充。 当序列在自定义填充序列时,可进行自动填充 数字、星期、月、季度均可自动填充 自动填充到指定序列 大小写字母录入问题 方式:大写:=CHAR(ROW(A65)) 小写:=CHAR(ROW(A97)) 解决:录入自定义填充序列 ......
linux 新增swap交换空间
关闭所有交换分区 命令如下: swapoff -a 通过swap分区文件增加swap空间 创建swap分区的文件 dd if=/dev/zero of=swapfile bs=1M count=1024 其中bs是每块的大小,count是块的数量;bscount,就是swap文件的大小:这里1M10 ......
Laravel5.8-添加、更新、删除数据库字段
在设计表的时候,往往不能一次性到位,很多的时候会根据需求重新补充缺少的字段 一、添加字段 1 php artisan make:migration add_testmore_add_siteid --table=testmore 2 php artisan make:migration #固定格式 ......
Linux系统中软件简单License的实现
Linux系统中软件简单License的实现 概述 目前,很多商用应用系统是运行在Linux系统之上的,为了维护开发者利益,有必要为软件添加license功能,防止软件被盗用和挪用。本文探讨如何在Linux软件中添加license功能,用到的算法是MD5算法。 关键字: MD5 一 目的和思路 设置 ......
C# 实现 Linux 视频会议(源码,支持信创环境,银河麒麟,统信UOS)
信创是现阶段国家发展的重要战略之一,面对这一趋势,所有的软件应用只有支持信创国产化的基础软硬件设施,在未来才不会被淘汰。那么,如何可以使用C#来实现支持信创环境的视频会议系统吗?答案是肯定的。 本文讲述如何使用C#来实现视频会议系统的Linux服务端与Linux客户端,并让其支持国产操作系统(如银河 ......
Linux-用户和权限管理
用户管理命令 | 命令 | 作用 | | | | | useradd | 创建用户 | | usermod | 修改用户信息 | | userdel | 删除用户及配置文件 | | passwd | 修改用户密码 | | chpasswd | 批量更新用户密码 | | change | 修改用户密码 ......
impala jdbc导出hive数据字典
####业务需求太多了,给完整导出为html文件,以及之前搞的 public static void main(String[] args) throws Exception { kerberos(); } public static void kerberos() { URL resource = ......
excel-数据类型
数据类型 3种类型 文本类型:汉字、空格、英文字母 以文本存储的数字不参与sum之类的函数运算。 类型:日期、时间、百分数、会计、科学计数、自定义等。 逻辑类型:True或者False 数据的变量:数据格式 当单元格未设置对其方式以及常规格式为常规时: 文本类型默认为左对齐 数值类型默认为右对齐 逻 ......
kettle 在线服务 carte 数据 资源库默认大写 数据库使用默认端口
连接已存在资源库 原来是表名小写 直接设置mysql 表名小写 vim /etc/mysql/my.cnf # 值为 0 表示不进行转换,值为 2 表示区分大小写,并且会将表名存储为区分大小写的形式 lower_case_table_names = 1 遇到资源端口3307 kettle 确是330 ......
数据库中表名大小写问题
一个sql整了半天排错,发现是表名大小写不一样导致的,所以记录下 查了下资料,mysql的表名是根据存储在操作系统上的文件的名称来判断的。 如果操作系统文件名不区分大小写, 例如windows,那么对应的表名就不区大小写。 如果操作系统文件名区分大小写, 例如linux,那么对应的表名就区分大小写。 ......
Linux下文本格式异常:with CRLF line terminators
linux下在处理文本时,有时会遇到列打印或者显示异常: 这是因为有些命令输出重写向到文本,会带入默认Windows文本格式,正常的linux文本中每行是以换行符(\n)结束,windows文本中每行是以回车+换行符(\r\n)结束,可以通过dos2unix工具进行转换: 通过file 文件名命令可 ......
通俗易懂!像使用SQL一样使用Pandas进行数据筛选等复杂操作
相对于学习Pandas各种数据筛选操作,SQL语法显得更加简洁清晰,若能够将SQL语法与Pandas中对应的函数的使用方法关联起来,对于我们应用Pandas进行数据筛选来讲无疑是一个福音。 本文通过Pandas实现SQL语法中条件过滤、排序、关联、合并、更新、删除等简单及复杂操作,使得我们对方法的理 ......
记一次数据误删操作通过闪回以及日志挖掘恢复
由于开发人员不小心删除业务表然后想通过我来恢复数据,我第一时间发现由于undo_retention参数只保留15分钟,通过闪回这种方法并不能恢复数据, 然后通过日志挖掘来截取该时间段数据,然后通过创建记录表来保存到记录表里方便查询。通过记录表里的数据来恢复数据。以下命令是一些操作的命令 日志挖掘通过 ......
一个程序设计业务中,如果需要这个表数据对应3种业务,但是唯独其中一种要多几个字段去展示,其它的两个业务不需要,那么是 1.在原表基础上新增字段,2.还是新增数据表,3.还是建立关联表只存储这几个字段?或许你有更合适的设计思路?
作为一个AI助手,我可以为您提供一些设计思路,但是最终的决定应该基于具体场景和业务需求。 一种解决方案是在原表基础上新增字段。这种方法简单快捷,可以避免复杂的表关联,但是会使得表结构变得臃肿,不利于维护和拓展。如果这个表在后续的业务中还需要扩展字段,就会更加困难。 另一种解决方案是新增数据表。这种方 ......