容器 数据库 数据docker
提高数据的安全性和可控性，数栈基于 Ranger 实现的 Spark SQL 权限控制实践之路
在企业级应用中，数据的安全性和隐私保护是极其重要的。Spark 作为数栈底层计算引擎之一，必须确保数据只能被授权的人员访问，避免出现数据泄露和滥用的情况。为了实现Spark SQL 对数据的精细化管理及提高数据的安全性和可控性，数栈基于 Apache Ranger 实现了 Spark SQL 对数据 ......
数据结构
数据结构 堆 1.插入一个元素：h[++size] = x； up(size)； 2.求集合中当前最小值：h[1]； 3.删除最小值：h[1] = h[size]; size--; down(1); 4.删除任意一个元素：h[k] = h[size]; size--; up(k) or down(k ......
properties数据处理-类
1、介绍 (1)Properties类 通用的properties数据类型，即不预设sep1和sep2，也不预设是否大小写敏感，不预设是否对键和值去除首尾空白字符。 该类也是其余类的父类，定义属性和方法。部分属性和方法可能被继承重写，而其它则可以直接使用。 (2)Headers类 头部字段，sep1 ......
行政区划代码（使用国务院官方数据）形成树形结构数据表
2022年中华人民共和国行政区划代码 https://www.mca.gov.cn/article/sj/xzqh/1980/202304/20230400047341.shtml 下拉复制 粘贴到excel，导入数据库 表结构为： CREATE TABLE `citynew` ( `id` int ......
shell 中怎样去除数据中^M 字符
这个符号^M在Linux文本文件中能看出来，在Windows系统下看不出来，因为这是windows系统下的回车换行符号。 有2中方法可以去掉这个回车换行符号。 第一种是全文替换，第二中是先搜索字符串，然后用sed命令替换。 方法一**：** 用vim打开文件，输入以下命令 vim filename ......
.NET + SignalR 的反向代理 websocket/http 数据隧道
开源项目TuToDataTunnel： https://github.com/viordash/TuToDataTunnel，这个项目可以满足以下几个需求：使用一个公网 IP 地址和一个 tcp 端口，默认端口为 80 http。Websocket 或 http 隧道传输、性能或可访问性。理想情况下 ......
地铁数据挖掘
最近在看图神经网络的视频，里面使用了北京上海的地铁信息，这里整了一下郑州的地铁信息，直接上代码 # 引包 from bs4 import BeautifulSoup import requests url = 'http://www.zzmetro.com/lines/query/operating ......
oracle数据库重启命令
1、 https://www.cmy.cn/yun/article/y47072.html 1、oracle服务器重启命令是什么 Oracle服务器是面向企业级应用的关系数据库管理系统。在日常使用中，由于各种原因可能需要进行服务器重启。下面是Oracle服务器重启命令的介绍。 Oracle服务器重启 ......
三种方式从jdbc中获取数据库表字段信息
一、整体代码 1、method1：执行select语句获取，select * from dims where 1 = 2 2、method2：执行show create table获取，show create table dims 3、method3：从jdbc数据库连接获取 import lomb ......
记录内网Docker启动Stable-Diffusion遇到的几个坑
摘要：最近看到K8s启动stable-diffusion的文章，想着在自己开发环境复现一下。没想到在内网环境还遇到这么多问题，记录一下。 本文分享自华为云社区《内网Docker启动Stable-Diffusion（AI作画）》，作者：tsjsdbd 。 最近看到K8s启动stable-diffusi ......
docker内使用playwright
一、镜像使用 docker pull python:3.9-buster 二、安装playwright 镜像内执行如下指令： 1.安装playwright pip3 install playwright==1.31.1 -i https://pypi.tuna.tsinghua.edu.cn/sim ......
druid使用时，发现数据库空闲太久自动关闭连接导致异常的问题
系统启动后，创建了连接池。那如果后续超过数据库配置的最大连接时间，就会单方面的断开连接。 而此时，druid并不知道，所以，在有请求访问进行数据操作的时候，使用到那个已断开的连接，就会报错。 解决方式是: 回收连接池中的链接 实例： timeBetweenEvictionRunsMillis: 10 ......
excel-数据的输入
数据的输入 填充方式 自动填充 方式：通过鼠标下拉方式进行数据的快速填充。 当序列在自定义填充序列时，可进行自动填充 数字、星期、月、季度均可自动填充 自动填充到指定序列 大小写字母录入问题 方式：大写：=CHAR(ROW(A65)) 小写：=CHAR(ROW(A97)) 解决：录入自定义填充序列 ......
Laravel5.8-添加、更新、删除数据库字段
在设计表的时候，往往不能一次性到位，很多的时候会根据需求重新补充缺少的字段 一、添加字段 1 php artisan make:migration add_testmore_add_siteid --table=testmore 2 php artisan make:migration #固定格式 ......
[转]如何在debian11上安装docker
原文地址:如何在debian11上安装docker - 知乎 虽然kubernetes早在2018年5月就宣布用户可以不用安装docker，直接使用containerd作为CRI运行时，docker依然在生产环境中有很高的装机量，并且在单机开发环境中使用docker相对containerd更为方便。 ......
impala jdbc导出hive数据字典
####业务需求太多了，给完整导出为html文件，以及之前搞的 public static void main(String[] args) throws Exception { kerberos(); } public static void kerberos() { URL resource = ......
excel-数据类型
数据类型 3种类型 文本类型：汉字、空格、英文字母 以文本存储的数字不参与sum之类的函数运算。 类型：日期、时间、百分数、会计、科学计数、自定义等。 逻辑类型：True或者False 数据的变量：数据格式 当单元格未设置对其方式以及常规格式为常规时： 文本类型默认为左对齐 数值类型默认为右对齐 逻 ......
kettle 在线服务 carte 数据 资源库默认大写 数据库使用默认端口
连接已存在资源库 原来是表名小写 直接设置mysql 表名小写 vim /etc/mysql/my.cnf # 值为 0 表示不进行转换，值为 2 表示区分大小写，并且会将表名存储为区分大小写的形式 lower_case_table_names = 1 遇到资源端口3307 kettle 确是330 ......
ubuntu安装docker官方指导方法-附官方指导地址
先上官方指导地址:https://docs.docker.com/engine/install/ubuntu/ 再上官方指导: Install Docker Engine on Ubuntu To get started with Docker Engine on Ubuntu, make sure ......
数据库中表名大小写问题
一个sql整了半天排错，发现是表名大小写不一样导致的，所以记录下 查了下资料，mysql的表名是根据存储在操作系统上的文件的名称来判断的。 如果操作系统文件名不区分大小写， 例如windows,那么对应的表名就不区大小写。 如果操作系统文件名区分大小写， 例如linux,那么对应的表名就区分大小写。 ......
通俗易懂！像使用SQL一样使用Pandas进行数据筛选等复杂操作
相对于学习Pandas各种数据筛选操作，SQL语法显得更加简洁清晰，若能够将SQL语法与Pandas中对应的函数的使用方法关联起来，对于我们应用Pandas进行数据筛选来讲无疑是一个福音。 本文通过Pandas实现SQL语法中条件过滤、排序、关联、合并、更新、删除等简单及复杂操作，使得我们对方法的理 ......
低版本docker在dockerfile构建时的NO_PUBKEY问题
问题 我在ubuntu22.04的容器里面运行apt update的时候出现了以下报错 [root@VM-16-9-centos docker-kubuntu]# docker run --rm -it ubuntu:22.04 bash root@8ac245b487e6:/# apt updat ......
记一次数据误删操作通过闪回以及日志挖掘恢复
由于开发人员不小心删除业务表然后想通过我来恢复数据，我第一时间发现由于undo_retention参数只保留15分钟，通过闪回这种方法并不能恢复数据， 然后通过日志挖掘来截取该时间段数据，然后通过创建记录表来保存到记录表里方便查询。通过记录表里的数据来恢复数据。以下命令是一些操作的命令 日志挖掘通过 ......
一个程序设计业务中，如果需要这个表数据对应3种业务，但是唯独其中一种要多几个字段去展示，其它的两个业务不需要，那么是 1.在原表基础上新增字段，2.还是新增数据表，3.还是建立关联表只存储这几个字段？或许你有更合适的设计思路？
作为一个AI助手，我可以为您提供一些设计思路，但是最终的决定应该基于具体场景和业务需求。 一种解决方案是在原表基础上新增字段。这种方法简单快捷，可以避免复杂的表关联，但是会使得表结构变得臃肿，不利于维护和拓展。如果这个表在后续的业务中还需要扩展字段，就会更加困难。 另一种解决方案是新增数据表。这种方 ......
数据分析缺失值处理(Missing Values)——删除法、填充法、插值法
缺失值指数据集中某些变量的值有缺少的情况，缺失值也被称为NA（not available）值。在pandas里使用浮点值NaN（Not a Number）表示浮点数和非浮点数中的缺失值，用NaT表示时间序列中的缺失值，此外python内置的None值也会被当作是缺失值。需要注意的是，有些缺失值也会以 ......
Solon 用 throw 抛出数据
Java 新的生态型应用开发框架：更快、更小、更简单。
启动快 5 ～ 10 倍；qps 高 2～ 3 倍；运行时内存节省 1/3 ~ 1/2；打包可以缩到 1/2 ~ 1/10；同时支持 jdk8, jdk11, jdk17, jdk20, graalvm native。 ......
如何在Docker Compose中限制容器的CPU和内存使用？
最近我在使用开源统计Umami过程中，发现CPU和内存经常占满，导致其它服务都不能正常使用。Umami我使用的docker-compose进行部署，于是打算使用docker-compose限制下容器的CPU和内存使用来解决这个问题。 吐槽 于是我就去搜索相关文档寻找限制容器资源使用率的方法，给我的感 ......
properties数据处理
1、介绍 1.1 数据结构 properties数据指的是一组或多组键值对数据结构，list[list[str, str]]。 二维数组结构，其中一维的元素是长度为2的list，二维的元素是str类型，分别表示键和值。 1.2 场景 在诸多业务场景中，存在使用properties数据的需求。 配置文 ......