容器 数据库 数据docker
2023数据采集与融合技术实践作业2
2023数据采集与融合技术实践作业2 目录2023数据采集与融合技术实践作业2作业1(1)代码1.1发送请求1.2解析数据1.3创建数据库1.4数据入库(2)心得体会作业2(1)代码2.1发送请求2.2解析json数据2.3连接数据库2.4数据入库(2)心得体会作业3(1)代码3.1发送请求3.2解 ......
2023数据采集与融合技术实践作业二
作业① 实验要求 ·在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。 Gitee作业1链接 实验内容: from bs4 import BeautifulSoup from bs4 import UnicodeDammit import u ......
02_常见内置数据类型
常见内置数据类型 标签(tag): Python，数据类型，可变对象，不可变对象，可哈希对象，可迭代对象，可遍历对象 参考资料：Python 文档：内置类型(Build-in Types)Python 文档：数据模型 - 对象、值与类型Python 文档：术语对照表 - 可哈希Python 文档：属 ......
3.1-Pandas数据结构
3.1-Pandas数据结构 3.1.1 认识Pandas库¶ 基于Numpy的一种工具，为解决数据分析任务而创建的，纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具 基本上你能用Excel或者Bi工具进行的数据处理，Pandas也都能实现，而且更快 In [ ]: pip i ......
keydb 6.3.3 modjs docker 镜像
keydb 6.3.3 已经发布一段时间了，但是ModJS 的支持镜像一直还没有提供，就基于现有的基础镜像搞了一个 方便学习使用 Dockerfile FROM eqalpha/modjs as base FROM eqalpha/keydb:latest RUN mkdir -p /usr/lib ......
将 Amazon EC2 到 Amazon S3 的数据传输推向100Gbps 线速
天下武功唯快不破，在很多应用场景中，如机器学习、数据分析、高性能计算等，应用需要高速加载大量数据后进行本地计算。 ......
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置
Docker部署的设置 部署背景： 在DockerHub拉取的bitnami/kafka:3.4.1 镜像，如果要部署在Docker-Swarm集群或者单Docker部署，对于消息大小设置需要添加参数 KAFKA_CFG_MESSAGE_MAX_BYTES，如何设置为其他不符合规范的参数格式，会导致 ......
测试数据构造学习记录
1.使用场景：Windows环境下测试，构造上传数据达到某个临界值（比如不超过1G） 构造方法： ①管理员打开cmd命令窗口 ②输入命令： fsutil file createnew 创建路径\文件名称 文件大小（单位KB） 例如在C盘下创建一个名称叫2GB.txt的文件，大小2个G文件： cmd命 ......
Ubuntu 中Docker Compose的奇淫异巧
Docker Compose 是一个运行多容器 Docker 应用的工具。Compose 通过一个配置文件来配置一个应用的服务，然后通过一个命令创建并启动所有在配置文件中指定的服务。更多技术干货详见www.linuxprobe.com ......
大数据-拉链表模型
拉链表是一种维护历史状态，以及最新状态数据的一种表。拉链表根据拉链粒度的不同，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录，实际上相当于快照。 拉链表特征 1）记录一个事物从开始，一直到当前状态的所有变化的信息； 2）每次上报的都是历史记录的最终状态，是记录在当前时刻的历史 ......
docker安装elasticsearch:8.9.0的过程
环境是CentOS7，elasticsearch:8.9.0。使用的是root用户 首先创建挂载的目录，并且赋予777权限。 第一步 获取elasticsearch 镜像 docker pull elasticsearch 第二步 查看镜像是否下载成功 docker images 第三步 宿主机上创 ......
Cerebro安装 Docker 教程
简介 在本教程中，我将向你展示如何在你的机器上安装 Cerebro，并使用 Docker 运行。Cerebro 是一个基于 Elasticsearch 的 Web 管理界面，它提供了一个直观的界面来管理和监控 Elasticsearch 集群。 步骤详解 步骤 1：安装 Docker Docker ......
使用ffmpeg将opencv捕获的摄像头数据推流到本地rtsp器上
首先，为什么使用opencv？答：方便对视频进行处理，各种深度学习网络就有了用物之地。 具体流程参考的FFmpeg/opencv + C++ 实现直播拉流和直播推流（对视频帧进行处理）_c++ ffmpeg拉流_酒神无忧的博客-CSDN博客，但是细节不同。 简述一下流程： 使用opencv从摄像头中 ......
数据可视化工具 ，不会写 SQL 代码也能做数据分析
数据可视化工具可以帮助人们以直观、易于理解的方式展现和分析数据。这些工具使得即使不会写 SQL 代码的人也能进行数据分析，并从中获得有价值的信息和见解。 本文将详细介绍几种常用的数据可视化工具及其功能和优点。 1. Datainside: Datainside是一款流行的数据可视化工具，它提供了丰富 ......
用jstack导出线程信息，用jmap导出线程信息和堆数据信息
jmap导出的*.hprof文件需要用jvisualvm.exe工具来查看（当然也有第三方的其他工具），jdk8之后的是不会自带了需要手动安装； jmap导出的文件里是包含了线程信息，但是没有jstack导出的多，比如jstack里还有具体等待哪个锁的信息，这个锁的对象类型； jmap使用方式：jm ......
提高三维模型数据的几何坐标精度需要采取方法浅析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
华为云GaussDB亮相金融业数据库技术大会
2023金融业数据库技术大会上，华为云数据库服务产品部总经理苏光牛、华为云数据库服务产品部CTO庄乾锋受邀出席，分享了关于华为云GaussDB数据库的设计思考和关键技术能力。 ......
Pandas数据分组的函数应用（df.appy()、df.agg()、df.transform()、df.appymap()、df.groupby()）
apply()数据聚合agg()数据转换transform()applymap()groupby().apply()分组分组 - 可迭代对象其他轴上的分组通过字典或者Series分组通过函数分组分组计算函数方法多函数计算：agg() 将自己定义的或其他库的函数应用于Pandas对象： apply() ......
精彩回顾｜【ACDU 中国行·成都站】数据库主题交流活动成功举办！
【ACDU 中国行·成都站】中六位数据库资深专家从数据库性能管理、数据库中间件以及监控工具等热点话题进行分享，点击查看。 ......
基于docker把一个django部署到服务器
[TOC] # 认识docker # ——基于docker把一个django部署到服务器 ###### 带“※实操”项的为可操作内容，其他做了解 ### 应用场景 现我有一个django框架下的前后端分离项目， 由 python + vuE写成。 现在把整个工程文件打包、布置到一台云服务器（购买阿里 ......
数据采集与融合技术实践第二次作业
作业① 实验要求 ·在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。 ·Gitee文件夹链接: [https://gitee.com/dong-qi168/sjcjproject/blob/master/作业2/天气] 实验内容 ·代码展示 ......
linux centos7安装docker
1.运行以下命令，下载docker-ce的yum源 sudo wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 2.运行以下命令，安装Doc ......
LAS Spark+云原生：数据分析全新解决方案
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 随着数据规模的迅速增长和数据处理需求的不断演进，云原生架构和湖仓分析成为了现代数据处理的重要趋势。在这个数字化时代，企业面临着海量数据的挑战和机遇，而构建可扩展、灵活且高效的数据分析平台成为了迫切的需求。 文章主要 ......
【docker】判断一个容器是否在运行
一、场景 由于自动化测试需要依赖一些环境， 比如docker的容器是否在运行 二、 解决办法 方法1 #!/bin/bash if [[ -n $(docker ps -q -f "name=^容器名称$") ]];then echo "容器存在" else echo "容器不存在" fi 方法2 ......
docker 删除已停止的容器
docker 删除已停止的容器 根据容器的状态，删除Exited状态的容器 #根据容器的状态，删除Exited状态的容器 sudo docker rm $(sudo docker ps -qf status=exited) 删除所有未运行的容器（已经运行的删除不了，未运行的就一起被删除了） dock ......
神通数据库OSRDB如何新建用户-sunziren
很简单，使用下面的SQL即可： CREATE USER LIMING WITH PASSWORD 'abc123456'; SQL执行成功后，会自动创建出用户和对应的模式； 记得使用有DBA权限的用户执行SQL。 ......
软件测试|MySQL主键约束详解：保障数据完整性与性能优化
简介 主键（PRIMARY KEY）的完整称呼是“主键约束”，是 MySQL 中使用最为频繁的约束。一般情况下，为了便于 DBMS 更快的查找到表中的记录，都会在表中设置一个主键。 MySQL是一种广泛使用的开源关系型数据库管理系统，其支持多种数据约束，其中主键约束是其中最重要的之一。本文将深入讨论 ......
软件测试|MySQL主键自增详解：实现高效标识与数据管理
简介 在MySQL数据库中，主键自增是一种常见的技术，用于自动为表中的主键字段生成唯一的递增值。本文将深入讨论MySQL主键自增的原理、用途、使用方法，以及在实践中的注意事项和最佳实践。 主键自增 主键自增的原理 主键自增是通过使用AUTO_INCREMENT属性来实现的。当在表中创建主键字段时，将 ......
【Oracle】对一个已经拥有重复数据的表的列设置唯一性约束
对一个已经拥有重复数据的表的列设置唯一性约束 在这种情况下创建唯一性约束，可以发现会报错，通常为由于存在重复的键值，无法生效唯一性约束 最简单的方法，就是删除重复的记录，这样就可以按照正常流程，创建唯一性约束 但往往这些重复数据，有实际的业务意义，不能随便删除，或者因为业务部门不好好删除等原因导致数 ......
【数据结构】7.平衡搜索树（AVL树和红黑树）
0. 概述 对于普通的搜索树，如果一直插入比第一个元素小的元素，它会退化成一个无限向左下角眼神的单链表，使得时间复杂度退化为O(n)。如果我们在插入时保持树的结构是平衡的，则可以保证查找、插入和删除的时间复杂度有对数级的时间性能，下面讲到的AVL树和红黑树都是平衡搜索树，通过旋转来保持平衡 1. A ......