数据表 分析报告 一带 电力
HttpClient采集页面数据
1、导入相关依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>had ......
新的网页数据传输方式填补安全性之大难度
我听说原本的网页数据传输方式不够安全，有一种新的传输方式可以实现传输的数据的安全性。想要通过新的方式来实现安全性有二种方法，一种是在服务端和客户端设置对应的解密或加密技术，这样会让人通过拥有服务端的解密技术来解密数据而无效，就像一个让每个人都可以容易的获得钥匙的锁等于没有对应的功能，一种是在提供认证 ......
Python实现数据采集
前提是配置好hadoop的相关环境 1、分析网页，确定采集的数据 我们需要获取到该网页的如下几个信息： 请求信息： url——网站页面地址 设置这个请求的请求头： headers——（user-agent/referer/origin/cookie） 设置这个请求的传递数据： data——（firs ......
软件工程 之 （XMUT） PTA 数据库原理 复习题
题目来自PTA及课后练习 PTA {collapse} 以下为PTA数据库题库习题，仅供参考 一个数据库只有一个模式和一个内模式。 T 外模式/模式映像可以保证数据与程序的逻辑独立性。T 由于数据库中的数据是不断更新的，因此关系模式是相对变化的。F 同一外模式可以被某一用户的多个应用系统使用，但一个 ......
Python 之 爬虫实战 -- 爬取某宝商品数据，附加某宝秒杀脚本
爬取某宝商品数据，附加某宝秒杀脚本 爬取某宝商品数据 源码 """ import requests # 第三方模块 import re import json import csv f = open('taobao.csv', mode='a', newline='', encoding='utf- ......
Java 之 实验二 -- 数据与表达式
实验二 数据与表达式 打印一首诗 编写一段Java程序，打印如下信息：“Roses are red”。程序应该包含一个main方法（参照例子Dreams.java。注意一下事项： 类名必须与文件名相匹配（不包括扩展名.java） main方法的定义必须位于类内部（在第一个“{”和最后一个“}”之间） ......
Java 之 实验三 -- 数据类型和交互式程序设计
实验三 数据类型和交互式程序设计 浮点数计算 编写一个应用程序，读取两个浮点数，然后打印输出他们的和、差及乘积。 import java.util.Scanner; public class fudianshu { public static void main (String[] args) { ......
朴素贝叶斯案例分析
贝叶斯模型是利用先贝叶斯定理进行计算的一种机器学习模型，并且此处涉及先验概率和后验概率。比如我们都知道去赌场会十赌九输，此是以前的经验，即为先验概率，也或者大家都知道抛硬币时上下面第一次都是1/2概率，这均为先验概率；如果发现一个人准备跳楼，那么此时他是因为赌博导致的概率是多少？此为后验概率。有了先 ......
DRF之登录认证源码分析
【一】引入 【1】表模型 from django.db import models # Create your models here. class UserInfo(models.Model): name = models.CharField(max_length=32) password = m ......
oracle19c(CDB模式)_获取所有对象&&表数据脚本（迁移后数据比对）
oracle19c进行数据库迁移后，数据比对靠人工的话比较麻烦，通过如下脚本可以直接取数，获取对象及数据结果文件后，通过notpad++即可进行对比 脚本内容如下 #!/bin/bash#202309 by jia.zhenhua#auto check oracle19c CDB object && ......
场景题：海量数据如何判重？
在海量数据如何确定一个值是否存在？这是一道非常经典的面试场景题。 那怎么回答这个问题呢？接下来咱们就详细的聊一聊。 参考答案 判断一个值是否存在？通常有以下两种解决方案： 使用哈希表：可以将数据进行哈希操作，将数据存储在相应的桶中。查询时，根据哈希值定位到对应的桶，然后在桶内进行查找。这种方法的时间 ......
pytest+allure+jenkins+python+git，实现Linux服务器看测试报告，并发送邮件通知
1、简介 pytest：一种单元测试框架，与python自带的unittest测试框架类似，但是比unittest框架使用起来更简洁，效率更高。 allure：是开源测试报告框架。 jenkins：持续集成工具 python：测试脚本语言 git：开源的分布式版本控制系统 2、Windows端 我们 ......
oracle11g_获取所有对象&&表数据脚本（迁移后数据比对）
oracle11g进行数据库迁移后，数据比对靠人工的话比较麻烦，通过如下脚本可以直接取数，获取对象及数据结果文件后，通过notpad++即可进行对比 脚本内容如下 #!/bin/bash#2023/09 by jia.zhenhua#auto check oracle11g object && da ......
决策树案例分析
决策树(Decision Tree)常用于研究类别归属和预测关系的模型，比如是否抽烟、是否喝酒、年龄、体重等4项个人特征可能会影响到‘是否患癌症’，上述4项个人特征称作‘特征’，也即自变量（影响因素X），‘是否患癌症’称为‘标签’，也即因变量（被影响项Y）。决策树模型时，其可首先对年龄进行划分，比如 ......
Django框架高级之DRF部分源码分析
【一】DRF之请求执行流程和APIView源码分析 【二】DRF之Request源码分析 【三】DRF之Response源码分析 【四】DRF之登录认证源码分析 ......
DRF之Response源码分析
【一】响应类的对象Response源码 【1】路由 from django.contrib import admin from django.urls import path from book import views urlpatterns = [ path('admin/', admin.si ......
支持向量机（SVM）案例分析
支持向量机（support vector machines, SVM）是一种二分类模型，所谓二分类模型是指比如有很多特征（自变量X）对另外一个标签项（因变量Y）的分类作用关系，比如当前有很多特征，包括身高、年龄、学历、收入、教育年限等共5项，因变量为‘是否吸烟’，‘是否吸烟’仅包括两项，吸烟和不吸烟 ......
mysql 复制表数据和uuid 生成
复制表结构及数据到新表CREATE TABLE 新表 SELECT * FROM 旧表这种方法会将旧表中所有的内容都拷贝过来，当然我们可以用delete from 新表;来删除。不过这种方法的一个最不好的地方就是新表中没有了旧表的primary key、Extra（auto_increment）等属 ......
在EasyGBS数据库中怎么样存储视频，有哪些方式储存视频
EasyGBS平台是一款安防视频监控/视频集中存储/云存储/磁盘阵列平台，具有强大的可拓展性和灵活的视频能力，轻便易部署。该平台支持国标GB28181、RTSP/Onvif、RTMP等主流标准协议，以及海康Ehome、海大宇等设备的SDK接入。 有两种方法：1、在数据库中建立相关表 保存视图的相对路 ......
迁移pgsql从数据库（原先数据库架构为主从同步）
迁移pgsql从数据库 将原先的1.56服务器上的从数据库迁移至1.62服务器上1、安装依赖包yum -y install readline gcc -y readline-devel zlib-devel2、下载对应版本的pgsql并解压编译安装下载地址: https://www.postgres ......
1-03-物理层和数据链路层的基本概念
物理层的基本概念： 传输媒体大致可以被分为两类： 导引型传输媒体：1）双绞线 2）同轴电缆 3）光纤 非导引型传输媒体：1）微波通信（2~40GHz） 物理层协议的主要任务： 数据链路层概述： 数据链路层在网络结构体系中所处的地位： 链路，数据链路和帧的概念： 计算机中的网络适配器(俗称网卡)和其相 ......
数据库备份脚本
数据库备份脚本：畅享丝滑 李小白 运维book思议 2023-09-13 18:07 发表于河北 收录于合集 #数据库8个 #shell65个 #脚本95个 #MySQL3个 先放个链接，万一有人关注呢 运维book思议 李小白，一个北漂的运维。希望能够通过本公众号与业内各位大神交流技术问题。 18 ......
不要使用count(列名)或count(常量)来替代count(*)，count(*)就是SQL92定义的标准统计行数的语法，跟数据库无关，跟NULL和非NULL无关。
慢SQL治理经验总结 https://mp.weixin.qq.com/s/LZRSQJufGRpRw6u4h_Uyww 慢SQL治理经验总结 原创 药糖 大淘宝技术 2023-09-18 16:20 发表于浙江 在过去两年的工作中，我们团队曾负责大淘宝技术的慢SQL治理工作，作为横向的数据安全治理 ......
KingbaseES数据库配置Hikari数据源
Hikari是一个高性能的数据库连接池，它是Spring Boot 2.x中的默认数据源。 一、下载驱动 打开下面网址：选择对应平台的jdbc驱动程序。 人大金仓-成为世界卓越的数据库产品与服务提供商 (kingbase.com.cn) 这里以x86平台为例： 下载完成后目录里面包含以下文件：根据项 ......
KingbaseES数据库适配Activiti7 didn't put process definition问题处理过程
一、Activiti介绍 Activiti是一个轻量级的java开源BPMN 2工作流引擎.目前以升级至7.x,支持与springboot2.x集成. 二、项目环境 Spring Boot版本2.2.5 Activiti 版本 7.1.x 源数据库：MySQL 5.7 目标数据库：KinbgaseE ......
KingbaseES V8R3集群运维案例---failover切换故障分析
案例说明： KingbaseES V8R3集群主库数据库服务重启后，failover切换失败，分析failover失败的具体原因。 适用版本： KingbaseES V8R3 一、集群架构 node13 >主库（primary） node25 >管理备库（standby） node58 >备库（st ......
kingbaseES 优化之数据库瓶颈排查
针对数据库的性能瓶颈排查方法分为两个层次1、实例级别性能问题排查 2、语句级别性能问题排查 实例级别 实例级别性能问题排查用来分析数据库实例整体是否存在性能瓶颈，然后根据排除出的疑似问题进行实例级别参数的优化。 使用场景包括 1、压测场景下数据库整体优化 2、上线之前数据库整体调优 3、业务整体响应 ......
KingbaseES V8R3集群运维案例之---主库数据库服务down后failover切换详解
案例说明： 对KingbaseES V8R3集群，主库数据库服务down后，failover切换进行分析，详解其执行切换的过程，本案例可用于对KingbaseES V8R3集群failover故障的分析参考。 适用版本： KingbaseES V8R3 集群架构： node_id | hostnam ......
目录爆破工具dirsearch源码分析
dirsearch介绍 dirsearch介绍. dirsearch是一个基于python的命令行工具，用于暴力扫描页面结构，包括网页中的目录和文件。 目录结构 程序源码 1.主程序dirsearch.py 主程序入口查看，首先获取脚本所在的绝对路径，然后在ArgumentParser对象中对需要的 ......