白鲸 数据分析 模型dataops
【Python大数据分析课程设计】——心血管疾病数据分析和预测模型
一、选题背景 心血管疾病是全球范围内主要健康威胁之一，而通过大数据分析揭示相关模式和趋势对于疾病预防和管理至关重要。社会上心血管疾病的不断增加与现代生活方式、不良饮食和缺乏运动等因素密切相关，对健康系统和经济造成巨大负担。在技术飞速发展的今天，大数据分析为深入挖掘潜在的健康信息提供了前所未有的机会， ......
复杂算法分析(后续实时更新)
复杂算法总结 1.dfs 模板样例 //走河卒(适用低数据复杂度) #include<iostream> using namespace std; int n,m,ans,mx,my; int vis[26][26]; int dx[]={0,1},dy[]={1,0},dX={1,-1},dY={ ......
Java反序列化漏洞-CC6链分析
CC6利用链分析 经过之前对CC1链和URLDNS链的分析，现在已经对反序列化利用链有了初步的认识，这次来分析一个最好用的CC利用链——CC6。 为什么CC6是最好用的CC利用链，因为CC6不限制jdk版本，只要commons collections 小于等于3.2.1，都存在这个漏洞。 前置知识 ......
[Python高级应用课程设计]大数据分析——二手房屋房价分析
一、选题背景介绍及选题意义 随着经济的发展和城市化进程的加快，房地产市场已成为我国经济增长的重要支撑。然而，房价的波动却成为了社会关注的焦点之一。因此，利用大数据分析方法对房价进行研究和预测已成为当前热门的研究方向。大数据分析技术可以从多维度、全方位地收集和分析相关数据，发现数据背后的规律，并进行预 ......
Java反序列化漏洞-URLDNS链分析
目录一、前置知识反射二、分析1. URL2. HashMap3. 解决一些问题反射修改字段值三、POC四、利用链 一、前置知识 菜鸟教程 Java 序列化 Java安全-反射 URLDNS链的作用就是在目标主机中可能存在反序列化输入的数据的地方，传入序列化后的URLDNS利用链，如果目标主机解析了这 ......
数据结构---集合
前言 集合是不同的对象的（或者称成员）的无序集合，由于成员直接存在关联，可以理解为归聚在一起的成员组合。集合有两种重要的特点： 成员是无序 每个集合的中的成员不重复 这是集合中成员的重要特征。 集合的介绍和基本知识 集合的介绍的定义 集合是相关有关联的无序组合，每个成员在一个集合中只出现一次，在数学 ......
【专题】2023年中国消费者洞察白皮书报告PDF合集分享（附原数据表）
全文链接：https://tecdat.cn/?p=33375 原文出处：拓端数据部落公众号 在疫情后的时代，中国的消费市场正在逐步复苏。政策和社会共同努力，全面提振消费者的信心。与此同时，供给侧正在采用新的内容营销模式，品牌、电商直播和信息平台注重科普专业知识，将品质和创新作为核心竞争力。居民消费 ......
R语言逻辑回归模型的移动通信客户流失预测与分析
全文链接：https://tecdat.cn/?p=34723 原文出处：拓端数据部落公众号 通过对某移动通信公司客户的流失数据分析，了解客户流失规律，建立流失预警系统，为客户关系管理服务。 数据介绍 某年度随机抽取的 1000 个移动通信客户。因变量是他们来年的流失行为（0= 未流失，1=流失）。 ......
ELK日志分析系统的介绍
1、ELK简介 ELK是一套针对日志数据做解决方案的框架，是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器 ......
PLSQL打开数据库对象乱码
1.问题描述 PLSQL打开远程数据库对象后，发现其中的中文内容为问号乱码. 2.处理方式 这种情况一般是我们初次安装PLSQL后，未在本地配置与数据库一致的NLS_LANG环境变量，导致远端获取的对象字符集在本地解析时无法识别。 2.1 远程数据库配置情况 使用 NLS_DATABASE_PARA ......
数据结构应用之桶排序
问： 有10G的订单数据，希望订单金额(假设都是正整数)进行排序，但我们内存有限，只有几百MB,如何进行排序？ 答： 因内存有限，需要排序的数据量巨大，所以，此时需要外部排序，外部排序采用的是一种分治思想，外部排序最常用的是多路归并排序，即将大数据切成多份一次可以载入内存的小数据，对小数据进行内存排 ......
ASR项目实战-数据
使用机器学习方法来训练模型，使用训练得到的模型来预测语音数据，进而得到识别的结果文本，这是实现语音识别产品的一般思路。 本文着重介绍通用语音识别产品对于数据的诉求。 对数据的要求 训练集 相关要求，如下： 地域，需要覆盖使用人群所在的地域，且数据的比例适中。 口音，需要覆盖典型的口音。 年龄，从18 ......
【Python爬虫课程设计】唐诗三百首——数据爬虫+数据可视化
一、选题背景介绍 中国古代文化中的唐诗是一颗璀璨的明珠，代表了中华民族的文化底蕴和艺术成就。唐诗以其深邃的意境、优美的语言和丰富的情感打动了世人。然而，要阅读和欣赏大量的唐诗作品并非易事。为了让更多人能够了解、感受和研究唐诗，利用爬虫技术和数据可视化手段对唐诗进行数字化处理是一种创新而有意义的尝试。 ......
influxdb 进行数据删除和修改
本文为博主原创，转载请注明出处： 1.条件删除数据 InfluxDB 只支持基于时间的删除操作。 可以使用 DELETE 语句来删除指定时间范围内的数据。例如，以下的 SQL 语句将删除 measurement_name 表中时间在 '2023-06-30' 到 '2023-06-30 15:16: ......
【Python&RS】基于矢量范围批量下载遥感瓦片高清数据（天地图、高德、谷歌等）
这个是之前写的代码了，正好今天有空所以就和大家分享一下。我们在处理项目时，有时候需要高清底图作为辅助数据源去对比数据，所以可能会需要卫星数据。所以今天就和大家分享一下如何使用Python基于矢量范围批量下载高清遥感瓦片数据。 ......
【python爬虫课程设计】从懂球帝爬取中超联赛知名运动员数据+数据可视化
一、选题背景： 中超联赛作为中国顶级足球赛事，吸引了广泛的关注，其球员数据包含了丰富的信息，涵盖球员技术、表现和比赛策略等方面。随着数据科学技术的不断发展，对于足球俱乐部和教练来说，充分利用这些数据进行分析和挖掘，以制定更有效的战术和管理策略变得愈发重要。选题背景重点：1. 数据驱动的足球管理：中超 ......
【Python数据分析课程设计】大数据分析—Pokemon 1996-2022年各世代宝可梦数据集分析
一、选题背景宝可梦是一种受欢迎的媒体内容和游戏系列，由任天堂、Game Freak和Creatures等公司合作开发。它们是虚构的生物角色，具有各种不同的属性、技能和能力。自1996年首次推出以来，宝可梦已经成为全球范围内的文化现象。宝可梦不仅仅是娱乐产品，它们也在社会中产生了广泛的影响： 竞技游戏 ......
Suricata+Arkime搭建网络流量分析系统
操作系统：openEuler 22.03 (LTS-SP2) Suricata版本：7.0.2 Arkime版本：4.6.0-1.el9 ElasticSearch版本：elasticsearch-oss-7.10.2 服务器配置：8vCPU，16G内存，1T硬盘（ens16镜像口，ens18管理口 ......
dremio nessie数据源集成简单说明
nessie 是一个强大的支持类似git 分之特性的apache iceberg 智能元数据存储, 主要测试下基于nessie dremio 元数据存储（catalog） 集成参考架构 环境准备 docker-compose 文件 version: "3" services: minio: imag ......
Volcano 原理、源码分析（一）
0. 总结前置 1. 概述 2. Volcano 核心概念 2.1 认识 Queue、PodGroup 和 VolcanoJob 2.2. Queue、PodGroup 和 VolcanoJob 的关系 3. Volcano 调度框架概览 4. 源码分析 4.1 Action 实现在哪里？ 4.2 ......
大厂性能测试监控指标及分析调优指南
一、哪些因素会成为系统的瓶颈 CPU：如果存在大量的计算，他们会长时间不间断的占用CPU资源，导致其他资源无法争夺到CPU而响应缓慢，从而带来系统性能问题，例如频繁的FullGC，以及多线程造成的上下文频繁的切换，都会导致CPU繁忙，一般情况下CPU使用率<75%比较合适。 内存：Java内存一般是 ......
华为云耀云服务器L实例-大数据学习-Hive的部署-1
华为云耀云服务器L实例-大数据学习-Hive的部署-1 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，介绍Hive的部署 Hive ......
debezium+kafka实现mysql数据同步（debezium-connector-mysql）
1.情景展示 在企业当中，往往会存在不同数据库之间的表的数据需要保持一致的情况（数据同步）。 如何将A库a表的数据同步至B库a表当中呢？（包含：新增、修改和删除） 往往不仅仅需要保持数据的一致性，还要保证数据的即时性，即：A库a表的数据发生变化后，B库a表也能立刻同步变化。 实时保持两表数据的一致性 ......
华为云耀云服务器L实例-大数据学习-MapReduce&Yarn的实操
华为云耀云服务器L实例-大数据学习-MapReduce&Yarn的实操 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，继续介绍Map ......
华为云耀云服务器L实例-大数据学习-MapReduce&Yarn的部署
华为云耀云服务器L实例-大数据学习-MapReduce&Yarn的部署 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，介绍MapRe ......
华为云耀云服务器L实例-大数据学习-hadoop前置准备2-JDK环境部署
华为云耀云服务器L实例-大数据学习-hadoop前置准备2-JDK环境部署 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，演示单台服 ......
华为云耀云服务器L实例-大数据学习-hadoop前置准备1-主机名映射与SSH免密登录
华为云耀云服务器L实例-大数据学习-hadoop前置准备1-主机名映射与SSH免密登录 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例 ......
华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置
华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云 ......
华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群
华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，演示单 ......