词频mapreduce数据
【爬虫数据集】李子柒YouTube频道TOP10热门视频的TOP2000热门评论，共计2W条
[toc] # 一、背景 这段时间，有超多小伙伴找我要YouTube数据，做数据分析、情感分析之类的研究工作，但很多人并不是计算机软件相关专业，不具备爬虫开发技术，但又有数据需求，可能是新闻传播学、社会学等相关学科，旨在分析社会热点现象下各国网友的评论关键词、舆论舆情导向、评论感情色彩等研究内容，缺 ......
使用ssm框架出现数据库连接问题
**java.sql.SQLException: Access denied for user 'jdbc:mysql://localhost:3306/oa?useSSL=false&allo'@'localhost' (using password: YES)** 或者是 **Public Ke ......
经常搞不清楚的几个数据类型
1、什么是浮点数？ 之前我们学习了定点数，其中「定点」指的是约定小数点位置固定不变。那浮点数的「浮点」就是指，其小数点的位置是可以是漂浮不定的。 这怎么理解呢？ 其实，浮点数是采用科学计数法的方式来表示的，例如十进制小数 8.345，用科学计数法表示，可以有多种方式： 8.345 = 8.345 * ......
数据结构！
# AT_joisc2014_c 歴史の研究 该起床了。 该起床了。 该起床了。 该起床了。 该起床了。 本题删除会改变最大值，十分麻烦，所以使用回滚莫队即可。 该起床了。 该起床了。 该起床了。 该起床了。 该起床了。 # P3245 [HNOI2016]大数 考虑如何提取区间 $[l,r]$ 组 ......
MyBatis 在大数据量下使用流式查询进行数据同步
通常的数据同步中，如果数据量比较少的话可以直接全量同步，默认情况下，完整的检索结果集会将其存储在内存中。在大多数情况下，这是最有效的操作方式，并且由于 MySQL 网络协议的设计，因此更易于实现。但是如果数据量很大的话，全量同步需要大量的内存，如果内存不足的话则可能会导致内存溢出。 通常的会采用分页 ......
《mysql高性能》系列2：选择合适的数据类型
1 选择数据类型的几个原则 选择更小的数据类型比如，存储城市id可以用int,那就不要使用bigint了。更小的数据类型占用的磁盘、内存和CPU缓存都会比较小，处理起来也更快。但是，要记得不要低估需要存储的值的范围。 简单的数据类型更好例如，能用整型存储ip地址，就不要用字符存储ip地址。因为，字符 ......
数据结构基础一
数据结构基础一 1.单链表（数组模拟） 常用的是邻接表（其实就是单链表，邻接表就是用多个单链表存储了多条线？！），一般用来存储图和树，使用结构体和指针来表示数组的时候，是使用的动态开辟空间，速度太慢，所以一般使用数组来静态模拟单链表。 数组模拟单链表的思路：首先开辟两个足够大的数组，一个是存储链表中 ......
boot-admin 项目数据库缺省字段设计之最佳实践
数据库（Database）中的缺省字段（也称为默认字段），就是在一般情况下，每个数据表（Table）必须包含的字段（Field）,这类字段用于满足特定的数据需求，字段值的填充或更改一般遵照一定的逻辑要求。缺省字段的设计应该考虑到数据的完整性和一致性，以确保数据的正确与可靠，设计合理的表字段对于数据的 ......
【大数据】Presto（Trino）REST API 与执行计划介绍
[TOC]  ## 一、概述 Presto（现在叫Trino）是一个分布式SQL查询引擎，它允许用户在多个数据源上执 ......
MySQL 数据表的关联关系
[TOC] # 数据表的关联关系 数据与数据之间的关联关系 1. 一对一 2. 一对多 3. 多对一 4. 多对多 ## 外键约束 ```mysql -- 【方式一】在创建表的时候，定义cid字段，并添加外键约束 constraint FK_STUDENTS_CLASSES foreign key( ......
R语言用贝叶斯线性回归、贝叶斯模型平均 (BMA)来预测工人工资|附代码数据
全文链接：http://tecdat.cn/?p=24141 最近我们被客户要求撰写关于贝叶斯的研究报告，包括一些图形和统计输出。 在本文中，贝叶斯模型提供了变量选择技术，确保变量选择的可靠性。对社会经济因素如何影响收入和工资的研究为应用这些技术提供了充分的机会，同时也为从性别歧视到高等教育的好处等 ......
如何在生存分析与Cox回归中计算IDI，NRI指标|附代码数据
原文链接：http://tecdat.cn/?p=6095 最近我们被客户要求撰写关于生存分析的研究报告，包括一些图形和统计输出。 本文演示了如何在生存分析与Cox回归中计算IDI，NRI指标 读取样本数据 D=D[!is.na(apply(D,1,mean)),] ; dim(D) ## [1] ......
Python信贷风控模型：Adaboost,XGBoost,SGD, SVC,随机森林, KNN预测信贷违约支付|附代码数据
全文链接：http://tecdat.cn/?p=26184 最近我们被客户要求撰写关于信贷风控模型的研究报告，包括一些图形和统计输出。 在此数据集中，我们必须预测信贷的违约支付，并找出哪些变量是违约支付的最强预测因子？以及不同人口统计学变量的类别，拖欠还款的概率如何变化？ 有25个变量： ID： ......
java基于springboot+vue的漫画网站管理系统，附源码+数据库+lw文档+PPT，适合毕业设计、课程设计
**1、项目介绍** 考虑到实际生活中在漫画网站方面的需要以及对该系统认真的分析,将系统权限按管理员和用户这两类涉及用户划分。 (a) 管理员；管理员使用本系统涉到的功能主要有：首页、个人中心、用户管理、漫画分类管理、漫画投稿管理、分类管理、排行榜管理、交流论坛、系统管理等功能。管理员用例图如图所示 ......
python day07 字符串和列表的数据内置方法
字符串的内置方法（较多，重要） lower（字符串全部转为小写） upper（字符串全部转为大写） # 应用：验证码不区分大小写old_code = 'KeVin' print('这是返回给用户的验证码%s' % old_code) new_code = input('请输入你的验证码：').str ......
jsp页面连接mysql数据库报错“com.mysql.jdbc.Driver”
今天在做web实验的时候数据库突然连不上了 以下是报错 我用的mysql包为mysql-connector-java:5.1.47 找了好久后来在一篇博客的启发下，那篇博客中说把一般包为web下lib目录中后来我仔细观察，发现我添加的包在WEBINF目录下的classes下的lib中，难怪找不到 我 ......
burpsuite抓不到回环地址127.0.0.1的数据包
使用火狐浏览器，访问本地搭建的靶场，然后burpsuite抓不到包 查看了浏览器代理地址和端口，也查看了burpsuite的代理地址和端口号，都没有毛病。 后来网上找了才发现，浏览器默认是关闭了访问回环地址的代理，我们需要打开才行。 地址栏输入about:config，点接受风险并继续。 然后输入n ......
.NET6 + EF Core + MySQL 创建实体和数据库、EFCore 数据迁移
前言 接上期文章《.NET6项目连接数据库方式方法》，有人问了我几个问题，现在就这几个问题，拓展延申一下创建实体类、数据库。把ORM框架和数据迁移都写进去。 安装ORM框架，这里我们采用EFCore 安装EFCore 我的项目是在Linux上创建的，使用的是vscode开发工具远程开发。为了方便大家 ......
基于核函数的极限学习机K-ELM做数据预测。 可做功率预测（风功率预测），
基于核函数的极限学习机K-ELM做数据预测。可做功率预测（风功率预测），程序注释详细方便阅读，可替换自己的数据做预测。预测结果准确，显示相对误差、绝对误差。matlab程序，可做功率预测数据预测，程序注释详细方便阅读，可替换自己的数据做预测，预测结果准确。ID:7827682120815077 ......
druid mysql数据库连接池 配置项
spring: datasource: #类型 type: com.alibaba.druid.pool.DruidDataSource #驱动 driverClassName: com.mysql.jdbc.Driver driver-class-name: com.mysql.jdbc.Driv ......
灰狼优化极限学习机GWOELM做数据预测 GWO算法用于搜索与ELM的预测性能密
灰狼优化极限学习机GWOELM做数据预测GWO算法用于搜索与ELM的预测性能密切相关的最佳ELM参数。 实验结果表明，GWO-ELM模型可以准确地表征数据的复杂趋势，并且与参考模型相比，可以有效地提高预测模型的准确性和稳定性。matlab程序，可做功率预测数据预测，程序注释详细方便阅读，可替换自己的 ......
粒子群优化极限学习机PSOELM做数据预测 PSO-ELM优化算法预测模型。 E
粒子群优化极限学习机PSOELM做数据预测PSO-ELM优化算法预测模型。ELM模型在训练之前可以随机产生ω和b, 只需要确定隐含层神经元个数及隐含层神经元激活函数, 即可实现ELM预测模型的构建。在ELM模型的构建中, 只需确定初始ω和b, 而无需复杂的参数设置, 具有学习速度快、泛化性能好等优点 ......
SpringBoot基于注解来动态切换数据源
前言 我们在日常开发中，经常会用到多数据源，实现的方式有很多种，我这里分享一种通过动态数据源的方式来实现多数据源。通过自定义一个注解DS加上AOP来动态切换数据源。我们的注解可以作用于类、方法、接口、接口方法上。优先级为：类方法>类>接口方法>接口 SpringBoot的动态数据源，实际上就是把多个 ......
AdventureWorks2008R2示例数据字典
表1：人力资源．雇员——HumanResources.Employee 键 字段 类型 空 属性 引用 字段说明 1 主键 BusinessEntityID int 非空 Person.Person 雇员记录主键，外键：BusinessEntity.BusinessEntityID。 2 惟一 Na ......
Python中，y轴数据逆序问题的解决
问题描述 想要从高到低表示数据的变化，发现y轴数据与实际的二维坐标轴不相符 问题解决 在使用了x轴和y轴之后，加上这样一条代码： plt.gca().invert_yaxis() 即可实现y轴由高到低变化，恢复正常实际！ ......
【图像数据增强】Image Data Augmentation for Deep Learning: A Survey
| 原始题目 | Image Data Augmentation for Deep Learning: A Survey | | | | | 中文名称 | 深度学习的图像数据增强:综述 | | 发表时间 | 2022年4月19日 | | 平台 | arXiv | | 来源 | 南京大学 | | 文章 ......
数据质量
一、规划 长期：基于Spark RDD，统一封装框架，支持多种监控项的配置，减轻数据核对的成本； 短期：需要梳理核心监控指标，以HQL为主，保证当前的数据质量； 范围：只包括基础事实表、维度表的数据质量验证； 二、校验类型 数据量是否一致（统计）：比如：传统数仓比大数据多了多少条？差异是什么？ 度量 ......
数据库目录
mysql Sys schema 视图 | 标题 | 随笔地址 | 描述 | | | | | | 基础知识 | www.cnblogs.com/hangychn/p/17407932.html | | | 存储引擎和索引 | www.cnblogs.com/hangychn/p/17408529.h ......
数据大盘加载耗时较长的优化案例
背景： 有一个数据大盘的需求，统计组织下的所有人员，优化前数据的加载耗时近30秒 优化思路： 一、定位加载耗时慢的代码片段 PHP里dump+die是我们经常用并且个人觉得是很好用的调试工具，利用这个特性，我们可以定位出哪些代码片段的加载是耗时最多的 二、逐个优化 在优化过程中，可以将大的sql拆分 ......