数据结构 算法 核心 结构

窥探数据研发中的任务优化策略

本文就目前较为冷门的一些数据任务优化手段做了简单的分析和总结,内容相对比较零散,不会聚焦常用的优化手段(比如小文件合并,数据倾斜等的优化等),只是对一些相对不太常见,但是在研发中又比较重要且有效的方式进行简单的一些沉淀,希望大家批评指正! 1. 前言 在离线数据研发中,随着业务复杂程度不断增加,数据 ......
策略 任务 数据

Nginx的搭建与核心配置

nginx是什么? nginx是俄罗斯人 Igor Sysoev为俄罗斯访问量第二的Rambler.ru站点开发的一个十分轻量级的HTTP服务器。它是一个高性能的HTTP和反向代理服务器,同时也可以作为IMAP/POP3/SMTP的代理服务器。nginx使用的是BSD许可。 Nginx 以事件驱动的 ......
核心 Nginx

【THM】Packets & Frames(了解数据包和帧)-学习

本文相关的TryHackMe实验房间链接:https://tryhackme.com/room/packetsframes 本文相关内容:了解数据如何被分成更小的部分并通过网络传输到另一台设备。 什么是数据包和帧? 数据包和帧是小块的数据,当它们组合在一起时,就构成了更大的信息或消息;然而,数据包和 ......
Packets 数据 Frames THM amp

在matlab中用蒙特卡洛算法对电动汽车充电负荷进行模拟

在matlab中用蒙特卡洛算法对电动汽车充电负荷进行模拟,可自己修改电动汽车数量,lunwen复现。 参考lunwen:基于V2G的电动汽车充放电优化调度策略 有注释简单易懂,可随意调整参数。YID:3710647182121327 ......
电动汽车 中用 算法 负荷 matlab

基于遗传算法优化BP神经网络(GA-BP)的数据分类预测 matlab代码

基于遗传算法优化BP神经网络(GA-BP)的数据分类预测 matlab代码YID:5429643492784099 ......
神经网络 算法 神经 代码 数据

算法笔记目录

算法笔记(有链接的为已做) 1.并查集 2.搜索 3.图论 ......
算法 笔记 目录

考虑多风场出力相关性的可再生能源场景生成 风电场景生成,并通过聚类算法场景削减成几个场景

考虑多风场出力相关性的可再生能源场景生成 风电场景生成,并通过聚类算法场景削减成几个场景,每个场景都有确定的出现概率。 完美复现《考虑多风电场出力 Copula 相关关系的场景生成方法》 Copula 函数(连接函数)描述空间相邻风电场间的相关性,提出一种基于 Copula 函数生成风电场出力场景的 ......
场景 风电 相关性 算法 能源

四轮转向系统横摆角速度控制simulink仿真模型,利用滑模控制算法

四轮转向系统横摆角速度控制simulink仿真模型,利用滑模控制算法,基于八自由度车辆模型,控制有比较好的效果,附参考说明。YID:29150640269337950 ......
角速度 滑模 转向系统 四轮 算法

数据挖掘(第五周)

import pandas as pd import matplotlib.pyplot as plt inputfile =r"C:\Users\admin\Downloads\original_data.xls" # 输入的数据文件 data = pd.read_excel(inputfile) ......
数据挖掘 数据

蚁群算法 Dijkstra算法 遗传算法 人工势场法实现二维 三维空间路径规划 本程序为改进蚁群算法+Dijkstra算法+MAKLINK图理论实现的二维空间路径规划

【改进蚁群算法】 蚁群算法 Dijkstra算法 遗传算法 人工势场法实现二维 三维空间路径规划 本程序为改进蚁群算法+Dijkstra算法+MAKLINK图理论实现的二维空间路径规划 算法实现: 1)基于MAKLINK图理论生成地图,并对可行点进行划分; 2)用Dijkstra算法实现次优路径的寻 ......
算法 路径 Dijkstra 空间 人工

carsim+simulink联合仿真实现变道 包含路径规划算法+mpc轨迹跟踪算法

carsim+simulink联合仿真实现变道 包含路径规划算法+mpc轨迹跟踪算法 可选simulink版本和c++版本算法 可以适用于弯道道路,弯道车道保持,弯道变道 carsim内规划轨迹可视化 Carsim2020.0 Matlab2017bYID:67150635596250714 ......
算法 路径 轨迹 simulink carsim

自适应巡航控制算法ACC 自适应巡航控制算法 由控制层和执行层组成

自适应巡航控制算法ACC 自适应巡航控制算法 由控制层和执行层组成 控制层主要包括加速度计算模块,速度控制模块,距离控制模块 执行器的控制层主要包括:加减速控制模块 仅供学习代码用途 版本为:simulink2018b carsim2018YID:12220637086794557 ......
算法 执行层 ACC

分布式微电网能源交易算法matlab源代码 孤岛微电网之间的能源交易问题,提出了一种分布式算法

分布式微电网能源交易算法matlab源代码, 代码按照高水平文章复现,保证正确 孤岛微电网之间的能源交易问题,提出了一种分布式算法。 这个问题由几个通过任意拓扑交换能量流的岛屿微网格组成。 提出了一种基于次梯度的开销最小化算法,该算法在实际迭代次数有限的情况下收敛到最优解 几个微电网通过交换能量相互 ......
电网 算法 能源 分布式 孤岛

MATLAB代码:基于分布式ADMM算法的考虑碳排放交易的电力系统优化调度研究

MATLAB代码:基于分布式ADMM算法的考虑碳排放交易的电力系统优化调度研究 关键词:分布式调度 ADMM算法 交替方向乘子法 碳排放 最优潮流 仿真平台:MATLAB+CPLEX GUROBI平台 主要内容:代码主要做的是一个考虑碳排放交易的最优潮流问题,首先,代码的工作是分布式调度,因此首先对 ......
电力系统 分布式 算法 电力 代码

创建、修改、删除数据表

创建: 修改: 删除: ......
数据表 数据

31、K8S-数据存储之PV、PVC

1、基础知识 1.1、流程梳理 1.1.1、PV-Persistent Volume 之前我们提到的Volume可以提供多种类型的资源存储(可持久或不持久),但是它定义在Pod上的,是属于"资 源对象"的一部分。工作中的存储资源一般都是独立的,这就是资源对象Persistent Volume(PV) ......
数据 K8S PVC K8 8S

matlab的基于遗传算法优化bp神经网络多输入多输出预测模型

matlab的基于遗传算法优化bp神经网络多输入多输出预测模型,有代码和EXCEL数据参考,精度还可以,直接运行即可,换数据OK。 YID:62100632809753171 ......
神经网络 算法 模型 神经 matlab

灰狼优化算法GWO优化SVM支持向量机惩罚参数c和核函数参数g

灰狼优化算法GWO优化SVM支持向量机惩罚参数c和核函数参数g,有例子,易上手,简单粗暴,替换数据即可,分类问题。 仅适应于windows系统 YID:6999630206572076 ......
参数 向量 灰狼 算法 函数

基于NMPC(非线性模型预测控制算法)轨迹跟踪与避障控制算法研究

基于NMPC(非线性模型预测控制算法)轨迹跟踪与避障控制算法研究 仅供学习算法使用 YID:8770627173879012 ......
算法 非线性 轨迹 模型 NMPC

数据分析第五周作业

在热水器的使用过程中,热水器的状态会经常发生改变,如开机和关机、由加热转到保温、由无水流到有水流、水温由50℃变为49℃等。而智能热水器在状态发生改变或水流量非零时,每两秒就会采集一条状态数据。由于数据的采集频率较高,并且数据来自大量用户,因此数据总量非常大。本案例对原始数据采用无放回随机抽样法,抽 ......
数据分析 数据

如果要存ip地址,用什么数据类型比较好

当存储IPv4地址时,应该使用32位的无符号整数(UNSIGNED INT)来存储IP地址,而不是使用字符串。 相对字符串存储,使用无符号整数来存储有如下的好处: 节省空间,不管是数据存储空间,还是索引存储空间 便于使用范围查询(BETWEEN...AND),且效率更高 通常,在保存IPv4地址时, ......
类型 地址 数据

常见的限流算法

计数器算法(Fixed Window) 首先维护一个计数器,将单位时间段当做一个窗口,计数器记录这个窗口接收请求的次数。 当次数少于限流阀值,就允许访问,并且计数器+1 当次数大于限流阀值,就拒绝访问。 当前的时间窗口过去之后,计数器清零。 假设单位时间是1秒,限流阀值为3。在单位时间1秒内,每来一 ......
算法 常见

算法题——作物杂交

题目 代码 #include<iostream> #include<cstdio> #include<algorithm> #include<cstring> #include<queue> #include<cmath> using namespace std; const int N = 201 ......
作物 算法

算法题——铁路与公路

题目 代码 floyd #include<iostream> #include<cstdio> #include<algorithm> #include<cstring> #include<queue> #include<cmath> using namespace std; const int N ......
算法 铁路 公路

《SQL与数据库基础》23. 读写分离

(读写分离) 本文以 MySQL 为例。以 MyCat 数据库中间件为例,通过 MyCat 来完成读写分离操作。 读写分离 读写分离,简单地说就是把对数据库的读和写操作分开,以对应不同的数据库服务器。主数据库提供写操作,从数据库提供读操作,这样能有效地减轻单台数据库的压力。 通过MyCat可轻易实现 ......
数据库 基础 数据 SQL 23

python连接access数据库

1. 安装pyodbc pip install pyodbc -i https://pypi.douban.com/simple 查看是否电脑有python连接access的数据库驱动 import pyodbc [x for x in pyodbc.drivers() if x.startswit ......
数据库 数据 python access

人大金仓数据库,授权过期替换授权文件

第一种: 移除旧license [kingbase@centos7 V8]$ ll 总用量 4 lrwxrwxrwx. 1 kingbase kingbase 61 11月 14 16:40 ClientTools -> /opt/Kingbase/ES/V8/KESRealPro/V008R006 ......
数据库 文件 数据

数据结构做题笔记

LG2827 [NOIP2016 提高组] 蚯蚓 用单调队列简单维护就可以做到 $O(m\log m) $,但 $m$ 有点大,我们就需要考虑特殊性质。 注意到每次切割的蚯蚓长度一定小于前几次切割的长度(指的是没有每天增加 $q$ 的情况下)。 这样考虑使用队列 $q[3]$ 分别维护还没有切割的, ......
数据结构 结构 笔记 数据

简述几种常用的排序算法

摘要:归并排序和快速排序是两种稍微复杂的排序算法,它们用的都是分治的思想,代码都通过递归来实现,过程非常相似。理解归并排序的重点是理解递推公式和 merge() 合并函数。 本文分享自华为云社区《深入浅出八种排序算法》,作者:嵌入式视觉 。 归并排序和快速排序是两种稍微复杂的排序算法,它们用的都是分 ......
算法 常用