粒子 代码 数据python

【分享】小红书数据采集入excel表格

思路: 1. 打开小红书关键词页面 2. 循环指定次数,并鼠标往下滚 3. 获取元素列表,循环元素列表 4. 判断标题是否在list中,如果在就跳过,如果不在将标题存入list中 5. 点击元素,读取标题和内容,存入excel,按ESC键 ......
数据采集 表格 数据 excel

Python随机波动率(SV)模型对标普500指数时间序列波动性预测|附代码数据

原文链接:http://tecdat.cn/?p=22546 原文出处:拓端数据部落公众号 最近我们被客户要求撰写关于随机波动率(SV)模型的研究报告,包括一些图形和统计输出。 资产价格具有随时间变化的波动性(逐日收益率的方差)。在某些时期,收益率是高度变化的,而在其他时期则非常平稳。随机波动率模型 ......
时间序列 波动性 序列 模型 指数

R语言门限误差修正模型(TVECM)参数估计沪深300指数和股指期货指数可视化|附代码数据

全文链接:http://tecdat.cn/?p=32511 原文出处:拓端数据部落公众号 时间序列模型的理论已经非常丰富,模型的应用也相当广泛。但现实生活中,越来越多的时间序列模型呈现出了非线性的特点,因此,研究非线性时间序列模型的理论及对其参数进行估计有着极其重要的意义。门限模型作为非线性时间序 ......
门限 指数 误差 期货 模型

数据分享|MATLAB、R基于Copula方法和k-means聚类的股票选择研究上证A股数据|附代码数据

全文链接:http://tecdat.cn/?p=31733 最近我们被客户要求撰写关于Copula的研究报告,包括一些图形和统计输出。 Copula方法是测度金融市场间尾部相关性比较有效的方法,而且可用于研究非正态、非线性以及尾部非对称等较复杂的相依特征关系 因此,Copula方法开始逐渐代替多元 ......
数据 k-means 代码 股票 方法

R语言无套利区间模型期货期现研究:正向套利和反向套利次数、收益率分析华泰柏瑞300ETF可视化|附代码数据

全文链接:http://tecdat.cn/?p=31973 最近我们被客户要求撰写关于无套利区间模型的研究报告,包括一些图形和统计输出。 股指期货的套利交易有助于股指期货实现其价格发现以及风险规避的功能,因此提高套利交易的效率,对于发挥股指期货在经济发展中的作用有着重要的意义 本文帮助客户对期货期 ......
收益率 区间 期货 收益 模型

2023数据采集与融合技术实践作业二

码云链接 作业①: 要求: 在中国气象网(http://www.weather.com.cn)给定城市集的 7日天气预报,并保存在数据库。 输出信息:Gitee 文件夹链接 实验如下: 代码: import sqlite3 import pandas as pd from bs4 import Be ......
数据采集 数据 技术 2023

.NET静态代码织入——肉夹馍(Rougamo)发布2.0

肉夹馍(https://github.com/inversionhourglass/Rougamo)通过静态代码织入方式实现AOP的组件,其主要特点是在编译时完成AOP代码织入,相比动态代理可以减少应用启动的初始化时间让服务更快可用,同时还能对静态方法进行AOP。 摆烂半年又一更,感谢各位的支持,那 ......
静态 Rougamo 代码 NET 2.0

js代码片段

赋值剪切板 const copyToClipboard = (text) => navigator.clipboard?.writeText && navigator.clipboard.writeText(text) 数组去重 const getUnique = (arr) => \[...new ......
片段 代码

Python爬虫必杀技:XPath

XPath 是什么 XPath 即为 XML 路径语言,它是一种用来确定 XML(标准通用标记语言的子集) 文档中某部分位置的语言。XPath 基于 XML 的树状结构,有不同类型的节点,包括元素节点,属性节点和文本节点,提供在数据结构树中找寻节点的能力。跟 BeautifulSoup4一样都是用来 ......
爬虫 Python XPath

102102126 吴启严 数据采集与融合技术实践作业二

第二次作业 一、作业内容 作业①: 要求:在中国气象网http://www.weather.com.cn给定城市集的7日天气预报,并保存在数据库。 输出信息: Gitee文件夹链接 https://gitee.com/wu-qiyan/project/tree/master/%E6%95%B0%E6 ......
数据采集 102102126 数据 技术

python读取excel测试用例数据

# excel_readUtil.py from openpyxl import load_workbook import pandas class HandleExcel: """ 封装excel文件处理类 """ def __init__(self, filename, sheetname=No ......
数据 python excel

数据库分区

1.数据库分区 分区优点 1、与单个磁盘或文件系统分区相比,可以存储更多的数据。 2、通过删除与增加那些数据有关的分区,很容易地删除或增加那些数据。 3、一些查询可以得到极大的优化。 4、通过跨多个磁盘甚至服务器来分散数据查询,来获得更大询吞吐量。 5、MySQL5.5之后支持所有函数的分区优化。限 ......
数据库 数据

代码大全阅读笔记01

1、开发前期准备相关 需求阶段 在需求阶段,我们需要明确定义用户的需求,这样不仅能够避免与用户的争议,还能够更好地让用户更快地熟悉系统、使用系统; 处于该阶段的错误的解决时间最好接近于发现错误的时间,不然越拖越久,改正错误的代价就会相应的增大; 架构 优秀的软件架构很大程度上与编程语言无关; 架构应 ......
代码 笔记 大全

2023数据采集与融合技术作业二

第二次作业 作业1: 要求:在中国气象网(http://www.weather.com.cn)给定城市集的7日天气预报,并保存在数据库。 代码及图片: 代码显示如下: from bs4 import BeautifulSoup from bs4 import UnicodeDammit import ......
数据采集 数据 技术 2023

Python语法5

Python语法5 这次我们讲的是函数在Python中的应用。 其实函数是一个很重要的用法,我们写项目的时候会很多行代码,如果出错了找起来比较麻烦,但是我们用函数将某一个功能进行一个打包,那么我们就可以对某一功能进行单独的实现。 定义函数 Python中一个典型的函数定义包括以下部分:关键字def、 ......
语法 Python

数据库的字段属性

Unsigned: 无符号的整数 声明了该列不能声明为负数 zerofill: 0填充的 不足的位数使用0来填充 int(3) ,5= 005 自增: 通常理解为自增,自动在上一条的基础上+1(默认) 通常用来设计唯一的主键~index,必须是整数类型 可以自定义设计主键自增的起始值和步长 非空NU ......
字段 属性 数据库 数据

记录python语言的数组去重并输出

def find_duplicates(arr): seen = set() duplicates = [] for num in arr: if num in seen: duplicates.append(num) seen.add(num) return duplicates arr = [' ......
数组 语言 python

python查找替换危险字符脚本

为了沃滴好大儿的大创写了这么个脚本 代码如下: 1 import io 2 import base64 3 4 def replace_dangerous_sequences(image_path): 5 try: 6 # 读取图像文件的内容 7 with open(image_path, 'rb' ......
脚本 字符 python

CDGA 章节重点冲刺系列-第五章 数据建模与设计

1. 数据建模与设计 1. 数据模型及建模方法 6 种 常见数据模式有:关系模式、多维模式、面向对象模式、事实模式、时间序列模式、NoSQL 模式。 根据描述详细程度不同,每种模式可分为 3 种模型:概念模型、逻辑模型、物理模型。 2. 业务驱动因素 提供有关数据的通用词汇表 获取、记录组织内数据和 ......
重点 章节 数据 CDGA

【C#】【System.Linq】一些便捷的数据处理方法(Range、Select)

因为用习惯了Python中一些便捷的方法,随即查询C#中有没有类似的。 一、Range()方法 在Python中,range(Start,End,Step)可以直接生成一个可迭代对象,便用于需要循环多次处理某些代码块: (注:Range方法中的End是开区间,range(1,10)实际的取值是(1 ......
数据处理 方法 数据 System Select

CDGA 章节重点冲刺系列-第四章 数据架构

1. 数据架构 1. 企业架构 1. 类型和框架 框架:Zachman 框架 类型:业务架构、 数据架构、 应用架构、技术架构等 2. 企业数据架构 包括企业数据模型和数据流 2. 数据架构构件 当前状态的描述、数据需求的定义、数据整合的指引、数据资产管理规范 3. 数据架构主要职责/驱动因素 在业 ......
架构 重点 章节 数据 CDGA

数据库初期学习

show databases; --查看所有的数据库 mysql -u root -p123456 --连接数据库 use school; --切换数据库 use数据库名 show student;-- 显示数据库中所有的表的信息 create database westos; --创建一个数据库 ......
初期 数据库 数据

数据预处理的白化技术

白化 白化(Whitening)是一种重要的预处理方法,用来降低输入数据特征之间的冗余性.输入数据经过白化处理后,特征之间相关性较低,并且所有特征具有相同的方差.白化的一个主要实现方式是使用主成分分析(Principal Component Analysis, PCA)方法去除掉各个成分之间的相关性 ......
数据 技术

ERROR: Could not install packages due to an OSError: [Errno 2] 没有那个文件或目录: '/anaconda3/envs/mydlenv/lib/python3.8/site-packages/fastjsonschema-2.16.2.dist-info/METADATA

ERROR: Could not install packages due to an OSError: [Errno 2] 没有那个文件或目录: '/home/software/anaconda3/envs/mydlenv/lib/python3.8/site-packages/fastjsons ......

Lab1:数据组织基础方法及创新应用(基础)

1.数组定义及简单使用 1)分别定义一个 int 型一维数组和二维数组,并通过输出验证各种初始化方法; #include<bits/stdc++.h> using namespace std; #define ll long long const int INF = 0x3f3f3f3f,N=5; ......
基础 方法 数据 Lab1 Lab

python计算 ico hash 值

apt-get install python3 apt-get install python3-pippip install mmh3import requests import base64 import mmh3 URL='https://www.baidu.com/favicon.ico' r ......
python hash ico

注释之重——程序员与代码可维护性

在软件开发领域,注释是一个备受争议的话题。一些程序员坚持认为,优秀的代码应该自文档化,即代码本身应该足够清晰,不需要注释。然而,也有许多程序员认为,合适的注释对于代码的可维护性至关重要。本文将探讨程序员不写注释的问题,以及为什么注释对于程序员和代码都是宝贵的资源。 ......
可维护性 注释 程序员 代码 程序

简单的Python源码分析——StringIO

简单的py源码分析——StringIO 近几日在架构KolaWriter时,涉及到了相关的内存文本缓冲功能的实现,因此尝试着参考了一下Python中StringIO的实现方式。于是有了这篇文章www StringIO是一个来自Python标准库io的类。它会在内存中模拟一个以w+方式打开的文件对象。 ......
源码 StringIO Python

【python】魔术方法大全(四)——类构建篇

这期我们来聊聊和class建立有关的魔术方法。 __init_subclass__魔术方法 __init_subclass__ 是 Python 3.6 新增的一个特殊方法,用于定义一个类(基类)被继承时所执行的逻辑。当一个类被定义为另一个类(基类)的子类时,它会自动调用 __init_subcla ......
魔术 方法 大全 python

Python 常见排序:冒泡、选择、快速

简单说明: 1.冒泡排序:双层循环,交替结果2.选择排序:while nums,假设第一个值为做小,通过for循环找到最小值以此来替换,再将nums中该值去掉继续上述步骤3.快速排序:定义一个初值,把整个数据列表分为两部分,再递归 代码实现: # 冒泡排序 def action1(n): for i ......
常见 Python