股票 数据 爬虫vba
【小睿的ML之路】Matplotlib条形图、散点图--电影评分数据集
条形图 import pandas as pd reviews = pd.read_csv('fandango_scores.csv') # 电影评分的数据集，包含了电影名称和不同对象的评分 cols = ['FILM','RT_user_norm','Metacritic_user_nom','I ......
机器学习算法原理实现——lightgbm，核心leaf-wise生长结合数据和特征并行+直方图算法+单边梯度抽样+互斥特征捆绑
算法亮点： 1、leaf-wise生长策略+特征并行和数据并行 让我们通过一个简单的例子来详细解释 LightGBM 的 Leaf-wise 生长策略。假设我们有以下的数据集：| 年龄 | 收入 | 购买 || | | || 20 | 3000 | 0 || 25 | 3500 | 0 || 30 ......
pandas使用 - 取数据
涉及的几个类 pandas.core.frame.DataFrame：表示二维数据，比如：表格数据 pandas.core.series.Series：表示一维数据，比如：一行数据，或一列数据 取行用法 DataFrame[row_slice] DataFrame.loc[rowName | row ......
【小睿的ML之路】Matplotlib子图操作（创建子图，多数据设置颜色、标签等）--美国失业率
创建子图 import matplotlib.pyplot as plt import numpy as np import pandas as pd unrate = pd.read_csv('UNRATE.csv') unrate['DATE'] = pd.to_datetime(unrate[ ......
心理健康数据集：mental_health_chatbot_dataset
一.数据集描述 1.数据集摘要 该数据集包含与心理健康相关的问题和答案的对话对，以单一文本形式呈现。数据集是从流行的医疗博客（如WebMD、Mayo Clinic和HealthLine）、在线常见问题等来源精选而来的。所有问题和答案都经过匿名化处理，以删除任何个人身份信息（PII），并经过预处理以删 ......
Falcon-7B大型语言模型在心理健康对话数据集上使用QLoRA进行微调
文本是参考文献[1]的中文翻译，主要讲解了Falcon-7B大型语言模型在心理健康对话数据集上使用QLoRA进行微调的过程。项目GitHub链接为https://github.com/iamarunbrahma/finetuned-qlora-falcon7b-medical，如下所示： 使用领域适 ......
R语言Apriori算法关联规则对中药用药复方配伍规律药方挖掘可视化|附代码数据
全文链接：http://tecdat.cn/?p=32316 原文出处：拓端数据部落公众号 我们常说的中药挖掘，一般是用药挖掘，还有穴位的挖掘，主要是想找出一些用药的规律。在中医挖掘中，数据的来源比较广泛,有的是通过临床收集用药处方，比如，一个著名老中医针对某一疾病的用药情况;有的是通过古籍，古代流 ......
R语言Apriori关联规则、K-means均值聚类数据挖掘中药专利复方治疗用药规律网络可视化|附代码数据
全文链接：http://tecdat.cn/?p=30605 原文出处：拓端数据部落公众号 应用关联规则、聚类方法等数据挖掘技术分析治疗抑郁症的中药专利复方组方配伍规律。方法检索治疗抑郁症中药专利复方，排除外用中药及中西药物合用的复方。 最近我们被要求撰写关于用药规律的研究报告，包括一些图形和统计输 ......
视频|分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现|附代码数据
全文链接：http://tecdat.cn/?p=20650 原文出处：拓端数据部落公众号 视频|分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现 分类模型评估精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现 本文将帮助您回答以下问题： RO ......
让python采集的数据存储为json类型
发现一个问题，要是想要把网站中的数据提取出来之后， 变成json数据格式存储起来，就需要先把想要查看的关键信息用dict类型封装起来，然后才能转换成格式正确的json文件； 就比如这样： 妥妥的json数据格式欸！！！ ......
Vuex 改变state数据后丢失响应式
背景 在网络请求后，将数据保存到Vuex中，需要对state中数据进行修改，使用到mutation 需求是在state.votes中找到对应的对象，然后替换成新的对象 const mutations = { UPDATEVOTE(state, data) { const { votes } = st ......
布尔数据 BOPDS_Iterator
布尔迭代器BOPDS_Iterator通过BVH找出求交的模型中每对包围盒有相交的模型并提供遍历每对包围盒相交的模型的功能，为后面求交作准备。从其代码实现可以看出布尔选项使用OBB对性能提高是有限的，当使用AABB能检测出来的，再使用OBB会降低性能。当使用AABB检测出来相交，但OBB不相交的场景... ......
改进了headers的爬虫（Cookies）
import urllib.request from lxml import etree def create_request(page): if page == 1: url = 'http://www.chinaeol.net/hjxw/gnxw' else: url = 'http://www ......
如何远程服务上的orcal数据库
作为软件开发工程师，管理数据库是我们必不可少的日常操作，那么你知道怎么用本地主机（可以是PC，也可以是笔记本或者其他终端）利用cmd终端命令进行远程管理服务器上的数据库吗？ 接下来，随着小编的脚步一起来看看，具体是怎么操作的！ 1.下载安装instantclient工具 下载安装Oracle数据库的 ......
Python中数据类转换为JSON的方法
dataclass 到 Python 中的 JSON JavaScript Object Notation或JSON表示使用编程语言中的文本组成的脚本（可执行）文件来存储和传输数据。 Python通过JSON内置模块支持JSON。因此，我们在Python脚本中导入JSON包，以利用这一能力。 JSO ......
HttpClient采集页面数据
1、导入相关依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>had ......
新的网页数据传输方式填补安全性之大难度
我听说原本的网页数据传输方式不够安全，有一种新的传输方式可以实现传输的数据的安全性。想要通过新的方式来实现安全性有二种方法，一种是在服务端和客户端设置对应的解密或加密技术，这样会让人通过拥有服务端的解密技术来解密数据而无效，就像一个让每个人都可以容易的获得钥匙的锁等于没有对应的功能，一种是在提供认证 ......
一个稍微用了下selenium的爬虫框架
from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from selenium.webdriver.chr ......
爬虫随笔（一）
最近因为工作和研究方向的变动，开始学习爬虫，现在是刚刚入门，简单写一些，爬虫入门的建议。 一、基础知识 （1）掌握的编程语言：python、Html、JS、CSS Python是必须的，虽然Java也可以实现相关功能，但是总归脚本写起来方便一点。如果有语言基础，直接去菜鸟教程，看语法，就差不多掌握了 ......
Python实现数据采集
前提是配置好hadoop的相关环境 1、分析网页，确定采集的数据 我们需要获取到该网页的如下几个信息： 请求信息： url——网站页面地址 设置这个请求的请求头： headers——（user-agent/referer/origin/cookie） 设置这个请求的传递数据： data——（firs ......
Python 之 爬虫实战 -- 收集某牙直播平台舞蹈区颜值排行榜（人脸检测+爬虫）
一大波高颜值主播来袭：快看，某牙颜值排名，为了这个排名我可是大费周章啦！不亏是你...（人脸检测+爬虫） 本次文章主要内容为： 一. 采集主播照片 二. 对于照片进行人脸识别检测, 进行打分 三. 评分排名。 环境准备 1）运行环境 开发环境：Python3、Pycharm社区版、requests、 ......
软件工程 之 （XMUT） PTA 数据库原理 复习题
题目来自PTA及课后练习 PTA {collapse} 以下为PTA数据库题库习题，仅供参考 一个数据库只有一个模式和一个内模式。 T 外模式/模式映像可以保证数据与程序的逻辑独立性。T 由于数据库中的数据是不断更新的，因此关系模式是相对变化的。F 同一外模式可以被某一用户的多个应用系统使用，但一个 ......
Python 之 爬虫实战 -- 免费音乐下载器
【Tkinter界面化小程序】用Python做一款免费音乐下载器、无广告无弹窗、清爽超流畅哦~ 思路 进入某音乐主页输入任意歌手，比如李XX为列。 音乐从哪里来？ 网站的服务器里 怎么从网址里得到音乐？ 向网站发起网络请求 最后用tkinter做成一个界面下载框即可 环境 本文用到的环境如下：Pyt ......
Python 之 爬虫实战 -- VIP视频解析小程序
VIP视频解析小程序 源码 # -*- coding:utf-8 -*- # url解析 from urllib import parse import tkinter.messagebox as msgbox import tkinter as tk import webbrowser impor ......
Python 之 爬虫实战 -- 爬取某网络小说
不生产小说，只做网站的搬运工，太牛逼了~（附源码） 源码 import requests from lxml import etree url = "https://www.biduo.cc/biquge/40_40847/" headers = { 'User-Agent': 'Mozilla/5 ......
Python 之 爬虫实战 -- 爬某音乐歌曲及评论信息
使用Selenium爬某音乐歌曲及评论信息啦~ Selenium简单介绍 1）简介 Selenium是一个用于测试网站的自动化测试工具，支持各种主流界面浏览 器。简而言之，Selenium是一个用来做网站自动化测试的库，它的定位是做 自动化测试的。我们也可以利用它来做爬虫，获取一些网页信息，并且这种 ......
Python 之 爬虫实战 -- 爬取某宝商品数据，附加某宝秒杀脚本
爬取某宝商品数据，附加某宝秒杀脚本 爬取某宝商品数据 源码 """ import requests # 第三方模块 import re import json import csv f = open('taobao.csv', mode='a', newline='', encoding='utf- ......
Java 之 实验二 -- 数据与表达式
实验二 数据与表达式 打印一首诗 编写一段Java程序，打印如下信息：“Roses are red”。程序应该包含一个main方法（参照例子Dreams.java。注意一下事项： 类名必须与文件名相匹配（不包括扩展名.java） main方法的定义必须位于类内部（在第一个“{”和最后一个“}”之间） ......
Java 之 实验三 -- 数据类型和交互式程序设计
实验三 数据类型和交互式程序设计 浮点数计算 编写一个应用程序，读取两个浮点数，然后打印输出他们的和、差及乘积。 import java.util.Scanner; public class fudianshu { public static void main (String[] args) { ......