数据 数据备份freefilesync备份
gopup：Python公开数据仓库
GoPUP 支持Python 3.7+，旨在使获取数据尽可能方便，主要用于学术研究目的。 GoPUP 项目所采集的数据皆来自公开的数据源，不涉及任何个人隐私数据和非公开数据。 同时本项目提供的数据接口及相关数据仅用于学术研究，任何个人、机构及团体使用本项目的数据接口及相关数据请注意商业风险。 部分接 ......
【小睿的ML之路】Pandas数据预处理（含泰坦尼克号数据分析案例实战）
import pandas food_info = pandas.read_csv("food_info.csv",encoding="gbk") print(food_info) 名称 价格（元） 糖分（g） 重量（kg） 含水量（mg） 0 苹果 200 20 10 30 1 香蕉 100 50 ......
Power BI: 如何进行数据模糊匹配
问题描述： 业务同事反馈，最近在做一个送赠品的活动。发现有相当一部分用户有薅羊毛的嫌疑。 询问是否有方法可以找快递地址的相似度，业务同事会设置几个相似度百分比级别，把达到相似度级别的地址找出然后进行人工鉴定。 由于相关分析报告前期都是在Power BI中完成，所以询问是否可以在Power BI中完成 ......
数据结构之栈
1. 什么是栈？ 栈是一种常见的数据结构，它遵循先进后出（LIFO）的原则。栈可以用来解决很多实际问题，比如函数调用、表达式求值、括号匹配等。 2. 特点 栈是一种线性数据结构，由一系列元素组成。 栈的插入和删除操作只能在栈的顶部进行。 栈的顶部元素是最后一个插入的元素，也是唯一可以访问的元素。 3 ......
pandas中的dataframe使用loc取数据之后进行操作后对原来的dataframe产生影响的bug
相关问题： Python pandas.DataFrame在用ix, loc, iloc 索引的时候就相当于拷贝copy了一个对象_reachHigher的博客-CSDN博客 针对这样子的dataframe： 如果进行单列选取后得到的是series类型的数据： 那么对part_1进行修改后会对原来的 ......
PivotGridControl自定义行数据的统计公式
我们在使用PivotGridControl进行数据统计的时候，用时候需要在不同的行使用不同的汇总公式的情况，本文就是为了说明怎么实现此功能，如下图说明 数据源： 注意：此时数据列指定的SummaryType设置的是Sum；并且数据列指定了为double类型 SummaryType指定的几种聚合函数， ......
python网络爬虫——爬取东方财富网股票数据并分析
一、选题的背景： 股票数据分析是一个非常重要的领域，它可以帮助投资者做出更明智的投资决策。选取这个选题的背景主要有以下几点： 1. 市场波动：股票市场不断波动，价格的涨跌对投资者来说是一个重要的影响因素。通过对股票数据进行分析，可以揭示市场的走势和各种趋势，帮助投资者更好地了解市场状况，制定合理的投 ......
MySQL数据库
目录MySQL数据库1. 基本概念2. DBMS3. 发展史4. 主流数据库介绍5. 数据库分类5.1 关系数据库5.2 非关系型数据库6. SQL语句6.1 SQL语句分类:6.1.1 DDL:数据定义语言，用于管理数据库对象，如库、表、索引等6.1.2 DML:数据操纵语言，用于管理表数据6.1 ......
Python读取SQLite数据库文件并转csv（.sqlite 文件）
要读取一个SQLite数据库文件（.sqlite 文件），可以使用各种编程语言提供的SQLite库来执行数据库操作。 以下是一个Python的示例，演示如何使用sqlite3库来读取SQLite数据库文件： import sqlite3 # 连接到SQLite数据库文件 conn = sqlite3 ......
20230914-python爬取数据写入到excel
python爬取数据写入到excel 1。查看是否安装了相应的插件 pip list 2。查看是否安装了 pandas （安装命令在cmd中安装，pip install pandas） 3。查看是否安装 openpyxl pip install openpyxl ####写入excel import ......
ubuntu22.04.3 安装postgresql 16 rc1数据库
ubuntu22.04.3 安装postgresql 16 rc1数据库 一、直接安装 # Create the file repository configuration: sudo sh -c 'echo "deb https://apt.postgresql.org/pub/repos/apt ......
NoSQL数据库
1、什么是NoSQL NoSQL(Not only SQL)是对不同于传统的关系数据库的数据库管理系统的统称，即广义地来说可以把所有不是关系型数据库的数据库统称为NoSQL。 NoSQL 数据库专门构建用于特定的数据模型，并且具有灵活的架构来构建现代应用程序。NoSQL 数据库使用各种数据模型来访问 ......
HBase学习5（HBase java编程:创建项目，创建删除表，数据增删改查）
1.准备工作 1.1 创建IDEA Maven项目 其中名字为hbase_op，groupid为cn.itcast 然后导入pom依赖 <repositories><!-- 代码库 --> <repository> <id>aliyun</id> <url>http://maven.aliyun.c ......
人大金仓-国产数据库--九五小庞
1.人大金仓数据库官网介绍 人大金仓专注数据库领域20余载，具备出色的数据库产品研发及服务能力。曾先后承担国家“863”、电子发展基金、信息安全专项、国家重点研发计划、“核高基”等重大课题研究。核心产品金仓数据库管理系统 KingbaseES是具备先进水平的大型通用数据库。2018年人大金仓申报的“ ......
天翼云存储资源盘活系统HBlock，全面释放企业数据价值
9月6日，天翼云与科技媒体InfoQ联合举办的以“存储难题新解法，揭秘极/致易用的HBlock”为主题的线上技术分享会圆满落幕。天翼云国际业务事业部研发专家武志民与存储产品线总监魏玮以“天翼云存储资源盘活系统 HBlock，深挖独创技术亮点与实战演练”为主题，分享了HBlock在安装部署、数据可靠性... ......
以太坊数据存证性能与膨胀率测试
我们基于区块链在企业中的应用最广泛的就是“存证”功能需求，这是利用了区块链不可篡改和数据共享的特点，存证的业务数据一方面可以保证留痕和追溯，另一方面也实现了多个节点（如果部署在不同企业和部门）之间的数据共享。如果要实现存证，我们最关心并不是图灵完备，也不是去中心化，而是 存证的性能（也就是TPS）和 ......
零拷贝技术：减少数据复制和上下文切换，提高网络传输效率（上）
在本次讨论中，我们确实只是提到了DMA技术在文件传输过程中的重要作用，并对零拷贝技术进行了简要介绍。然而，网络传输中存在的问题和优化方法是一个庞大的话题，涉及到诸多方面。因此，我决定将这些问题的详细讨论留到下一篇文章中，以便更全面地探讨网络传输的优化。我希望通过这样的讨论，能够为读者提供有益的信息和... ......
数据库更新效率测试
有个项目记录采集点的实时数据（mysql5.7），约5000条记录，在C#的DataTable更新好后，一次性Update到表中，但速度非常慢要4分钟左右，但程序定时更新为5分钟，经常超时，也找不到好的办法，最后把这个表改为Memory引擎后速度提高到5秒左右，总算解决了问题。 因为此，在本机做了些 ......
MySQL单表数据量
小结： 1、 数据页需要读写，写入到一半的过程中可能会发生了意外断电等情况，所以为了保证数据页的准确性，还引入了校验码； 我跟面试官说MySQL单表数据量不要超过两千万，面试官不信 https://mp.weixin.qq.com/s/C3VI2-pMkhkNIwxzQlhdLg 翻译 搜索 复制 ......
ES中Nested数据类型介绍
ES中Nested数据类型官网地址 注：针对集合类型的属性，对象数组存储，默认情况下ES会对其进行扁平化处理。在使用DSL语句进行查询时，必须按照Nested方式进行搜索，否则搜索不到数据。 使用Nested数据类型可以避免扁平化处理 Nested(嵌套类型)：是object的一种数据类型，允许对象 ......
企业如何高效平滑迁移数据？火山引擎DataLeap上线整库搬迁解决方案
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，火山引擎大数据研发治理套件DataLeap上线整库搬迁解决方案，包括整库离线同步、整库实时同步两大能力，大大提升数据上云便捷性，降低数据迁移成本，使用户易上手，低运维。 该解决方案基于成熟的技术引擎底座，同时 ......
oracle获取xml节点数据
1.新增获取节点函数 CREATE OR REPLACE FUNCTION get_xml_nodeValue(xmlStr CLOB, nodeName VARCHAR2) RETURN VARCHAR2 IS xmlPar xmlparser.Parser := xmlparser.newPar ......
数据分享|MATLAB、R基于Copula方法和k-means聚类的股票选择研究上证A股数据|附代码数据
全文链接：http://tecdat.cn/?p=31733 最近我们被客户要求撰写关于Copula的研究报告，包括一些图形和统计输出。 Copula方法是测度金融市场间尾部相关性比较有效的方法，而且可用于研究非正态、非线性以及尾部非对称等较复杂的相依特征关系 因此，Copula方法开始逐渐代替多元 ......
数据分享|R语言逻辑回归、线性判别分析LDA、GAM、MARS、KNN、QDA、决策树、随机森林、SVM分类葡萄酒交叉验证ROC|附代码数据
全文链接:http://tecdat.cn/?p=27384 最近我们被客户要求撰写关于葡萄酒的研究报告，包括一些图形和统计输出。 在本文中，数据包含有关葡萄牙“Vinho Verde”葡萄酒的信息 介绍 该数据集（查看文末了解数据获取方式）有1599个观测值和12个变量，分别是固定酸度、挥发性酸度 ......
R语言用logistic逻辑回归和AFRIMA、ARIMA时间序列模型预测世界人口|附代码数据
全文下载链接 :http://tecdat.cn/?p=27493 最近我们被客户要求撰写关于预测世界人口的研究报告，包括一些图形和统计输出。 本文应用R软件技术，分别利用logistic模型、ARFMA模型、ARIMA模型、时间序列模型对从2016到2100年的世界人口进行预测 作者将1950年到 ......
R语言用逻辑回归预测BRFSS中风数据、方差分析anova、ROC曲线AUC、可视化探索
全文链接：https://tecdat.cn/?p=33659 原文出处：拓端数据部落公众号 行为风险因素监测系统（BRFSS）是一项年度电话调查。BRFSS旨在确定成年人口中的风险因素并报告新兴趋势。例如，调查对象被询问他们的饮食和每周体育活动、HIV/AIDS状况、可能的吸烟情况、免疫接种、健康 ......
杭州站｜阿里云 Serverless 技术实践营（Serverless + 大数据）开启报名！
活动简介 “Serverless 技术实战与创新沙龙 ” 是一场以 Serverless 为主题的开发者活动，通过一个下午的时间增进对 Serverless 技术的理解，快速上手,活动受众以关注 Serverless 技术的开发者、企业决策人、云原生领域创业者为主，活动形式为演讲、动手实操。 Ser ......
使用MySQL存储过程提高数据库效率和可维护性
MySQL 存储过程是一种强大的数据库功能，它允许你在数据库中存储和执行一组SQL语句，类似于编程中的函数。存储过程可以大幅提高数据库的性能、安全性和可维护性。本文将详细介绍MySQL存储过程的使用。 什么是MySQL存储过程？ MySQL存储过程是一组预编译的SQL语句，它们以一个名称存储在数据库 ......
excel导入数据 引发OutOfMemoryError：Javaheap space 持续优化过程 load data infile,easyExcel,executeBatch()批量插入的应用
本文不长读完需要 3分20秒，不包含看这些代码； 项目中处理一个导入需求： 客户会不定期整理一份excel 文档，通过项目系统中的导入功能导入到数据库中；excel 为固定格式，共145列；落地到数据库对应的不同表中,主要存储信息表 table_A 存储69列，这69个对应的字段 有double ， ......
mysql数据库基础
数据库 数据库：存储数据的仓库 语句规范： 不区分大小写 “；”作为结束，关键字不能多行和简写 空格 缩进 注释：单行注释：-- 多行注释 ：/*..*/ 语句可以分行操作 DDL DML(操作)和DCL(权限) ''' create database if not exists test; cre ......