图表 整体 部分 数据
Python贝叶斯高斯混合模型GMM聚类分析数据和混合密度可视化
全文链接 :https://tecdat.cn/?p=33821 原文出处：拓端数据部落公众号 混合模型是另一种生成模型，它将数据点的分布建模为多个单独分布的组合（"混合"）。客户常见的混合模型类型是高斯混合模型，其中数据生成分布被建模为多个高斯分布的组合。 import numpy as np i ......
虚拟环境搭建、luffy后台项目创建，目录调整、封装logger、封装全局异常、封装Response、后台数据库创建、Luffy前台项目创建
虚拟环境搭建 #1 虚拟环境作用 多个项目，自己有自己的环境，装的模块属于自己的 # 2 使用pycharm创建 -一般放在项目路径下：venv文件夹 -lib文件夹 》site-package--》虚拟环境装的模块，都会放在这里 -scripts--》python，pip命令 # 3 本地创建了虚 ......
Python随机波动模型Stochastic volatility，SV随机变分推断SVI分析标普500指数股票价格时间数据波动性可视化
全文链接:https://tecdat.cn/?p=33809 原文出处：拓端数据部落公众号 随机波动模型（Stochastic volatility models）经常被客户用来对股票价格随时间的变动性进行建模。波动性（volatility）是随时间的对数收益的标准差。与假设波动性恒定不变不同，随 ......
flask学习01-查询数据库（使用mysql）
环境准备 先安装连接 mysql 驱动包 pymysql pip install pymysql 安装Flask-SQLAlchemy 应用插件 pip install flask-sqlalchemy 代码示例 from flask import Flask, url_for, request, ......
数据采集与融合作业2
第二次作业 作业①: 要求：在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。 1.代码如下 点击查看代码 from bs4 import BeautifulSoup from bs4 import UnicodeDammit import ......
2023数据采集与融合技术实践第二次作业
作业①: 要求： 在中国气象网（http://www.weather.com.cn）给定城市集的 7日天气预报，并保存在数据库。 代码： 核心程序 soup = BeautifulSoup(data, "lxml") lis = soup.select("ul[class='t clearfix'] ......
数据采集与融合实验二
码云链接 https://gitee.com/chenhhhs/homework_project/tree/master/homework2 作业① (1)、在中国气象网（http://www.weather.com.cn）给定城市集的 7日天气预报，并保存在数据库。 from bs4 import ......
数据采集与融合技术作业2
作业① – 要求：在中国气象网（http://www.weather.com.cn）给定城市集的 7日天气预报，并保存在数据库。 – 输出信息: Gitee 文件夹链接：作业链接 代码如下： import requests from lxml import etree import xlwt if ......
App.vue 的组成部分
App.vue 文件（单文件组件）的三个组成部分：结构、样式、行为 结构通过 template 标签提供，行为通过 script 标签提供，样式通过 style 标签提供 三部分组成： template ：结构（vue2 中有且只能有一个根元素） script ：js 逻辑 style ：样式（可支 ......
数据采集与融合实践第二次实验作业
作业1 在中国气象网给定城市爬取七日天气 Gitte文件夹链接：https://gitee.com/prettykuromi/102102137/tree/master/作业2/问题1 首先点击链接进入网页，分析网页html结构，发现相关数据存储在一个个li中 根据分析结果编写findElement ......
虚拟环境搭建，luffy后台项目创建、目录调整，封装logger，封装全局异常，封装Response，后台数据库创建，luffy前台项目创建
1 虚拟环境搭建🚜 #1 虚拟环境作用 多个项目，自己有自己的环境，装的模块属于自己的 # 2 使用pycharm创建 -一般放在项目路径下：venv文件夹 -lib文件夹 》site-package--》虚拟环境装的模块，都会放在这里 -scripts--》python，pip命令 # 3 本地 ......
数据采集与融合技术实践作业二
作业① 要求：在中国气象网（http://www.weather.com.cn）给定城市集的 7 日天气预报，并保存在数据库。 输出信息： Gitee 文件夹链接 题一 心得体会 学会了数据库的基本使用 作业② 要求：用 requests 和 BeautifulSoup 库方法定向爬取股票相关信息， ......
@是调用数据库连接（database link）的意思
数据库链接作用：从a数据库到b数据库之间访问的一种手段。 1、跨库查询：select * from 表明@数据库名 [where条件语句] 2、跨库同步数据：insert into 表名 select * from 表名@数据库名 [where 条件语句] 例如：假设有两个数据库：a和b，如果你用P ......
数据采集实践第二次作业
作业一：爬取给定城市集的7日天气预报 具体代码与运行结果 具体代码 码云链接 from bs4 import BeautifulSoup from bs4 import UnicodeDammit import urllib.request import sqlite3 class WeatherD ......
数据库链接（database link）
orcale表名后带@是什么意思？ 例如 ：select * from 表明@数据库名 @是调用数据库连接（database link）的意思 数据库链接作用：从a数据库到b数据库之间访问的一种手段。 1、跨库查询：select * from 表明@数据库名 [where条件语句] 2、跨库同步数据 ......
记一次ORACLE的离奇故障,ORACLE bug导致数据库连接时断时通
故障表现: Windows server平台下 Java应用程序和plsql developer客户端都无法连接数据库 plsql developer 报错 ora-12541 sqlplus报错 ora-12560 用 lsnrctl status 查看监听 则一直显示正在连接... 处理过程: ......
数据库存储过程-生产实践
1.创建存储过程日志表 点击查看代码 CREATE TABLE log_table ( id INT AUTO_INCREMENT PRIMARY KEY, log_message VARCHAR(255), log_timestamp TIMESTAMP DEFAULT CURRENT_TIMES ......
数据采集与融合技术实践作业二
作业一: 要求： 在中国气象网（http://www.weather.com.cn）给定城市集合的7日天气预报，并保存在数据库。 输出信息： Gitee文件夹链接 实验： from bs4 import BeautifulSoup from bs4 import UnicodeDammit impo ......
TiDB恢复部分表的方式方法
TiDB恢复部分表的方式方法 背景 今天同事告知误删了部分表. 因为是UAT准生产的环境, 所以仅有每天晚上11点的备份处理. 同时告知 昨天的数据也可以. 得到认可后进行了 TiDB的单表备份恢复. 备份的语句 注意TiDB是可以增量备份恢复的 但是为了快速的恢复和解决背景中的问题. 我这边采用保 ......
数据解析之re正则表达式
数据解析之re正则表达式 1. 正则基础 1.1 为什么使用正则 需求 判断一个字符串是否是手机号 解决 编写一个函数，给函数一个字符串，如果是手机号则返回True，否则返回False 代码 def isPhone(phone): # 长度为11 # 全部都是数字字符 # 以1开头 pass if ......
【最佳实践】MongoDB导入数据时重建索引
MongoDB一个广为诟病的问题是，大量数据resotore时索引重建非常缓慢，实测5000万的集合如果有3个以上的索引需要恢复，几乎没法成功，而且resotore时如果选择创建索引也会存在索引不生效的问题，种种情况表明，MongoDB的一些默认设置存在明显不合理之处。 当然，深入理解后总会有办法解 ......
R语言 常用 文件格式 和 数据格式
**R 语言文件格式：** -R 语言使用各种文件格式来存储和共享代码和数据。R 中一些常用的文件格式包括： 1。**R 脚本 (.R) **：R 脚本是扩展名为 “.R” 的纯文本文件，包含 R 代码。它们可以使用任何文本编辑器创建和编辑，并在 R 中执行以运行代码。 2。**R Markdown ......
DataFrame通过JDBC读写数据读写到数据mysql
# coding:utf8 import time from pyspark.sql import SparkSession from pyspark.sql.types import StructType, StringType, IntegerType import pandas as pd f ......
Redis——底层和数据结构
数据结构 简单动态字符串SDS 可以认为在Redis中所有的东西最终都是字符串。Redis是C语言实现的，但是Redis没有直接使用C语言中的字符串，C语言字符串是字符数组实现的，存在很多问题： 1、获取字符串的长度需要运算，时间复杂度达到O(n)。 2、非二进制安全，无法保存\0字符（被识别成结束 ......
df -h查看磁盘空间不足，du -sh /*却没有找到大数据文件
df -h Filesystem Size Used Avail Use% Mounted on /dev/vda1 296G 199G 82G 71% / tmpfs 7.8G 0 7.8G 0% /dev/shm 但是通过du -sh/* 查看7.7M /bin 138M /boot 214M ......
Unity 通信方案 - 使用 Google Protobuf 序列化数据
1.下载和编译 1.1 下载ProtoBuf源文件 从 github 下载最新的 protoBuf 库，如下图所示 Releases · protocolbuffers/protobuf (github.com) 1.2 编译dll和导入 解压后打开 /scharp/src 中的 sln 工程文件 ......
二进制码部分知识回顾
&：与 相同1为1，不同为0 0000 0010 1111 1111 0000 0000 |：或 相同0的为0，不同为1 0000 0010 1111 1001 1111 1011 ~：非 0变1,1变0 0000 0010 1111 1101 <<：左移 相当于乘以2 int a = 1; ==> ......
使用binlog恢复数据
目录数据模拟恢复到查找最初始的建prod表查找updata语句查找delete语句查找删除语句 数据模拟 [root@db01 ~]# cat 6.sh #!/bin/bash mysql -uroot -p123 -e "drop database if exists prod;" mysql - ......
MySQL数据备份
目录MySQL数据备份binlog存在问题binlog作用为什么要备份备份类型备份方式备份策略（每天一次全备，每小时一次增备）MySQL逻辑备份工具mysqldump所有库备份备份单个库备份时刷新binlog打点备份参数快照备份实用扩展选项额外扩展选项（很好用的）完整备份语句mysqldump的恢复 ......
创建数据库全量备份脚本
创建用户账号和密码配置文件 # 创建一个backup的登录路径 mysql_config_editor set --login-path=backup --host=localhost --user=username --password 在上述命令中，将 backup 替换为适合您的环境和需求的登 ......