生物制药 生物 数据 网络

数据采集与融合作业2

第二次作业 作业①: 要求:在中国气象网(http://www.weather.com.cn)给定城市集的7日天气预报,并保存在数据库。 1.代码如下 点击查看代码 from bs4 import BeautifulSoup from bs4 import UnicodeDammit import ......
数据采集 数据

2023数据采集与融合技术实践第二次作业

作业①: 要求: 在中国气象网(http://www.weather.com.cn)给定城市集的 7日天气预报,并保存在数据库。 代码: 核心程序 soup = BeautifulSoup(data, "lxml") lis = soup.select("ul[class='t clearfix'] ......
数据采集 数据 技术 2023

pytorch(8-1) 循环神经网络 序列模型

https://zh.d2l.ai/chapter_recurrent-neural-networks/sequence.html #%matplotlib inline import torch from torch import nn from d2l import torch as d2l f ......
神经网络 序列 模型 神经 pytorch

数据采集与融合实验二

码云链接 https://gitee.com/chenhhhs/homework_project/tree/master/homework2 作业① (1)、在中国气象网(http://www.weather.com.cn)给定城市集的 7日天气预报,并保存在数据库。 from bs4 import ......
数据采集 数据

数据采集与融合技术作业2

作业① – 要求:在中国气象网(http://www.weather.com.cn)给定城市集的 7日天气预报,并保存在数据库。 – 输出信息: Gitee 文件夹链接:作业链接 代码如下: import requests from lxml import etree import xlwt if ......
数据采集 数据 技术

数据采集与融合实践第二次实验作业

作业1 在中国气象网给定城市爬取七日天气 Gitte文件夹链接:https://gitee.com/prettykuromi/102102137/tree/master/作业2/问题1 首先点击链接进入网页,分析网页html结构,发现相关数据存储在一个个li中 根据分析结果编写findElement ......
数据采集 数据

虚拟环境搭建,luffy后台项目创建、目录调整,封装logger,封装全局异常,封装Response,后台数据库创建,luffy前台项目创建

1 虚拟环境搭建🚜 #1 虚拟环境作用 多个项目,自己有自己的环境,装的模块属于自己的 # 2 使用pycharm创建 -一般放在项目路径下:venv文件夹 -lib文件夹 》site-package--》虚拟环境装的模块,都会放在这里 -scripts--》python,pip命令 # 3 本地 ......
后台 项目 luffy 全局 前台

数据采集与融合技术实践作业二

作业① 要求:在中国气象网(http://www.weather.com.cn)给定城市集的 7 日天气预报,并保存在数据库。 输出信息: Gitee 文件夹链接 题一 心得体会 学会了数据库的基本使用 作业② 要求:用 requests 和 BeautifulSoup 库方法定向爬取股票相关信息, ......
数据采集 数据 技术

@是调用数据库连接(database link)的意思

数据库链接作用:从a数据库到b数据库之间访问的一种手段。 1、跨库查询:select * from 表明@数据库名 [where条件语句] 2、跨库同步数据:insert into 表名 select * from 表名@数据库名 [where 条件语句] 例如:假设有两个数据库:a和b,如果你用P ......
database 意思 数据库 数据 link

数据采集实践第二次作业

作业一:爬取给定城市集的7日天气预报 具体代码与运行结果 具体代码 码云链接 from bs4 import BeautifulSoup from bs4 import UnicodeDammit import urllib.request import sqlite3 class WeatherD ......
数据采集 数据

数据库链接(database link)

orcale表名后带@是什么意思? 例如 :select * from 表明@数据库名 @是调用数据库连接(database link)的意思 数据库链接作用:从a数据库到b数据库之间访问的一种手段。 1、跨库查询:select * from 表明@数据库名 [where条件语句] 2、跨库同步数据 ......
database 链接 数据库 数据 link

记一次ORACLE的离奇故障,ORACLE bug导致数据库连接时断时通

故障表现: Windows server平台下 Java应用程序和plsql developer客户端都无法连接数据库 plsql developer 报错 ora-12541 sqlplus报错 ora-12560 用 lsnrctl status 查看监听 则一直显示正在连接... 处理过程: ......
ORACLE 故障 数据库 数据 bug

数据库存储过程-生产实践

1.创建存储过程日志表 点击查看代码 CREATE TABLE log_table ( id INT AUTO_INCREMENT PRIMARY KEY, log_message VARCHAR(255), log_timestamp TIMESTAMP DEFAULT CURRENT_TIMES ......
过程 数据库 数据

数据采集与融合技术实践作业二

作业一: 要求: 在中国气象网(http://www.weather.com.cn)给定城市集合的7日天气预报,并保存在数据库。 输出信息: Gitee文件夹链接 实验: from bs4 import BeautifulSoup from bs4 import UnicodeDammit impo ......
数据采集 数据 技术

数据解析之re正则表达式

数据解析之re正则表达式 1. 正则基础 1.1 为什么使用正则 需求 判断一个字符串是否是手机号 解决 编写一个函数,给函数一个字符串,如果是手机号则返回True,否则返回False 代码 def isPhone(phone): # 长度为11 # 全部都是数字字符 # 以1开头 pass if ......
正则 表达式 数据

【最佳实践】MongoDB导入数据时重建索引

MongoDB一个广为诟病的问题是,大量数据resotore时索引重建非常缓慢,实测5000万的集合如果有3个以上的索引需要恢复,几乎没法成功,而且resotore时如果选择创建索引也会存在索引不生效的问题,种种情况表明,MongoDB的一些默认设置存在明显不合理之处。 当然,深入理解后总会有办法解 ......
索引 MongoDB 数据

以视频融合平台EasyCVR为例探讨视频汇聚平台如何提升网络稳定性

EasyCVR是一款安防视频监控平台,可进行视频集中存储和云存储,并且拥有强大的可拓展性、灵活的视频能力和轻快的部署。该平台支持多种主流标准协议,包括国标GB28181、RTSP/Onvif、RTMP等,并且支持厂家私有协议和SDK接入,例如海康Ehome、海大宇等设备的SDK。除了传统安防视频监控 ......
平台 视频 稳定性 EasyCVR 网络

R语言 常用 文件格式 和 数据格式

**R 语言文件格式:** -R 语言使用各种文件格式来存储和共享代码和数据。R 中一些常用的文件格式包括: 1。**R 脚本 (.R) **:R 脚本是扩展名为 “.R” 的纯文本文件,包含 R 代码。它们可以使用任何文本编辑器创建和编辑,并在 R 中执行以运行代码。 2。**R Markdown ......
格式 常用 语言 文件 数据

DataFrame通过JDBC读写数据读写到数据mysql

# coding:utf8 import time from pyspark.sql import SparkSession from pyspark.sql.types import StructType, StringType, IntegerType import pandas as pd f ......
数据 DataFrame mysql JDBC

Redis——底层和数据结构

数据结构 简单动态字符串SDS 可以认为在Redis中所有的东西最终都是字符串。Redis是C语言实现的,但是Redis没有直接使用C语言中的字符串,C语言字符串是字符数组实现的,存在很多问题: 1、获取字符串的长度需要运算,时间复杂度达到O(n)。 2、非二进制安全,无法保存\0字符(被识别成结束 ......
数据结构 底层 结构 数据 Redis

df -h查看磁盘空间不足,du -sh /*却没有找到大数据文件

df -h Filesystem Size Used Avail Use% Mounted on /dev/vda1 296G 199G 82G 71% / tmpfs 7.8G 0 7.8G 0% /dev/shm 但是通过du -sh/* 查看7.7M /bin 138M /boot 214M ......
磁盘 文件 数据 空间 df

数字化校园建设,NTP数字电子时钟(网络时钟系统)方案

数字化校园建设,NTP数字电子时钟(网络时钟系统)方案 数字化校园建设,NTP数字电子时钟(网络时钟系统)方案 京准电子科技官微——ahjzsz 本系统提供一套支持最新的网络时间协议NTPv4的软件以及其配置方案,为网络中的设备提供NTP服务。 系统由三部分组成,分别为嵌入式一级网络时间服务器,二级 ......
时钟 数字 校园建设 方案 校园

Unity 通信方案 - 使用 Google Protobuf 序列化数据

1.下载和编译 1.1 下载ProtoBuf源文件 从 github 下载最新的 protoBuf 库,如下图所示 Releases · protocolbuffers/protobuf (github.com) 1.2 编译dll和导入 解压后打开 /scharp/src 中的 sln 工程文件 ......
序列 Protobuf 方案 数据 Google

安全工具合集:125个最佳网络安全工具-SecToolsOrg

SecToolsOrg是什么 SecToolsOrg是一个国外网友创建的安全工具网站,收集了125个最佳网络安全工具,网站为英文语言,网站提供评级、评论、搜索、排序和新工具建议表,该站点允许在任何平台上使用开源和商业工具,每款软件工具都有详细的介绍截图等等,感兴趣的同学可以到网站学习。 英文页面 1 ......
工具 SecToolsOrg 网络安全 网络 125

一份安全指南:如何在网络中保护隐私

2021 年 10 月 24 日 KallyDev 与社区共同撰写 中国人更加开放,或者说对于隐私问题没有那么敏感。如果说他们愿意用隐私来交换便捷性或者效率,很多情况下他们是愿意这么做的。 —— 李彦宏 百度 CEO Github原文链接:https://github.com/kallydev/pr ......
隐私 指南 网络

Kubernetes-Service 网络资源

目录Kubernetes-Service 网络资源nginx-php-mysql 分开部署示例k8s 的三种 IPnginx 示例(ClusterIP)DeploymentClusterIPmysql 示例(ClusterIP)DeploymentserviceSVC 的通信流程nginx 示例(N ......

使用binlog恢复数据

目录数据模拟恢复到查找最初始的建prod表查找updata语句查找delete语句查找删除语句 数据模拟 [root@db01 ~]# cat 6.sh #!/bin/bash mysql -uroot -p123 -e "drop database if exists prod;" mysql - ......
数据 binlog

MySQL数据备份

目录MySQL数据备份binlog存在问题binlog作用为什么要备份备份类型备份方式备份策略(每天一次全备,每小时一次增备)MySQL逻辑备份工具mysqldump所有库备份备份单个库备份时刷新binlog打点备份参数快照备份实用扩展选项额外扩展选项(很好用的)完整备份语句mysqldump的恢复 ......
数据备份 备份 数据 MySQL

创建数据库全量备份脚本

创建用户账号和密码配置文件 # 创建一个backup的登录路径 mysql_config_editor set --login-path=backup --host=localhost --user=username --password 在上述命令中,将 backup 替换为适合您的环境和需求的登 ......
脚本 备份 数据库 数据

图形化登录,数据库设置

# 创建库 root@localhost [tu] >create database tu; ## 进入库 use tu; # 创建表结构 CREATE TABLE `tiao` ( `ip` int(10) unsigned zerofill NOT NULL AUTO_INCREMENT COM ......
图形 数据库 数据