数据处理 字符串 脚本 字符
数据采集与融合技术作业2
作业① – 要求：在中国气象网（http://www.weather.com.cn）给定城市集的 7日天气预报，并保存在数据库。 – 输出信息: Gitee 文件夹链接：作业链接 代码如下： import requests from lxml import etree import xlwt if ......
紫书Unit3.字符数组
char c语言中字符型关键字用char表示，实际储存的是字符的 ascll码。 字符串是以‘\0’结尾。 同时，字符常量可以用单引号表示，'a',在语法上可以将字符当作int使用，`'a'+1会输出98； scanf输入char scanf("%s",s)，遇到空字符会停下来。 //3.5TEX中 ......
java中的异步任务处理和Feature接口
简介 Java并发包提供了一套框架，大大简化了执行异步任务所需要的开发。框架引入了“执行服务”的概念，封装了任务执行的细节，对任务提交者而言，他可以关注任务本身，如提交任务、获取结果、取消任务。而不用关注任务执行的细节。 基本接口 ①Runnable和Callable: 表示要执行的任务 ②Exce ......
数据采集与融合实践第二次实验作业
作业1 在中国气象网给定城市爬取七日天气 Gitte文件夹链接：https://gitee.com/prettykuromi/102102137/tree/master/作业2/问题1 首先点击链接进入网页，分析网页html结构，发现相关数据存储在一个个li中 根据分析结果编写findElement ......
虚拟环境搭建，luffy后台项目创建、目录调整，封装logger，封装全局异常，封装Response，后台数据库创建，luffy前台项目创建
1 虚拟环境搭建🚜 #1 虚拟环境作用 多个项目，自己有自己的环境，装的模块属于自己的 # 2 使用pycharm创建 -一般放在项目路径下：venv文件夹 -lib文件夹 》site-package--》虚拟环境装的模块，都会放在这里 -scripts--》python，pip命令 # 3 本地 ......
数据采集与融合技术实践作业二
作业① 要求：在中国气象网（http://www.weather.com.cn）给定城市集的 7 日天气预报，并保存在数据库。 输出信息： Gitee 文件夹链接 题一 心得体会 学会了数据库的基本使用 作业② 要求：用 requests 和 BeautifulSoup 库方法定向爬取股票相关信息， ......
@是调用数据库连接（database link）的意思
数据库链接作用：从a数据库到b数据库之间访问的一种手段。 1、跨库查询：select * from 表明@数据库名 [where条件语句] 2、跨库同步数据：insert into 表名 select * from 表名@数据库名 [where 条件语句] 例如：假设有两个数据库：a和b，如果你用P ......
数据采集实践第二次作业
作业一：爬取给定城市集的7日天气预报 具体代码与运行结果 具体代码 码云链接 from bs4 import BeautifulSoup from bs4 import UnicodeDammit import urllib.request import sqlite3 class WeatherD ......
数据库链接（database link）
orcale表名后带@是什么意思？ 例如 ：select * from 表明@数据库名 @是调用数据库连接（database link）的意思 数据库链接作用：从a数据库到b数据库之间访问的一种手段。 1、跨库查询：select * from 表明@数据库名 [where条件语句] 2、跨库同步数据 ......
记一次ORACLE的离奇故障,ORACLE bug导致数据库连接时断时通
故障表现: Windows server平台下 Java应用程序和plsql developer客户端都无法连接数据库 plsql developer 报错 ora-12541 sqlplus报错 ora-12560 用 lsnrctl status 查看监听 则一直显示正在连接... 处理过程: ......
数据库存储过程-生产实践
1.创建存储过程日志表 点击查看代码 CREATE TABLE log_table ( id INT AUTO_INCREMENT PRIMARY KEY, log_message VARCHAR(255), log_timestamp TIMESTAMP DEFAULT CURRENT_TIMES ......
day05-字符串
我们在上篇day04-数据类型中简单介绍了一下字符串，以及字符串的下标，今天我们来详细认识下字符串。 字符串（str）可以使用单引号或双引号来创建字符串，并且字符串是不可变的数据类型，字符串也是Python中最常用的数据类型，所以我们一定学会它，学习字符串一定先熟悉概念，知道是怎么回事，然后多练习 ......
JavaScript实现大文件分片上传处理
很多时候我们在处理文件上传时，如视频文件，小则几十M，大则 1G+，以一般的HTTP请求发送数据的方式的话，会遇到的问题: 1、文件过大，超出服务端的请求大小限制；2、请求时间过长，请求超时；3、传输中断，必须重新上传导致前功尽弃 这些问题很影响用户的体验感，所以下面介绍一种基于原生JavaScri ......
数据采集与融合技术实践作业二
作业一: 要求： 在中国气象网（http://www.weather.com.cn）给定城市集合的7日天气预报，并保存在数据库。 输出信息： Gitee文件夹链接 实验： from bs4 import BeautifulSoup from bs4 import UnicodeDammit impo ......
数据解析之re正则表达式
数据解析之re正则表达式 1. 正则基础 1.1 为什么使用正则 需求 判断一个字符串是否是手机号 解决 编写一个函数，给函数一个字符串，如果是手机号则返回True，否则返回False 代码 def isPhone(phone): # 长度为11 # 全部都是数字字符 # 以1开头 pass if ......
【最佳实践】MongoDB导入数据时重建索引
MongoDB一个广为诟病的问题是，大量数据resotore时索引重建非常缓慢，实测5000万的集合如果有3个以上的索引需要恢复，几乎没法成功，而且resotore时如果选择创建索引也会存在索引不生效的问题，种种情况表明，MongoDB的一些默认设置存在明显不合理之处。 当然，深入理解后总会有办法解 ......
R语言 常用 文件格式 和 数据格式
**R 语言文件格式：** -R 语言使用各种文件格式来存储和共享代码和数据。R 中一些常用的文件格式包括： 1。**R 脚本 (.R) **：R 脚本是扩展名为 “.R” 的纯文本文件，包含 R 代码。它们可以使用任何文本编辑器创建和编辑，并在 R 中执行以运行代码。 2。**R Markdown ......
文件处理工具
package com.thtf.zwdsj.fangjia.utils; import com.thtf.zwdsj.code.common.exception.CommonException; import org.apache.commons.fileupload.FileItem; impo ......
DataFrame通过JDBC读写数据读写到数据mysql
# coding:utf8 import time from pyspark.sql import SparkSession from pyspark.sql.types import StructType, StringType, IntegerType import pandas as pd f ......
Linux系列---【shell脚本-模拟手动跑每天的定时任务】
问题背景 上线的时候经常会遇到这样的问题，上线一个每天跑的定时任务，一般跑最近一年的数据，上线的时候需要手动跑过去最近一年的数据，手动肯定不方便，于是这里写了一个好用的shell脚本，来降本增效。 shell脚本 #!/bin/bash # 设置循环的日期范围 start_date="2023080 ......
Redis——底层和数据结构
数据结构 简单动态字符串SDS 可以认为在Redis中所有的东西最终都是字符串。Redis是C语言实现的，但是Redis没有直接使用C语言中的字符串，C语言字符串是字符数组实现的，存在很多问题： 1、获取字符串的长度需要运算，时间复杂度达到O(n)。 2、非二进制安全，无法保存\0字符（被识别成结束 ......
df -h查看磁盘空间不足，du -sh /*却没有找到大数据文件
df -h Filesystem Size Used Avail Use% Mounted on /dev/vda1 296G 199G 82G 71% / tmpfs 7.8G 0 7.8G 0% /dev/shm 但是通过du -sh/* 查看7.7M /bin 138M /boot 214M ......
【脚本】逐行读取txt文件
file_name = "train_names.txt" video_names = [] with open(file_name,"r" ) as f : for line in f: video_names.append(line.strip("\n")) print(video_names) ......
Unity 通信方案 - 使用 Google Protobuf 序列化数据
1.下载和编译 1.1 下载ProtoBuf源文件 从 github 下载最新的 protoBuf 库，如下图所示 Releases · protocolbuffers/protobuf (github.com) 1.2 编译dll和导入 解压后打开 /scharp/src 中的 sln 工程文件 ......
Java 应用启动脚本
启动代码 java -server -Xms4g -Xmx4g -Xss256k -XX:NewSize=512m -XX:MaxNewSize=512m -XX:+UseG1GC -XX:InitiatingHeapOccupancyPercent=40 -XX:G1HeapRegionSize= ......
创建数据库全量备份脚本
创建用户账号和密码配置文件 # 创建一个backup的登录路径 mysql_config_editor set --login-path=backup --host=localhost --user=username --password 在上述命令中，将 backup 替换为适合您的环境和需求的登 ......
使用binlog恢复数据
目录数据模拟恢复到查找最初始的建prod表查找updata语句查找delete语句查找删除语句 数据模拟 [root@db01 ~]# cat 6.sh #!/bin/bash mysql -uroot -p123 -e "drop database if exists prod;" mysql - ......
MySQL数据备份
目录MySQL数据备份binlog存在问题binlog作用为什么要备份备份类型备份方式备份策略（每天一次全备，每小时一次增备）MySQL逻辑备份工具mysqldump所有库备份备份单个库备份时刷新binlog打点备份参数快照备份实用扩展选项额外扩展选项（很好用的）完整备份语句mysqldump的恢复 ......
完整创建数据库,shell脚本
# 1.安装依赖 [root@db03 ~]# yum install -y autoconf libaio-devel # 1.解压 [root@db02 ~]# tar xf mysql-5.6.50-linux-glibc2.12-x86_64.tar.gz # 2.创建app目录 [root ......
图形化登录，数据库设置
# 创建库 root@localhost [tu] >create database tu; ## 进入库 use tu; # 创建表结构 CREATE TABLE `tiao` ( `ip` int(10) unsigned zerofill NOT NULL AUTO_INCREMENT COM ......