数据
python数据清洗日期格式和ipv4地址格式
清洗日期格式 import re from datetime import datetime # 读取文件 with open('result.txt', 'r') as file: data = file.read() # 使用正则表达式查找日期时间字符串 pattern = r'(\d{2}/[ ......
Sql Server中 Exists 关键字的大数据量性能问题
如果要判断sql语句是否有值， 可能回用到 exists 比如 if exists (Sql语句) -- 业务逻辑代码 若这样判断，当sql语句数据量很大，则判断很慢 ，我测试过 当100w 2 秒,当数据量达到 700w 则要22 秒 ，增加11倍 替代方案，废弃用exists ，直接赋值一个变量 ......
mysql 导入数据
使用navicat 工具(mysql workbench不好用，大文件时打不开，导入数据也慢)，选中数据库，右击选中“运行SQL文件”，找到文件开始执行即可 ......
云图说｜交换数据空间Exchange Data Space
交换数据空间EDS是一个数据交换过程中提供安全可控的交换平台，可为企业内外数据交换提供方便、快捷、安全、可控的解决方案，打破数据孤岛，提高企业数据获取和分享的效率。 ......
提升数据决策时效，火山引擎DataLeapCDC分库分表能力升级！
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，大数据研发治理套件DataLeap数据集成更新CDC分库分表能力，可做到将多个实例的多个数据库的多个分表同步到目标端的一个表中，先离线同步，然后实时同步。适用于分库分表场景。同时，支持将 MySQL 同步到E ......
数据结构与算法 | 链表（Linked List）
链表（Linked List）是一种线性数据结构，它由一系列节点（Node）组成，每个节点包含两部分：数据和指向下（上）一个节点的引用（或指针）。链表中的节点按照线性顺序连接在一起（相邻节点不需要存储在连续内存位置），不像数组一样存储在连续的内存位置。链表通常由头节点（Head）来表示整个链表，而尾... ......
MySQL创建用户并授权指定数据库
创建账号 CREATE USER '账号'@'%' IDENTIFIED BY '密码'; mysql8的话需要改一下加密方式 ALTER USER '账号'@'%' IDENTIFIED WITH mysql_native_password BY '密码'; 创建数据库，必须要有库，不然无法绑定 ......
java百万计级数据批量插入数据库（控制服务器cpu）
ThreadUtil.execute(()->{ List<Integer> sizeList = NumberUtils.calculateBatchSizes(num, BATCH_INSERT_NUM); sizeList.stream().forEach(size-> { List<Test ......
java中excel百万级数据导出（服务器cpu和内存的稳定，数据库的cpu的稳定）
@Slf4jpublic abstract class ExcelUtil { /** * 导出 * @param response * @param total * @param sheetCount * @param size * @param excelName */ public void ......
mysql批量更新，每条数据都不一样怎么办
UPDATE user SET age = CASE id WHEN 1 THEN 3 WHEN 2 THEN 4 WHEN 3 THEN 5 END WHERE id IN (1,2,3) php示例 $display_order = array( 1 => 4, 2 => 1, 3 => 2, ......
windows下postgresql数据库数据目录修改，data目录迁移
1、新建数据库数据目录（注意目录权限） 2、打开服务，停止postgresql数据库服务 3、运行cmd，输入regedit打开注册表，修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\postgresql-x64-9.1\ImagePa ......
2023数据采集与融合技术实践作业二
本次作业gitee仓库地址 作业①： * 要求：在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。 代码 from bs4 import BeautifulSoup from bs4.dammit import UnicodeDammit i ......
2023数据采集实践作业二
作业1: 要求：在中国气象网（http://www.weather.com.cn）给定城市集的 7日天气预报，并保存在数据库。 点击查看代码 from bs4 import BeautifulSoup from bs4 import UnicodeDammit import urllib.reque ......
2023数据采集实践二
作业①： 要求：在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。 文件夹链接：Gitee 代码和运行截图 from bs4 import BeautifulSoup from bs4.dammit import UnicodeDammit ......
《数据要素》
1.目前，我们数据要素政策体系架构已初步形成，擘画出数据资源大循环、数据要素价值充分实现、全体人民共享数字经济发展红利的宏伟蓝图。 2.人工智能发展对数据要素供给提出更高要求 大模型技术取得的突破离不开高质量数据的发展，人工智能技术发生了深刻的变革。数据已成为未来人工智能竞争的关键因素，人工智能正在 ......
数据采集与融合技术第二次作业
作业① 实验内容 要求：在中国气象网（http://www.weather.com.cn）给定城市集的 7日天气预报，并保存在数据库。 输出信息： Gitee文件夹链接：https://gitee.com/codeshu111/project/blob/master/作业2/爬取天气预报.py 实现 ......
数据采集与融合技术第二次实践作业
第二次作业 码云连接：https://gitee.com/crazypsz/spider/commit/566b31106cde3cd68bd87c63e851b299542e6565 作业一 实验 要求：在中国气象网（http://www.weather.com.cn）给定城市集的 7日天气预报 ......
数据采集实践作业2
数据采集实践作业2 作业一 要求：在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。 代码和运行截图如下: from bs4 import BeautifulSoup from bs4 import UnicodeDammit import ......
学习数据流图
今天，为了应对软考，我特意学习了数据流图的相关知识。 正方形（或立方体）表示数据的源点或终点； 圆角矩形（或圆形）代表变换数据的处理； 开口矩形（或两条平行横线）代表数据存储； 箭头表示数据流，即特定数据的流动方向。 数据流图有4种成分：源点和终点、处理、数据存储和数据流。画出上述定货系统的数据流图 ......
《数据结构》王卓老师 p48-p62学习反馈
跟着青岛大学-王卓老师的视频进行到链队列时，运行链队列代码的时候遇到了两个问题： 1.）Program received signal SIGSEGV Segmentation fault 附代码： #include<stdio.h> #include<stdlib.h> typedef char ......
数据链路层传输协议（点到点）：停等协议、GBN、SR协议
数据链路层的传输协议：停等协议、GBN、SR 停止等待协议（单窗口的滑动窗口协议） 滑动窗口协议：GBN、SR GBN协议 GBN发送方需响应的三件事 1. 上层调用（网络层） 上层要发送数据时,发送方先检查发送窗口是否已满。 如果未满,则产生一个帧并将其发送;如果窗口已满,发送方只需将数据返回给上 ......
【orcal】数据库中如何提高写代码的效率之快捷键设置
在数据库开发的过程中，有些操作要经常进行，为避免重复造轮子，因此，我们有必要想办法简化流程，以提高我们工作的效率！ 1. plsql（数据库开发工具客户端）快捷设置 PL/SQL Developer是一个集成开发环境，专门开发面向Oracle数据库的应用。PL/SQL也是一种程序语言，叫做过程化SQ ......
go使用snmp库查询mib数据
转载请注明出处： OID（Object Identifier）是一种用于标识和唯一命名管理信息库中的对象的标准方式。给定一个OID，可以确定特定的管理信息库对象，并对其进行操作。 go语言使用snmp库中的 k-sone/snmpgo 实现相关mib查询的代码如下： package main imp ......
【ORCAL】数据库中如何获取表或字段注释
在数据库开发过程中，我们会遇到这样的情况：不知道英文字段对应的中文意思。那该怎么办呢？今天教你一招！ 1 -- 表名注释 2 select * from all_tab_comments where Table_Name='B_MERCH' and owner = 'POSP'; 3 -- 表字段注 ......
【ORCAL】oracle 数据库中case when 语句的用法详解
今天向大家介绍oracle数据库中 case when 语句的用法详解，主要包括它的用法详解、使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值。 CASE WHEN 表达式有两种形式 1 --简单Case函数 2 3 CASE sex 4 WHEN '1' THEN '男' 5 ......
【Oracle】在Oracle数据库中如何查询表的创建和最后修改时间
在数据开发的过程中，有时候我们需要查看下数据库中表的创建时间和最后修改时间以及相关的一些操作，我们可以通过以下几条语句来实现； Oracle数据库 -- 查看当前用户下的表 1 SELECT * FROM USER_TABLES -- 查看数据库中所有的表 SELECT * FROM DBA_TAB ......
S - 数据结构复习 E. 第K大和
题目链接 妙妙题！ 难度：Medium-。 题意 给定一个 \(1\sim n\) 的全排列 \(A_1,A_2,\cdots,A_n\)。给定一个 \(k\)，统计所有长度 \(\geq k\) 的子区间的第 \(k\) 大的数的和。 \(n\leq 5\times 10^5\)，\(k\leq ......
初识数据库Mysql
1、数据库管理系统: 管理数据的软件 2、关系型数据excel MySQL、Oracle、SQL Server、SQLite、DB2,⾮关系型 map Redis、MongoDB。 3、数据库的管理系统(Database Management System)。 4、Mysql 现在流⾏的免费开源的关 ......
idea和数据库连接
1.加载驱动ClassforName 2.连接数据库DriverManager.getConnection connection代表数据库 数据库设置自动提交 事务提交 事务回滚 3.获得执行sql的对象 connection.createStatement(); 4.获得返回的结果集 Result ......