脚本 数量 数据mysql
数据采集与融合技术实践作业四
代码放在码云：仓库链接 第三次作业 作业1： 要求：熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。使用Selenium框架+ MySQL数据库存储技术路线爬取“沪深A股”、“上证A股”、“深证A股”3个板块的股票数据信息。 作业一代码文件夹：作业一 下面 ......
redis数据类型
·Redis 常见数据类型 string 可存储三种类型值： 字符串 整数 浮点数 string是最基本的类型，value可以是数字、字符串或者二进制数据。string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。 常用于缓存、计数、共享ses ......
vue兄弟组件共享数据
1、vue2.x中，兄弟组件共享数据的方式 EventBus。 一、A组件import eventBus from "@/components/eventBus";export default { methods: { send() { eventBus.$emit('share', this.st ......
mysql导入导出
导出整个数据库表结构和数据 mysqldump -uroot -ppasswod DATABASE_NAME > 1.sql 导出数据库中某一张表结构和数据 mysqldump -uroot -ppasswod DATABASE_NAME TABLE_NAME> 1.sql 导出数据库中某一张表结构 ......
docker mysql
docker run -d --name mysql --restart=always --privileged=true \ -v /opt/mysql/log:/var/log/mysql \ -v /opt/mysql/data:/var/lib/mysql \ -v /opt/mysql/c ......
MySQL
安装 MySQL（过程参考【精选】2023 年 MySQL 8.0 安装配置 最简易（保姆级）_mysql8.0安装配置教程_mobeicanyue的博客-CSDN博客） win + R 管理员权限使用cmd，验证MySQL安装是否成功 mysql -u root -p 安装 MySQL Workb ......
如何构建新一代实时湖仓？袋鼠云基于数据湖的探索升级之路
在之前的实时湖仓系列文章中，我们已经介绍了实时湖仓对于当前企业数字化转型的重要性，实时湖仓的功能架构设计，以及实时计算和数据湖结合的应用场景。 在本篇文章中，将介绍袋鼠云数栈在构建实时湖仓系统上的探索与落地实践，及未来规划。 数栈为什么选择实时湖仓 数栈作为一个数据开发平台，在未引入实时湖仓之前提供 ......
MySQL8
MySQL8.0：窗口函数 一、MySQL8.0窗口函数概述 1、什么是窗口函数 窗口函数是类似于可以返回聚合函数值的函数，例如SUM()，COUNT()，MAX()。但是窗口函数又与普通的聚合函数不一样，它不会对结果进行分组，使输出中的行数和输入中的行数相同。 窗口函数示例： select sum ......
mysql安装及卸载
Sql基础 语法特点 1、 关键字大小不敏感； 2、 Sql语句可以单行或分行书写，以分号结束； 3、 单行或多行注释； MySQL支持三种注释方式： 1.从‘#'字符从行尾。 2.从‘-- '序列到行尾。请注意‘-- '(双破折号)注释风格要求第2个破折号后面至少跟一个空格符(例如空格、tab、换 ......
为zabbix_server_docker容器安装Python 3完善机器人告警脚本环境
1.安装Python 3 dnf install python3 2.要验证安装，请输入以下命令检查Python版本： python3 --version 3.建立软连接： ln -s /usr/bin/python3.6 /usr/bin/python 4.安装epel： dnf install ......
火山引擎ByteHouse联合Apache Airflow，让数据管理更加高效
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，火山引擎ByteHouse 正式宣布与 Apache Airflow 兼容，两者结合不仅可以高效地存储和处理大量数据、实现更便捷的数据管理，还可以使得数据基础设施的设置和维护变得无缝化。 Apache Air ......
mysql基本使用
MySQL常用图形化工具： Navicat Sqlyog Mysql workbend(msi自动安装) ////////////////////////////////////////////////////////// Mysql数据库基本操作 1、 ddl数据定义语言 对数据库的常用操作 l ......
Sql server基础使用（四）：数据增删改
对所学Sqlserver知识进行一下记录总结，某些用法之间还可以关联使用，欢迎补充和讨论。本人比较懒，结果的截图暂时就先不传了，什么时候想起来再说吧~~ 1.数据表增加数据 增加数据，下面列出我所知道的几种方法 （1）普通插入 inset into + values INSERT INTO dbo. ......
使用Springboot结合mybatis搭建最简单的操作mysql教程
废话不说，上代码 pom文件，如果是jdk1.8,请使用如下的SpringBoot版本号 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http ......
ODBC 连接 Doris数据库
前言 主要测试通过ODBC方式来连接Doris 数据 一、环境 1、Cntos7 1、Doris 2.0.2 2、Mysql-connector-odbc-5.3.7 二、使用步骤 1.安装 odbc驱动 Mysql ODBC驱动下载地址 https://downloads.mysql.com/ar ......
Oracle找出所有表字段中值包含中文并生成扩充字段的SQL脚本
Oracle找出所有表字段中值包含中文并生成扩充字段的SQL脚本 背景 后续计划将Oracle的某个库迁移到云上的达梦库，Oracle字符集为ZHS16GBK，达梦库字符集为UTF-8。 我们知道，中文汉字在UTF8中一个汉字占3个字节，而在GBK中则是占2个字节，测试过程发现若字段中存有中文的行， ......
【数据处理脚本】字符串
1. 检测一个字符串内是否有中文 # 检测字符串是否含有中文 def is_contain_chinese(check_str): for ch in check_str: if u'\u4e00' <= ch <= u'\u9fff': return True return False 2. 去除 ......
datax抽取mysql数据到hive报错：javax.net.ssl.SSLException: Connection reset
datax抽取mysql数据报错： [INFO] 2023-11-09 12:35:14.090 +0000 - -> 2023-11-09 20:35:13.492 [0-0-0-reader] ERROR ReaderRunner - Reader runner Received Excepti ......
【数据可视化】matplotlib画图设置
1.全局更改图表外观 plt.style.use("ggplot") 2.全局更改图片内的字体/可每次画图都重新定义一下个性化 plt.rc('font',family='Times New Roman', size=20) 3. 画竖直排列的柱状图 def visualization(nameli ......
Unity DOTS系列之System中如何使用SystemAPI.Query迭代数据
最近DOTS发布了正式的版本, 我们来分享一下System中如何基于SystemAPI.Query来迭代World中的数据，方便大家上手学习掌握Unity DOTS开发。 SystemAPI.Query的使用 System有两种，一种是Unmanaged 的ISystem,一种是managed 的S ......
Delphi 10.x 提示脚本错误的解决方法
Delphi 10.x 提示脚本错误的解决方法 解决办法如下： 10.1版本修改方法： 打开注册表，在cmd中输入regedit,以管理员的身份运行， 找到HKEY_CURRENT_USER\SOFTWARE\Embarcadero\BDS\18.0\Known IDE Packages项， 找到$ ......
skywaling 数据刷新过快导致es写入block
我们可以做些调优，skywalking写入ES的操作是使用了ES的批量写入接口。我们可以调整这些批量的维度。尽量降低ES索引的写入频率，如： bulkActions: ${SW_STORAGE_ES_BULK_ACTIONS:4000} # Execute the bulk every 2000 r ......
python 调用googleapiclient接口采集作品详细数据
1、代码示例 import googleapiclient import googleapiclient.discovery import googleapiclient.errors # 测试获取账号信息 def get_account_data(): channelId_list= ['UCj7 ......
远程连接 Mysql 失败的解决方法
今天在虚拟机Ubuntu上折腾了一晚上mysql，然后试着用java连接，搞了很久都没成功，但是同学配好的Debian上却连接成功了，也就是说我的配置有问题。更多技术干货详见www.www.linuxprobe.com ......
mysql产生临时表的原因有哪些？
mysql产生临时表的原因有哪些？ 排序操作：如果查询语句中包含了ORDER BY子句，MySQL就会使用临时表来存储排序结果。 分组操作：如果查询语句中包含了GROUP BY子句，MySQL就会使用临时表来存储分组结果。 连接操作：如果查询语句中包含了JOIN子句，MySQL可能会使用临时表来存储 ......
线上SQL超时场景分析-MySQL超时之间隙锁
数据库底层实现博大精深，本文所述，根据线上场景进行了一些研究和探讨，希望能为相关场景提供一些启示。文章中难免会有不足之处，希望读者能给予宝贵的意见和建议 ......
mysql的redo log
所谓两阶段提交，其实就是把 redo log 的写入拆分成了两个步骤：prepare 和 commit。 首先，存储引擎将执行更新好的新数据存到内存中，同时将这个更新操作记录到 redo log 里面，此时 redo log 处于 prepare 状态。然后告知执行器执行完成了，随时可以提交事务 然 ......
Unity DOTS系列之System中如何使用SystemAPI.Query迭代数据
最近DOTS发布了正式的版本, 我们来分享一下System中如何基于SystemAPI.Query来迭代World中的数据，方便大家上手学习掌握Unity DOTS开发。 SystemAPI.Query的使用 System有两种，一种是Unmanaged 的ISystem,一种是managed 的S ......
国内某头部电力企业：实现数据安全可控交换 降低数据泄露风险
造福社会的电力企业 甘肃某电力企业司隶属全球某500强企业，成立于2011年，主要经营电源、煤矿、水利、公路、基地等项目。该电力企业以高质量发展为中心，注重“安全、高效、绿色、智能”，致力于为国家和社会做出更大贡献。 需求和挑战 为了保障内部核心数据的安全，该电力企业对内部的整体网络安全做了全面的规 ......
Teamcenter 如何要直接从数据库表取数据的注意要点
1、如果是取某个类型版本的数据，这种涉及到版本的，一定要主要版次的问题。 比如说产品表。 签出修改签入后，会产生多个版本。 解决方法：版本表，还要拼接 PWORKSPACEOBJECT 的 pactive_seq 字段来进行校验 2、日期的问题。比如说取时间表任务的开始和结束时间。因为在数据库保存的 ......