数据处理 字符串 脚本 字符
提升数据决策时效，火山引擎DataLeapCDC分库分表能力升级！
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，大数据研发治理套件DataLeap数据集成更新CDC分库分表能力，可做到将多个实例的多个数据库的多个分表同步到目标端的一个表中，先离线同步，然后实时同步。适用于分库分表场景。同时，支持将 MySQL 同步到E ......
数据结构与算法 | 链表（Linked List）
链表（Linked List）是一种线性数据结构，它由一系列节点（Node）组成，每个节点包含两部分：数据和指向下（上）一个节点的引用（或指针）。链表中的节点按照线性顺序连接在一起（相邻节点不需要存储在连续内存位置），不像数组一样存储在连续的内存位置。链表通常由头节点（Head）来表示整个链表，而尾... ......
MySQL创建用户并授权指定数据库
创建账号 CREATE USER '账号'@'%' IDENTIFIED BY '密码'; mysql8的话需要改一下加密方式 ALTER USER '账号'@'%' IDENTIFIED WITH mysql_native_password BY '密码'; 创建数据库，必须要有库，不然无法绑定 ......
java百万计级数据批量插入数据库（控制服务器cpu）
ThreadUtil.execute(()->{ List<Integer> sizeList = NumberUtils.calculateBatchSizes(num, BATCH_INSERT_NUM); sizeList.stream().forEach(size-> { List<Test ......
如何使用markdown语法展示纯文本效果，不考虑特殊字符带来的影响
作者希望能够像xml中的![CDATA[ 纯文本内容 ]]那样，里面包裹的内容就是纯文本的，因为有时候我不想因为一些特殊字符比如: # 这种字符导致文字变大加粗 网上查找了资料，不知道是这方面的内容少还是我输入的关键字有误，查到的资料寥寥无几，有效的是让你使用\（反斜杠）来转义内容，还有就是使用`（ ......
Linux-shell脚本使用ssh远程执行命令通过密码的方式登录
1. sshpass简介 sshpass 是一个在非交互式 ssh 会话中自动输入密码的工具。它可以直接在命令行中指定密码，因此可以用于 Shell 脚本等自动化场景。在 Red Hat 系统中，可以通过 epel-release 源安装 sshpass。 epel-release 源是 Extra ......
java中excel百万级数据导出（服务器cpu和内存的稳定，数据库的cpu的稳定）
@Slf4jpublic abstract class ExcelUtil { /** * 导出 * @param response * @param total * @param sheetCount * @param size * @param excelName */ public void ......
mysql批量更新，每条数据都不一样怎么办
UPDATE user SET age = CASE id WHEN 1 THEN 3 WHEN 2 THEN 4 WHEN 3 THEN 5 END WHERE id IN (1,2,3) php示例 $display_order = array( 1 => 4, 2 => 1, 3 => 2, ......
linux打包Qt，收集依赖库脚本
编写shell脚本，用来收集Qt的依赖库，避免在无环境裸机上无法运行 1.创建shell脚本：touch pack.sh 2.编辑shell脚本，脚本内容如下：vi pack.sh 3.给脚本增加权限：chmod +x pack.sh 4.运行shell脚本，收集依赖库：./pack.sh #!/b ......
【JDK】自定义注释处理程序插件 AbstractProcessor
1 前言 最近比较好奇，Lombok、MapStruct 里的注解，会在打包的时候会给我们的字节码文件里，写入一些东西甚至生成一些转换的字节码文件，不知道人家是如何做到的，所以抽空看了看，自己写了一个小Demo，来体验下。我们的目标就是引入自己的 AbstractProcessor 的 maven依 ......
21.python异常处理和断言
python异常处理和断言 目录python异常处理和断言异常捕获流程案例触发异常异常类型异常处理的优点断言函数assert 异常捕获流程 捕捉异常可以使用try/except语句。 try/except语句用来检测try语句块中的错误，从而让except语句捕获异常信息并处理。 try: <语句> ......
【问题记录】自定义注解处理程序 AbstractProcessor，就是不生效，执行没效果
1 前言 最近在看注解处理程序，也想打包的时候，生成一点自己的东西，写了一个 AbstractProcessor，奶奶的花了两个早上，一直想不明白为什么不生效： 唉，仅记录哈。 ......
Kraft模式下Kafka脚本的使用
Kafka集群 版本：V3.5.1 名称 Node1 Node2 Node3 IP 172.29.145.157 172.29.145.182 172.29.145.183 （1）查看Kraft集群中的状态以及Leader节点，投票节点 使用--status可以查看集群选举次数/水位线以及投票节点等 ......
windows下postgresql数据库数据目录修改，data目录迁移
1、新建数据库数据目录（注意目录权限） 2、打开服务，停止postgresql数据库服务 3、运行cmd，输入regedit打开注册表，修改 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\postgresql-x64-9.1\ImagePa ......
2023数据采集与融合技术实践作业二
本次作业gitee仓库地址 作业①： * 要求：在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。 代码 from bs4 import BeautifulSoup from bs4.dammit import UnicodeDammit i ......
2023数据采集实践作业二
作业1: 要求：在中国气象网（http://www.weather.com.cn）给定城市集的 7日天气预报，并保存在数据库。 点击查看代码 from bs4 import BeautifulSoup from bs4 import UnicodeDammit import urllib.reque ......
2023数据采集实践二
作业①： 要求：在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。 文件夹链接：Gitee 代码和运行截图 from bs4 import BeautifulSoup from bs4.dammit import UnicodeDammit ......
《数据要素》
1.目前，我们数据要素政策体系架构已初步形成，擘画出数据资源大循环、数据要素价值充分实现、全体人民共享数字经济发展红利的宏伟蓝图。 2.人工智能发展对数据要素供给提出更高要求 大模型技术取得的突破离不开高质量数据的发展，人工智能技术发生了深刻的变革。数据已成为未来人工智能竞争的关键因素，人工智能正在 ......
数据采集与融合技术第二次作业
作业① 实验内容 要求：在中国气象网（http://www.weather.com.cn）给定城市集的 7日天气预报，并保存在数据库。 输出信息： Gitee文件夹链接：https://gitee.com/codeshu111/project/blob/master/作业2/爬取天气预报.py 实现 ......
数据采集与融合技术第二次实践作业
第二次作业 码云连接：https://gitee.com/crazypsz/spider/commit/566b31106cde3cd68bd87c63e851b299542e6565 作业一 实验 要求：在中国气象网（http://www.weather.com.cn）给定城市集的 7日天气预报 ......
企业账务处理流程
作为一名会计的你，有没有被别人问过这样一个话题：“你们会计是做什么的？”那么你是怎么回答的呢！是记账的、是编制报表的、是报税的、还是管钱的？ 其实这些都属于会计，都属于企业账务处理流程，下面我们一起来看一下企业账务处理具体流程 企业账务处理程序的概念： 企业账务处理程序的意义： 企业账务处理程序的种 ......
数据采集实践作业2
数据采集实践作业2 作业一 要求：在中国气象网（http://www.weather.com.cn）给定城市集的7日天气预报，并保存在数据库。 代码和运行截图如下: from bs4 import BeautifulSoup from bs4 import UnicodeDammit import ......
学习数据流图
今天，为了应对软考，我特意学习了数据流图的相关知识。 正方形（或立方体）表示数据的源点或终点； 圆角矩形（或圆形）代表变换数据的处理； 开口矩形（或两条平行横线）代表数据存储； 箭头表示数据流，即特定数据的流动方向。 数据流图有4种成分：源点和终点、处理、数据存储和数据流。画出上述定货系统的数据流图 ......
关于java的常见异常处理
Java中常用的异常处理包括以下几种类型的异常：编译时异常、运行时异常和错误。在Java中，异常处理是通过异常处理机制来进行的。当程序运行过程中出现异常时，程序会根据异常处理机制来决定如何处理异常，以保证程序的稳定运行。 1. 编译时异常（Checked Exceptions） 编译时异常在程序编译 ......
异常处理
Java的异常处理是通过使用五个关键字实现的：try、catch、finally、throw和throws。 try：这个关键字用来创建一个监控区域，用于捕获异常。这是一个保护代码的区块，它会监控在其中可能出现的异常。 catch：这个关键字用于捕获try代码块中抛出的异常。每个try代码块后面至少 ......
动手动脑异常处理
1. 异常处理：Try{ //可能发生运行错误的代码；} catch（异常类型 异常对象引用）{ //用于处理异常的代码；} finally{ //用于“善后” 的代码；} （1）把可能会发生错误的代码放进try语句块中。 （2）当程序检测到出现了一个错误时会抛出一个异常对象。异常处理代码会捕获并处 ......
《数据结构》王卓老师 p48-p62学习反馈
跟着青岛大学-王卓老师的视频进行到链队列时，运行链队列代码的时候遇到了两个问题： 1.）Program received signal SIGSEGV Segmentation fault 附代码： #include<stdio.h> #include<stdlib.h> typedef char ......
数据链路层传输协议（点到点）：停等协议、GBN、SR协议
数据链路层的传输协议：停等协议、GBN、SR 停止等待协议（单窗口的滑动窗口协议） 滑动窗口协议：GBN、SR GBN协议 GBN发送方需响应的三件事 1. 上层调用（网络层） 上层要发送数据时,发送方先检查发送窗口是否已满。 如果未满,则产生一个帧并将其发送;如果窗口已满,发送方只需将数据返回给上 ......
【orcal】数据库中如何提高写代码的效率之快捷键设置
在数据库开发的过程中，有些操作要经常进行，为避免重复造轮子，因此，我们有必要想办法简化流程，以提高我们工作的效率！ 1. plsql（数据库开发工具客户端）快捷设置 PL/SQL Developer是一个集成开发环境，专门开发面向Oracle数据库的应用。PL/SQL也是一种程序语言，叫做过程化SQ ......