flink个人
批量同步 开源某一个公司或者个人 大量开源项目的小工具（避免手工一个一个的同步）
from requests.auth import HTTPBasicAuth import requests import os import json repos = set() def download_repo(output, name, href): print(f'Cloning {na ......
Flink 简介
Apache Flink是一个分布式流处理器，具有直观和富有表现力的API，可实现有状态的流处理应用程序。它以容错的方式有效地大规模运行这些应用程序。 Flink于2014年4月加入Apache软件基金会作为孵化项目，并于2015年1月成为顶级项目。从一开始，Flink就拥有一个非常活跃且不断增长的 ......
一个人，2 年时间，每月赚 6w 美金，独立开发者故事丨 RTE 开发者日报 Vol.120
开发者朋友们大家好： 这里是 「RTE 开发者日报」 ，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的 新闻 」、「有态度的 观点 」、「有意思的 数据 」、「有思考的 文章 」、「有看点的 会议 」，但内容仅代表编 ......
记一次网络任务赚佣金骗局到溯源到个人的渗透实战
在鹰图中找TSRC资产准备挖腾讯SRC时候看到此站点域名:qq.com.xxxx.top,标题为登录第一感觉不是正经站应该是钓鱼站whois查询到的webpack打包的这种站点基本都会有一些测试账号,试了试18888888888密码123456看到这个基本确定这就是个做任务赚佣金的那种,主打的就是一 ......
flink小记
Flink核心概念 1、Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架 2、Flink底层是以Java编写的，并为开发人员同时提供了完整的Java和Scala API。 3、Flink运行时包括JobManager（Master）和TaskManager（Work ......
个人常用配置
vscode相关配置文件 launch.json文件配置 { // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。 // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387 "version": " ......
Docker搭建轻量个人文件分享服务-文件传输自由
title: Docker搭建轻量个人文件分享服务-文件传输自由 tags: [Docker,文件分享,下载,分享,网盘,Pingvin Share,NAS] 新版原文: https://query.carlzeng.top:3/appsearch?q=Docker搭建轻量个人文件分享服务-文件传输 ......
Flink的常用算子以及实例（详解）(赞)
Flink的常用算子以及实例（详解）(赞) 友情提示：本次博文所有源码均在下方，点击关注就能下载，免费的 点这里获取配套源码 1. map 特性：接收一个数据，经过处理之后，就返回一个数据 1.1. 源码分析 我们来看看map的源码 map需要接收一个MapFunction<T,R>的对象，其中泛型 ......
11-flink如何正确分流
11-flink如何正确分流 11-flink如何正确分流 分流方式 filter分流 split分流 (只能一次分流，分流后的流不能继续分流) side output分流 (推荐使用) 场景 flink-分流场景.png 输入数据： {"key":"001","type":"1","data":" ......
Flink SideOutput 和 Filter 分流对比
Flink SideOutput 和 Filter 分流对比 Flink 分流有Filter、Split（已经废弃移除）、Side Output进行分流，到底时有什么区别，哪个种更好呢？ 对比 代码对比 直接上代码对比： import org.apache.flink.streaming.api.d ......
flink入门1-Flink使用socketTextStream对接netcat完成入门demo
flink入门1-Flink使用socketTextStream对接netcat完成入门demo 一、flink介绍 1、flink是什么 flink是一个面向流处理和批处理的分布式计算框架，即支持流处理，也支持批处理。flink基于流处理引擎实现，正真做到了流处理，将批处理看作一种特殊的有界流fl ......
Flink CDC写入数据到kafka几种格式
Flink cdc写入kafka数据格式 主要记录flink cdc写入kafka几种常见的数据格式，其中包括upsert-kafka写入后正常的json格式，debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操 ......
个人用户防范ISP运营商HTTP劫持
先杀毒 先查杀病毒和木马再进行下一步 检查浏览器的证书管理器 排查个人添加的受信任列表 浏览器启用DoH DNS over HTTPS（DoH）加密DNS通信协议，使用HTTPS协议来封装和传输DNS查询请求和响应。可以避免被中间人攻击或窃听。 浏览器如 Firefox 和 Chrome 支持DoH ......
Flink-postgres-cdc实时同步报错：无法访问文件 "decoderbufs": 没有那个文件或目录
问题描述： Caused by: org.postgresql.util.PSQLException: 错误: 无法访问文件 "decoderbufs": 没有那个文件或目录 解决办法： postgres-cdc的属性问题： 'slot.name' = 'myslot','decoding.plug ......
5、flink任务中可以使用哪些转换算子（Transformation）
5、flink任务中可以使用哪些转换算子（Transformation） <div id="content_views" class="htmledit_views"> <h1>1、什么是Flink中的转换算子</h1> 在使用 Flink DataStream API 开发流式计算任务时，可以将一 ......
Flink-Flink1.15启动后无法访问WebUI界面
问题描述通过./bin/start-cluster.sh启动Flink程序，正常启动后无法通过浏览器访问web UI界面。解决方法（1）禁用防火墙通过service iptable status查看防火墙状态，已经为inactive状态（2）查看暴露端口号通过lsof -i:8081查看端口号是否暴 ......
练习 ： Flink 读取 data.txt（json格式文件）文件并进行解析，写入到mysql中
练习 ： Flink 读取 data.txt（json格式文件）文件并进行解析，写入到mysql中 bean //实体类 mysql的一条记录 package bean; import lombok.AllArgsConstructor; import lombok.Data; import lom ......
《中国人民银行业务领域数据安全管理办法》与个人信息保护关键技术研究 | 京东云技术团队
在大数据环境下，通过个人用户网络活动产生的数据，可以清晰地分析出用户的年龄、职业、行为规律和兴趣爱好。特别是随着电子商务和移动网络的应用和普及，个人用户的地址、联系方式和银行账户信息也可以通过大数据挖掘或网络爬虫等手段获取。因此，个人信息安全管理压力增大，用户个人信息泄露事件时有发生。莫名其妙的销售 ......
性能测试-Oceanus 测试FLink mysql到Iceberg性能
一、任务依赖信息 1、mysql测试库信息 地址：127.0.0.1、gomysql_bdg_test 库：bdg_test 表：order_info1 2、iceberg库 hive地址：thrift://127:7004 catalog-name：spark_catalog Format版本:v ......
保护个人隐私：电脑软件分身的重要性
保护个人隐私：电脑软件分身的重要性 在数字化时代，个人隐私保护成为了一个日益重要的议题。随着科技的进步和互联网的普及，我们的个人信息越来越容易受到侵犯。因此，保护个人隐私变得至关重要。在这方面，电脑软件分身技术的出现给我们提供了一种有力的解决方案。 什么是电脑软件分身呢？简单来说，它是一种将用户的真 ......
往前看，别回头——2023个人年终总结
2023年终总结 赶着昨晚回家前，把最后一个commit提交完，终于也又到一年之末了。 这一年来，是一路小跑冲到终点的快节奏，也是步履不停的一路前行； 行至当途，也是到了该停下来好好沉淀思考的时候了； 还记得也是去年年终的时候，开始陆续收到了一些猎头的邀约，BOSS直聘上也不乏一些推 ......
Flink侧输出流解析
在实时数据处理领域，Apache Flink 已成为一个不可或缺的工具。它以其高吞吐量和低延迟处理能力而闻名。而在 Flink 的众多特性中，侧输出流（Side Outputs）提供了一种灵活的方式来处理复杂的数据流。本文将探讨如何在 Flink 的 Scala API 中有效使用侧输出流。 1. ......
为了降低个人股票投资者的决策误判概率，我们做了一款软件
对于个人股票投资者而言，避免投资决策误判是最重要且最首要的，盈利多少都是次要的。 这是一个什么样的软件？ 这是一个面向个人股票投资者的决策辅助工具【棱镜】，它旨在将你的分析决策逻辑转化为由文字和框架转化为算法，让计算机和算法辅助你共同决策，降低决策误判概率。网站：prismray.cn 为什么要做这 ......
如何查看个人代码量
参考1 （最简单易懂）Pycharm如何统计项目中代码总行数_pycharm统计代码行数-CSDN博客 参考2 pycharm统计代码量插件statistic - 只有时间是永恒 - 博客园 (cnblogs.com) ......
开源个人实用翻译小工具
  此处可以取以下三类值： Event Time 事件时间，事件(Eve ......
Flink mysql-cdc连接器参数
一、背景 通过Flink同步mysql到iceberg中，任务一直在运行中，但是在目标表看不到数据。经排查发现job manager一直在做切片，日志如下： 2023-12-28 16:58:36.251 [snapshot-splitting] INFO com.ververica.cdc.con ......