apache flink part2 part
（坚持每天写算法）基础算法复习与学习part1基础算法1-7——高精度减法（处理t=1和t>1代码的写法，t为操作次数）
题目： 思路：这一道题其实和高精度加法的思路是差不多的，都是使用算式进行模拟。 重点：关于代码怎么写，在高精度加法那里还看不太出来（我也没有写），但是在高精度减法这里就完全可以看出来了。我们在加法算式里面，一般是A[i]+B[i]+t，但是也可以这么写：t+A[i]+B[i]，我们可以先写进位，然后 ......
web项目启动时dubbo报错： No provider available for the service com.davidhu.shopguide.api.service.UserEventService from the url zookeeper ://localhost:2181/org.apache.du
Caused by: java.lang.IllegalStateException: Failed to check the status of the service com.davidhu.shopguide.api.service.UserEventService. No provider ......
Flink 读取 本地日志文件
Flink 读取 本地日志文件 在 Flink 中，可以使用 StreamExecutionEnvironment 的 readTextFile() 或者 addSource() 来读取本地日志文件。 使用 readTextFile() 方法读取本地日志文件示例如下所示： 点击查看代码 import ......
如何判断一个网站是用的Nginx，还是Apache
事件起因： 接手了同事移交过来的一个网站，但是不知道这个网站是用什么做代理的，于是就去网上查资料 解决办法： 打开cmd窗口，输入以下命令即可 curl--head 域名/IP ......
（坚持每天写算法）算法复习与学习part1基础算法1-6——高精度加法
高精度加法，其实就是模拟我们普通算式的步骤，比如是267+58，首先个位相加，7 + 8 = 15 ， 1给到十位（也就是进位），留下5，然后算十位，同样的步骤直到算完。通过这个步骤我们直到了我们每次循环（个位到十位到百位……）都需要一个t来充当进位，使用数组来存储或者使用vector（容器），我这 ......
如何使用 Helm 在 K8s 上集成 Prometheus 和 Grafana｜Part 1
https://juejin.cn/post/7314144983019323433 如何使用 Helm 在 K8s 上集成 Prometheus 和 Grafana｜Part 1 2023-12-20 1,287 阅读5分钟 本系列将分成三个部分，您将学习如何使用 Helm 在 Kubernete ......
Flink实时处理入门
Flink实时处理入门 1、Flink框架介绍 Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。它是由 3 所地处柏林的大学和欧洲其他一 些大学在 2010~2014 年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2019年1月阿 ......
Java版Flink（十一）时间语义和watermark
Java版Flink（十一）时间语义和watermark 一、时间语义 在Flink 中涉及到三个重要时间概念：EventTime、IngestionTime、ProcessingTime。 1.1、EventTime EventTime 表示日志事件产生的时间戳，每一条数据都会记录自己生产的时间。 ......
大数据 - 安装部署 Apache开源大数据集群
Step1：前期准备 虚拟机软件：VMware workstation 16 pro 网盘链接：https://pan.baidu.com/s/1Yd0JUqiM-N6rpQbO0RjG_w --来自百度网盘超级会员V2的分享 集群信息如下 主机名 IP 操作系统 node01 192.168.24 ......
apache2服务器数据爬取
代码如下 1 # -*-encoding:utf-8 -*- 2 """ 3 @Time ： 2024/1/10 18:57 4 @Auth ： ruqing 5 @File ：selenium apache2服务器数据爬取.py 6 @IDE ：PyCharm 7 @Motto：ABC(Alway ......
Flink中窗口的触发器、移除器、侧输出流
Flink中窗口的触发器、移除器、侧输出流 目录 1. 触发器（Trigger） 2. 移除器（Evictor） 3. 允许延迟（Allowed Lateness） 4. 将迟到的数据放入侧输出流 对于一个窗口算子而言，窗口分配器和窗口函数是必不可少的。除此之外，Flink 还提供 了其他一些可选的 ......
如何使用 Helm 在 K8s 上集成 Prometheus 和 Grafana｜Part 2
在 Part 1 中，我们一起了解了什么是 Prometheus 和 Grafana，以及使用这些工具的前提条件和优势。在本部分，将继续带您学习如何安装 Helm 以及如何使用 Prometheus Helm Charts。 开始使用 Helm 和 Helm Chart ArtifactHub 为 ......
（坚持每天都写算法）算法复习与学习part1基础算法1-5
今天是写题，数的的三次方根。 使用二分法，浮点数不能位运算直接/2即可。 //这道题很难想到二分，二分查找是查找，就是找哪个地方有目标数 //一般是用在区间上的， //总结：二分要求是有查找条件且是查找，符合这两个条件就可以考虑 //不过这里可以把从0到n的浮点数当成一个区间，看数值范围的话，n的话 ......
装载数据时报错：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
错误还原 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching ......
（坚持每天都写算法）算法基础复习part1基础算法1-4——二分
二分使用的前提是有序性的条件如果要找以下情况： 1.找大于等于数的第一个位置 2.找小于等于数的第一个位置 二分使用的前提是无序性的条件下如果要找以下情况： 1.找最大值 2.找最小值 二分法一般有边界问题，如果是有序性的条件下的话只要记住一句话：有加必有减。 这里是示例代码： int mid = ......
Flink的waterMark概念解释 watermark是flink为了处理event time窗口计算提出的一种机制，本质上就是一个时间戳，代表着比这个时间早的事件已经全部进入到相应的窗口，后续不会在有比这个时间小的事件出现，(触发)基于这个前提我们才有可能将event time窗口视为完整并触发窗口的计算。
Flink的waterMark概念解释 watermark是flink为了处理event time窗口计算提出的一种机制，本质上就是一个时间戳，代表着比这个时间早的事件已经全部进入到相应的窗口，后续不会在有比这个时间小的事件出现，(触发)基于这个前提我们才有可能将event time窗口视为完整并触 ......
作业8 流计算&Flink
一. 多选题（共5题，62.5分） 1. (多选题)典型的事件驱动型应用包括： A. 异常检测 B. 基于规则的报警 C. 反欺诈 D. 业务流程监控 我的答案: ABCD:异常检测; 基于规则的报警; 反欺诈; 业务流程监控;正确答案: ABCD:异常检测; 基于规则的报警; 反欺诈; 业务流程监 ......
即时通讯技术文集（第31期）：IM开发综合技术合集(Part4) [共13篇]
为了更好地分类阅读 52im.net 总计1000多篇精编文章，我将在每周三推送新的一期技术文集，本次是第31 期。 [- 1 -] IM消息ID技术专题(一)：微信的海量IM聊天消息序列号生成实践（算法原理篇） [链接] http://www.52im.net/thread-1998-1-1.h ......
mybatis解决nested exception is org.apache.ibatis.type.TypeException: Could not set parameters for mapping:
错误原因 在mybatis中SQL添加了注释 解决方法 删除相关无用语句 参考链接 【1】https://blog.csdn.net/daming1/article/details/107336871 ......
Flink Metaspace OOM问题排查
错误日志 org.apache.flink.runtime.rest.handler.RestHandlerException: Could not execute application. at org.apache.flink.runtime.webmonitor.handlers.JarRun ......
Apache ActiveMQ 远程代码执行漏洞分析
Apache ActiveMQ官方发布新版本，修复了一个远程代码执行漏洞，攻击者可构造恶意请求通过Apache ActiveMQ的61616端口发送恶意数据导致远程代码执行，从而完全控制Apache ActiveMQ服务器。 ......
安装HUE并配置连接Hive&Flink&TIDB
安装依赖包 yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel mak ......
Apache一键源码编译安装脚本(CentOS7、8）
测试环境 CentOS7.9.2009、 CentOS8.5.2111 #!/bin/bash # install httpd scripts # 将apache版本号定义为变量 VER=2.4.58 # 先安装必要的工具, 其中bzip2和gzip用于解压源码包, 如果源码包下载的是bz2,只安装 ......
Flink Sql线上环境踩坑记录
背景：Flink Sql程序本机测试执行没问题，上到生产环境就报各种诡异得问题，搞得头都大了。。。特此记录下解决过程。 问题原因主要两点： 1.JDK版本问题 2.Flink Sql相关jar包冲突 问题一 2020-09-27 06:06:33,125 INFO org.apache.flink. ......
Flink SQL建表语句示例
Hive CREATE EXTERNAL TABLE jc.judgmentDocumentods( odsId STRING, caseTitle STRING, plaintiff STRING, caseTypeShow INT, releaseDate STRING, caseSource ......
Flink Sql On Hive
TableEnvironment // ********************** // FLINK STREAMING QUERY // ********************** import org.apache.flink.streaming.api.environment.Stream ......
Flink写文件
简介 StreamingFileSink 提供了将数据分桶写入文件系统的功能。 如何分桶是可以配置，默认使用基于时间的分桶策略，每个小时创建一个新的桶，也可以自定义分桶策略。 文件滚动策略支持两种方式，基于时间和文件大小的DefaultRollingPolicy策略和基于Flink检查点的OnChe ......
安装HUE并配置连接Hive&Flink&TIDB
创建用户 groupadd hadoop useradd -g hadoop hadoop 解压编译 wget https://cdn.gethue.com/downloads/hue-4.8.0.tgz PREFIX=/usr/share make install 集成Hive Conf 在/op ......
（坚持每天都写算法）算法基础复习part1基础算法1-3
发现了一个不太好的习惯，我写东西不喜欢Tab一下，导致行与行之间有点难区分。 题目： 思路：这道题其实考的就是归并，2可以和3比，也可以和6比，也就是说2是可以被使用多次的。之所以使用归并，是因为单个的2以及单个的3也就是单个的数字可以看成是一个数组（关于这个想法，集合也是通用的），那么就要给数组进 ......
HUE中执行Flink SQL
要解决的问题 解决HUE操作大数据量Hive表时，执行报错的问题。 为开发人员或数据管理人员提供一个便捷的Flink SQL交互式查询工具，简化SQL验证的流程，进而提高工作效率。 功能介绍 Flink SQL 读写Kafka Flink SQL 读写HDFS Flink SQL 关联 Flink ......