serverless实时apache平台
ByteHouse实时导入技术演进
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 ByteHouse 是火山引擎上的一款云原生数据仓库，为用户带来极速分析体验，能够支撑实时数据分析和海量离线数据分析；便捷的弹性扩缩容能力，极致的分析性能和丰富的企业级特性，助力客户数字化转型。 本文将从需求动机、 ......
Apache HttpClient使用和源码分析
在上文中分析了 HttpURLConnection的用法，功能还是比较简单的，没有什么封装 接下来看看Apache HttpClient是如何封装httpClient的 使用的版本 <dependency> <groupId>org.apache.httpcomponents.client5</gr ......
Apache Maven Assembly自定义打包插件的使用
前言 本文主要记录在SpringBoot项目中使用Apache Maven Assembly插件进行打包的相关内容； 官网说明：https://maven.apache.org/plugins/maven-assembly-plugin/ 概述 是什么：Apache Maven Assembly是M ......
ArchKeeper (开篇)：架构守护平台的问题与理念
在敏捷开发环境下，系统通过迭代增量的交付价值，系统架构也是如此。团队不可能在项目之初就建立完美的系统架构，系统架构应该随着系统迭代不断演进。架构演进和架构腐化是看待架构的不同视角：架构腐化着眼于现状，架构演进侧重于未来架构腐化不可避免，随着时间流转腐化现象必然发生。而我们需要做的是：通过某种方式及早... ......
Switchquery：移动端秒级配置触达平台
随着前端开发者开发的功能越来越多，对快速控件各类功能的切换、灰度、降级能力也越来越高。那么怎样才能既保证触达信息能力，又能满足低成本的要求呢？其实，Switchquery配置平台就可以满足这些要求。 ......
阿里云物联网平台专用工具详细说明
阿里云物联网平台专用工具基本涵盖了阿里云物联网平台提供你主要管理功能，可以方便创建产品、设备、物模型，查看设备实时属性，事件，发送服务和查看服务日志等等 ......
基于FLink实现的实时安全检测（一段时间内连续登录失败20次后，下一次登录成功场景）
研发背景 公司安全部目前针对内部系统的网络访问日志的安全审计，大部分都是T+1时效，每日当天，启动Python编写的定时任务，完成昨日的日志审计和检测，定时任务运行完成后，统一进行企业微信告警推送。这种方案在目前的网络环境和人员规模下，呈现两个痛点，一是面对日益频繁的网络攻击、钓鱼链接，T+1的定时 ......
vivo版本发布平台：带宽智能调控优化实践-平台产品系列03
随着分发规模地逐步增长，各企业对CDN带宽的使用越来越多。并且，各类业务使用CDN的场景各式各样，导致带宽会不断地出现骤增骤降等问题。基于成本考虑，国内CDN厂商的计费模式主要用峰值点的带宽来计费，就算不用峰值点的带宽，也会因为峰值问题所产生的成本而抬高带宽单价。基于此，控制CDN带宽的峰谷具有重要... ......
三星为其基于 RISC-V的 Tizen平台移植.NET
最近.NET团队在这篇文章中介绍了对.NET移植的一般政策：https://devblogs.microsoft.com/dotnet/why-dotnet/#binary-distributions。 自从.NET 2014年开源以来，社区还扩展了 .NET 以在其他平台上运行。三星为其基于ARM ......
Apache Hudi 流转批 场景实践
背景 在某些业务场景下，我们需要一个标志来衡量hudi数据写入的进度，比如：Flink 实时向 Hudi 表写入数据，然后使用这个 Hudi 表来支持批量计算并通过一个 flag 来评估它的分区数据是否完整从而进一步写入分区数据进行分区级别的ETL，这也就是我们通常说的流转批。 EventTime计 ......
Apache Hudi 负载类Payload使用案例剖析
在 Hudi 中可以根据业务场景为 Hudi 表配置负载类Payload，它用于在更新期间合并同一记录的两个版本。本文将深入了解有效负载类的用途以及可以使用的所有不同方式。 配置：hoodie.datasource.write.payload.class 注意：对于新的记录合并API ，这些可能会发 ......
云原生时代顶流消息中间件Apache Pulsar部署实操-上
本篇先部署Apache Pulsar 最新版本2.11.0的 Locally Standalone，并通过创建Topic、生产消息和消费消息验证基础环境;接着通过二进制也即是所谓裸机部署方式一步步演示如何部署Pulsar的分布式集群，并通过Admin客户端验证基于租户、命名空间一些消息管理和使用简单... ......
Serverless Streaming：毫秒级流式大文件处理探秘
摘要：本文将以图片处理的场景作为例子详细描述当前的问题以及华为云FunctionGraph函数工作流在面对该问题时采取的一系列实践。 文章作者｜旧浪：华为云Serverless研发专家、平山：华为云中间件Serverless负责人 一、背景 企业应用从微服务架构向 Serverless（无服务器）架 ......
记一次 .NET 某医保平台 CPU 爆高分析
一：背景 1. 讲故事 一直在追这个系列的朋友应该能感受到，我给这个行业中无数的陌生人分析过各种dump，终于在上周有位老同学找到我，还是个大妹子，必须有求必应 😁😁😁。 妹子公司的系统最近在某次升级之后，在高峰期会遇到 CPU 爆高的现象，有些单位你懂的，很强势，所以就苦逼了程序媛，不管怎么 ......
任何人均可上手的数据库与API搭建平台
编写API可能对于很多后端开发人员来说，并不是什么难事儿，但如果您主要从事前端功能，那么可能还是有一些门槛。 那么有没有工具可以帮助我们降低编写API的学习门槛和复杂度呢？ 今天就来给大家推荐一个不错的开源工具：APITable APITable是一个面向API的可视化数据库，它适用于所有人，甚至没 ......
实时渲染路径追踪概述
大家好，本文是对Real-Time Path Tracing and Beyond学习的总结，并结合我的理解进行了一些延伸
得益于下面的技术进步，使得通常应用于离线渲染技术中的路径追踪能够应用于实时渲染 ......
金三银四来了-找工作有哪些平台/工具？
金三银四，年过完了，奖金（<=0）到手了，是时候出去看看了！但2023年的互联网“寒冬”好像并未褪去，就业环境依然不明朗，让大部分人都很迷茫。最近在看工作机会，就看了看家附近的公司和岗位，简单总结了一下用到的平台和相关工具，个人经验，仅供参考。 ......
Java 优化：读取配置文件 "万能方式" 跨平台，动态获取文件的绝对路径
Java 优化：读取配置文件 "万能方式" 跨平台，动态获取文件的绝对路径 每博一文案 往事不会像烟雾似的飘散，将永远像铅一般沉重地浇铸在心灵的深处。 不过，日常生活的纷繁不会让人专注地沉湎于自己的痛苦 不幸，即使人的心灵伤痕累累，也还得要去为现实中的生存和发展而挣扎。 —————— 《平凡世界》 ......
Windows下x86和x64平台的Inline Hook介绍
Windows下Inline Hook技术可以用来拦截一个指定的函数，并使其跳转到指定的地址执行相应的程序，从而实现某种想要的效果，本文介绍了x86和x64平台下Inline Hook的原理和基本使用方法，着重于x64下可行的方案，以及适用于多线程的方法。 ......
慧销平台ThreadPoolExecutor内存泄漏分析
京东生旅平台慧销系统，作为平台系统对接了多条业务线。但近期根据告警发现内存持续升高，因此猜测该系统可能存在内存泄漏的情况。本文通过此案例，介绍慧销平台ThreadPoolExecutor内存泄漏问题的详细分析过程。 ......
Azure Artifacts--全平台的程序包管理仓库(支持nuget)
写在前面 大部分一定规模的团队都有搭建私有nuget的需求；例如： MyGet BaGet 而我们使用的Azure DevOps 平台本身就提供了Artifacts， Artifacts不单只支持nuget包，还支持Npm、Maven、pip等； 这里简单说说nuget的Azure Devops A ......
Spring Boot + WebSocket 实时监控异常
本文已经收录到Github仓库，该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分布式、微服务、设计模式、架构、校招社招分享等核心知识点，欢迎star~ Github地址：https://github.c ......
基于Apache Hudi 构建Serverless实时分析平台
NerdWallet 的使命是为生活中的所有财务决策提供清晰的信息。 这涵盖了一系列不同的主题：从选择合适的信用卡到管理您的支出，到找到最好的个人贷款，再到为您的抵押贷款再融资。 因此，NerdWallet 提供了跨越众多领域的强大功能，例如信用监控和警报、用于跟踪净值和现金流的仪表板、机器学习 ( ......
让Apache Beam在GCP Cloud Dataflow上跑起来
简介 在文章《Apache Beam入门及Java SDK开发初体验》中大概讲了Apapche Beam的简单概念和本地运行，本文将讲解如何把代码运行在GCP Cloud Dataflow上。 本地运行 通过maven命令来创建项目： mvn archetype:generate \ -Darche ......
华为云发布冷启动加速解决方案：助力Serverless计算速度提升90%+
摘要：本文介绍了华为云对冷启动优化这一业界难题的探索之路，创新提出了基于进程级快照的优化方案。 作者信息—— 子游：华为元戎高级工程师 平山：华为云中间件 Serverless 负责人 琪君：华为元戎负责人 Key Takeaways 冷启动 (Cold Start)一直是Serverless领域面 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-上
Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库，本篇了解其特征和适用场景，并与其他框架横向对比；最后部署一个最新版本25.0.0单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-下
了解Apache Druid的基础概念后，本篇进一步研究其核心架构和核心设计原理部分，了解相关外部依赖，对其数据摄取和查询有一定认识，然后通过搭建分布式集群进一步理解其架构组成，最后用一个示例从HDFS将数据摄取到Druid并演示两种查询方式 ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
Linux音频采集和在国产化平台中遇到的坑（一）
最近在做一个国产化平台的软件项目的开发，是基于国产芯片的银河麒麟系统。其中有一个重要模块，是采集和播放音频数据，播放不用多说了，采集的话，包括采集麦克风和采集桌面系统声音。很多人都觉得银河麒麟不就是linux么，那不直接用ALSA就好了，我原本也是这么想的，但是实际开发下来才发现，还是有各种坑需要自... ......