EMR
EMR-hive集成ranger
hive集成ranger：https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/enable-hive-in-ranger-and-configure-related-permissions ......
EMR-hive集成openldap
LDAP认证：https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/use-ldap-authentication?spm=a2c4g.11186623.0.i4 OpenLDAP试用说明参考：https://help.aliyun.com/zh/ ......
用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris
背景 StarRocks 和 Doris 是近两年来相当流行的、国产的、开源的实时数仓，不仅数据检索、分析能力出众，而且数据准备实时性好、准确度高、使用丝滑，可如同在线数据库般使用。 CloudCanal 在早期即支持此两种实时数仓，并且经过多次迭代，无论功能、性能、稳定性都趋于成熟。 不过正儿八经 ......
使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift
现状 Apache Hue 是一个基于 Web 的交互式 SQL 助手，通过它可以帮助大数据从业人员（数仓工程师，数据分析师等）与数据仓库进行 SQL 交互。在 Amazon EMR 集群启动时，通过勾选 Hue 进行安装。在 Hue 启用以后，将原先需要登录主节点进行 SQL 编写及提交的工作转移 ......
Amazon EMR Hudi 性能调优——Clustering
随着数据体量的日益增长，人们对 Hudi 的查询性能也提出更多要求，除了 Parquet 存储格式本来的性能优势之外，还希望 Hudi 能够提供更多的性能优化的技术途径，尤其当对 Hudi 表进行高并发的写入，产生了大量的小文件之后，又需要使用 Presto/Trino 对 Hudi 表进行高吞吐的 ......
在 Amazon EMR 上构建实时数据湖
前言 当公司业务发展遇到瓶颈时，业务分析师以及决策者们总会希望通过交叉分析大量的业务数据和用户行为数据，以解答“为什么利润会下滑？”“为什么库存周转变慢了？”等问题，最终整点“干货”出来从而促进业务发展。 亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培 ......
使用 Apache DolphinScheduler 进行 EMR 任务调度
 By AWS Team ## 前言 随着企业规模的扩大，业务数据的激增，我们会使用 Hadoop/Sp ......
电子病历（EMR）数据组与数据元、数据集标准
电子病历基础模板是用于指导临床文档数据创建的形式和方法。制定电子病历基础模板的目的是用标准化的数据组，根据电子病历信息模型以及各类医疗服务活动（卫生事件）的业务规则，用数据元允许值约束后生成各类实际应用的临床文档（业务活动记录）。一个电子病历基础模板可对应一个或多个临床文档，是电子病历信息模型的应用 ......
为什么要以电子病历（EMR）为核心，建设医院信息集成平台？
一个完善的医院信息系统通常由上百个子系统组成，牵涉众多的专业领域。这么庞大的系统需要非常专业化的软件开发分工，整合不同厂商有特色的专业系统是医院信息系统的发展趋势。 电子病历是现代医疗机构临床工作开展所必需的业务支撑系统，也是居民健康档案的主要信息来源和重要组成部分。电子病历建设是实现区域范围以居民 ......
Apache Pulsar 在火山引擎 EMR 的集成与场景
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近年来，基于云原生架构的新一代消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用，其应用场景和客户案例也在不断地丰富与扩充。 火山引擎是字节跳动的企业服务品牌，主要面向 To B 业 ......
多库多表场景下使用 Amazon EMR CDC 实时入湖最佳实践
一、前言 CDC(Change Data Capture) 从广义上讲所有能够捕获变更数据的技术都可以称为 CDC，但本篇文章中对 CDC 的定义限定为以非侵入的方式实时捕获数据库的变更数据。例如：通过解析 MySQL 数据库的 Binlog 日志捕获变更数据，而不是通过 SQL Query 源表捕 ......
使用 Alluxio 优化 EMR 上 Flink Join
业务背景&痛点 流式处理的业务场景，经常会遇到实时消息数据需要与历史存量数据关联查询或者聚合，比如电商常见的订单场景，订单表做为实时事实表，是典型的流式消息数据，通常会在 kafka 中，而客户信息，商品 SKU 表是维度表，通常存在业务数据库或者数仓中，是典型的离线数据。实时订单数据在实时处理时通 ......