大数据平台-元数据详情字段乱码问题排查过程

发布时间 2023-03-22 21:11:01作者: maoxianww

问题背景:

大数据平台中,数据资产(表、字段都属于资产)存储在Hive数据库中。用户可以搜索、点击查看元数据列表、详情等操作。

问题现象:

点击元数据详情,查看字段信息时,展示出的字段信息出现乱码现象。
image

问题原因:

初步分析大致又两种可能:

  1. 平台后端服务获取到数据时,无乱码问题,经由平台服务处理后展示时出现转码异常。
  2. 平台后端服务获取到的数据就已经时乱码,说明Hive元数据中存储的数据存在乱码(表名:COLUMNS_V2)。
    由于第2个问题方便验证,直接先验证第2种可能。
    (不了解Hive架构的需要补一下课 https://www.cnblogs.com/qingyunzong/p/8710356.html#_label1

问题排查

果然,发现Hive元数据库Mysql对应存储字段的表中COLUMNS_V2,存在乱码问题。
image

问题解决

//todo 待学习
ps:联系运维处理