具体职责
审查、设计、开发ETL作业以将数据导入数据湖，加载数据到数据集市；提取数据以与各种业务应用程序集成。解析非结构化数据、半结构化数据，如XML等。设计和开发高效的映射和工作流以将数据加载到数据集市。使用Python映射XML DTD模式（自定义表定义）。在Hive或Impala中编写高效的查询和报告，以便在需要时提取数据进行数据分析。识别ETL作业中的性能瓶颈，并通过增强或重新设计来调整其性能。负责ETL映射和查询的性能调优。导入表和所有必要的查找表，以促进ETL过程，处理每日XML文件以及处理非常大的（多TB）历史XML数据文件。
