具体职责
• 审核、设计、开发ETL作业，将数据导入数据湖，加载数据到数据集市；
• 提取数据以与各种业务应用集成。
• 解析非结构化数据、半结构化数据，如XML等。
• 设计和开发高效的映射和工作流，将数据加载到数据集市。
• 在Python中映射XML DTD模式（自定义表定义）。
• 在Hive或Impala中编写高效的查询和报告，以便根据需要提取数据进行数据分析。
• 识别ETL作业中的性能瓶颈，并通过增强或重新设计来调优其性能。
• 负责ETL映射和查询的性能调优。
• 导入表和所有必要的查找表，以促进ETL过程，处理每日XML文件以及处理非常大的（多TB）历史XML数据文件。
