Python ETL开发人员/数据工程师 - 远程工作于ipvisibility公司。渥太华，安大略省。
具体职责
• -审查、设计、开发ETL作业以将数据导入数据湖，加载数据到数据集市；
• -提取数据以与各种业务应用程序集成。
• -解析非结构化数据、半结构化数据，如XML等。
• -设计和开发高效的映射和工作流以将数据加载到数据集市。
• -在Python中映射XML DTD架构（自定义表定义）。
• -在Hive或Impala中编写高效的查询和报告，以便在需要时提取数据进行数据分析。
• -识别ETL作业中的性能瓶颈，并通过增强或重新设计来调整其性能。
• -负责ETL映射和查询的性能调优。
• -导入表和所有必要的查找表，以促进ETL过程，处理每日XML文件以及处理非常大的（多TB）历史XML数据文件。
