职位描述：
大数据工程主管负责处理复杂情况下的ETL作业、数据处理的优化和自动化。
职责：
从数据源进行数据摄取
数据质量检查
处理ETL自动化
构建特征/变量
所需技能：
能够使用Spark、Synapse从Azure数据湖中处理数据
有从UDL下载数据并导入PDS的经验。熟悉ADF。
精通用于结构化、半结构化和非结构化数据处理的Spark
熟悉Azure Databricks或Azure Purview、Synapse的实际操作
清楚设计不同数据集的结构，并提供可重用模板
具有实施数据质量方法以预防模式错误和识别数据质量问题的经验
最近更新日期：2023年12月29日 
纽约