数据工程师 – Talend 到 Spark 迁移
我们正在寻找一位具有丰富 Talend ETL 工作流和 Apache Spark 经验的数据工程师，负责领导将我们的数据管道从 Talend 迁移到 Spark。此角色涉及重新设计现有的 ETL 过程、优化性能，并确保与现代大数据平台的无缝集成。
- 分析现有的 Talend ETL 作业，并设计等效的基于 Spark 的管道。
- 将数据工作流从 Talend 迁移并优化到 Spark（PySpark/Scala）。
- 与数据架构师合作定义可扩展的数据湖/湖仓解决方案。
- 实施数据质量、治理和安全的最佳实践。
- 将 Spark 管道与云平台（AWS、Azure、GCP）集成。
- 使用编排工具（Airflow、Databricks Jobs 等）来调度和监控工作流。
所需技能
- 计算机科学、工程或相关领域的学士/硕士学位。
- 具有 Talend ETL 开发（tMap、tJoin、tFilter 等）的实际经验。
- 精通 Apache Spark（PySpark、Spark SQL、Spark Streaming）。
- 熟练掌握 Python、Scala 或 Java。
- 对数据仓库概念和 SQL 有扎实的理解。
- 具有大数据生态系统（Hadoop、Hive、Kafka）经验。
- 熟悉云服务（AWS EMR、Azure Databricks、GCP DataProc）。
有意申请上述职位的候选人，请将简历发送至：ansari.abdulrahman@persolapac.com
我们很遗憾地通知您，只有入围的候选人会被联系。
