- 领先数据工程师
职位概述
我们的跨国客户正在寻找一位技术高超且积极主动的领先数据工程师加入我们充满活力的团队。作为领先数据工程师，您将在设计、实施和维护我们的数据基础设施和数据管道方面发挥关键作用。您将领导一个数据工程团队，与数据科学家、架构师紧密合作，并与其他跨职能团队紧密合作，提供高质量、可靠、可扩展的数据解决方案。资格：
• 计算机科学、工程学或相关领域的学士或硕士学位。
• 作为数据工程师的经验（8年以上），并展示了在领导数据工程团队方面的专业知识。
• 熟练掌握Python和PySpark，对分布式计算和大数据处理有深入的理解。
• 在AWS数据服务方面有丰富的经验，包括但不限于S3、EMR、Redshift、Glue、Lake Formation、Lambda、SNS和CloudWatch。
• 熟悉数据库系统、数据建模和数据仓库原理。
• 有Apache Airflow和Step Functions等数据管道编排工具的经验。
• 熟悉数据治理、安全和合规实践。
• 出色的解决问题和分析能力，注重细节。
• 良好的沟通能力，能够有效地向非技术利益相关者传达技术概念。
• 领导和指导能力，具有成功领导和管理数据工程团队的记录。
• 能够在快节奏、多变的环境中工作，并适应不断变化的优先事项。职责
• 架构和设计数据解决方案：领导设计和构建可扩展、高效和稳定的数据管道和系统，处理来自各种来源的大量数据。
• 团队领导：管理和指导数据工程团队，确保项目的成功执行，营造协作的环境，并提供技术指导。
• 数据集成：监督来自内部和外部的多个来源的数据集成，以确保数据的一致性和准确性。
• 数据转换：使用Python和PySpark开发和实施数据转换过程，确保数据质量和适当的数据治理。
• 数据仓库管理：设计和维护AWS上的数据仓库，确保数据的可用性、可靠性和安全性。
• 性能优化：识别数据处理中的性能瓶颈，并实施优化以提高整体数据管道效率。
• 数据治理和安全：实施和执行数据治理政策和最佳实践，确保数据安全、隐私和符合相关法规。
• 持续改进：了解数据工程领域的最新技术、工具和最佳实践。提出和实施流程改进，以提高生产力和数据质量。
• 合作：与数据科学家、软件工程师和业务利益相关者等跨职能团队合作，了解数据需求，并提供满足业务需求的数据解决方案。加入团队，为我们的数据基础设施的未来发展贡献力量，利用数据驱动洞察和创新。如果您是一位热情而有动力的领先数据工程师，具备Python、PySpark和AWS方面的专业知识，我们很乐意听到您的声音。 
迪拜