我的零售行业客户正在寻找一名数据工程师，负责将数据管道迁移到云平台。
职责：
• 将数据管道从Informatica迁移到Databricks，确保无缝集成和高效数据处理。
• 使用SQL、PL/SQL或Python设计、开发和优化数据处理工作流程。
• 实施和执行数据治理和安全措施，保护敏感数据并确保合规性。
• 建立和维护数据血缘文档，跟踪数据的来源、转换和目的地。与跨职能团队合作，确定数据需求并实施最佳解决方案。
• 监控和排除数据管道故障，确保数据流畅和不间断。
• 进行数据管道的测试和验证，确保准确性、完整性和数据质量。
• 与数据库管理员和基础设施团队合作，优化数据存储、检索和归档过程。
• 保持对数据工程、大数据技术和云计算的行业趋势和进展的更新。
资格：
• 计算机科学、工程或相关领域的学士学位。
• 在从Informatica迁移到Databricks的数据管道迁移方面有丰富经验。
• 熟练掌握Oracle 12c、ADW、MSSQL和MYSQL。
• 熟练掌握Python、Scala或SQL等编程语言，用于数据处理和转换。
• 对数据治理和安全原则有扎实的理解。
• 有维护数据血缘文档的经验。
• 熟悉AWS、Azure或Google Cloud Platform等云平台。
• 较强的分析和解决问题的能力。
• 出色的沟通和协作能力。
• 能够适应变化的优先事项，在快节奏的环境中有效工作。 
香港