我们正在寻找一名熟练且具有合作精神的数据工程师，专长是将数据管道从Informatica迁移到Databricks。理想的候选人应具备数据工程方面的丰富背景，包括实施数据管道、确保数据治理和安全性、维护数据血统以及具备团队合作精神。
• 将数据管道从Informatica迁移到Databricks，确保无缝集成和高效数据处理。
• 使用SQL、PL/SQL或Python设计、开发和优化数据处理工作流程。
• 实施和执行数据治理和安全措施，保护敏感数据并确保合规性。
• 建立和维护数据血统文档，以跟踪数据的来源、转换和目的地。
• 与跨职能团队合作，确定数据需求并实施最佳解决方案。
• 监控和排除数据管道故障，确保数据流畅和不间断。
• 进行数据管道的测试和验证，确保准确性、完整性和数据质量。
• 与数据库管理员和基础架构团队合作，优化数据存储、检索和归档过程。
• 保持对数据工程、大数据技术和云计算的行业趋势和进展的更新。
• 计算机科学、工程或相关领域的学士学位。
• 在将数据管道从Informatica迁移到Databricks方面有实际经验。
• 熟练掌握Oracle 12c、ADW、MSSQL和MYSQL。
• 熟练掌握Python、Scala或SQL等编程语言，用于数据处理和转换。
• 对数据治理和安全原则有扎实的理解。
• 具备维护数据血统文档的经验。
• 熟悉AWS、Azure或Google Cloud Platform等云平台。 
香港