数据迁移项目涉及
描述
• 通过将数据管道从Informatica迁移到Databricks，确保数据的平稳集成和高效处理。
• 使用SQL、PL/SQL或Python设计、开发和增强数据处理工作流程。
• 与各部门的团队合作，确定数据需求并实施最佳解决方案。
• 监控和排除故障数据管道，以保持数据流的连续性。
• 对数据管道进行测试和验证，以确保准确性、完整性和数据质量。
• 与数据库管理员和基础设施团队合作，优化数据存储、检索和归档流程。
• 保持与数据工程、大数据技术和云计算领域的行业趋势和进展保持最新。
要求：
• 必须拥有计算机科学、工程或相关领域的学士学位。
• 在成功将数据管道从Informatica迁移到Databricks方面具有专业知识。
• 熟练掌握Oracle 12c、ADW、MSSQL和MYSQL，以实现高效的数据管理。
• 熟练使用Python、Scala或SQL等编程语言进行有效的数据处理和转换。
• 对数据治理和安全原则有深入的理解，以确保数据完整性。
• 具有维护全面的数据血统文档的经验。
• 熟悉AWS、Azure或Google Cloud Platform等主要云平台。
• 出色的沟通和协作能力，以实现有效的团队合作。
• 能够适应并在快节奏、优先级不断变化的环境中高效工作。 
香港