云数据工程师（AWS、Databricks和Informatica IDMC）
云数据工程师专注于AWS、Databricks和Informatica IDMC，负责构建和维护强大、集成和治理的数据基础设施，利用分析平台的优势从数据中提取有价值的洞察力，同时确保数据安全、合规性和高质量的数据管理。
职责和责任：
• 使用AWS服务（如Amazon S3、Amazon RDS、Amazon Redshift和Amazon DynamoDB）以及Databricks的Delta Lake，设计和构建数据存储解决方案，包括数据库、数据湖和数据仓库。集成Informatica IDMC进行元数据管理和数据目录。
• 使用AWS Glue、AWS Data Pipeline和AWS Lambda等AWS服务，以及Databricks用于高级数据处理和Informatica IDMC用于数据集成和质量，创建、管理和优化数据管道，用于摄取、处理和转换数据。
• 将来自内部和外部的各种数据源集成到AWS和Databricks环境中，确保数据的一致性和质量，同时利用Informatica IDMC进行数据集成、转换和治理。
• 使用Databricks的Spark功能和Informatica IDMC进行ETL（抽取、转换、加载）过程的开发，对数据进行清洗、转换和增强，使其适用于分析目的。
• 监控和优化AWS和Databricks环境中的数据处理和查询性能，根据性能和可扩展性要求进行必要的调整。利用Informatica IDMC优化数据工作流程。
• 在AWS和Databricks中实施安全最佳实践和数据加密方法，保护敏感数据，并确保符合数据隐私法规。使用Informatica IDMC进行数据治理和合规性。
• 使用AWS Step Functions、AWS Lambda、Databricks Jobs和Informatica IDMC实现常规任务的自动化，如数据摄取、转换和监控。
• 在AWS和Databricks环境中对数据基础设施、管道和配置进行清晰全面的文档记录，通过Informatica IDMC进行元数据管理。
• 与数据科学家、分析师和软件工程师等跨职能团队合作，了解数据需求，并在AWS、Databricks和Informatica IDMC中提供适当的解决方案。
• 确定和解决与数据相关的问题，并提供支持，以确保AWS、Databricks和Informatica IDMC环境中的数据可用性和完整性。
• 优化AWS、Databricks和Informatica资源的使用，控制成本，同时满足性能和可扩展性要求。
• 保持与AWS、Databricks、Informatica IDMC服务和数据工程最佳实践的最新知识，以推荐和实施新的技术和技巧。要求/资格
• 计算机科学、数据工程或相关领域的学士或硕士学位。
• 至少5年的数据工程经验，具备AWS服务、Databricks和/或Informatica IDMC的专业知识。
• 熟练掌握Python、Java或Scala等编程语言，用于构建数据管道。
• 评估潜在的技术解决方案，并提出解决数据问题的建议，特别是在复杂数据转换和长时间运行的数据处理方面进行性能评估。
• 熟练掌握SQL和NoSQL数据库。
• 熟悉数据建模和模式设计。
• 出色的问题解决和分析能力。
• 良好的沟通和协作能力。
• 有AWS认证（如AWS认证数据分析 - 专业、AWS认证数据工程 - 专业）、Databricks认证和Informatica认证者优先。
首选技能：
• 在Databricks上具有Apache Spark和Hadoop等大数据技术的经验。
• 了解Docker和Kubernetes等容器化和编排工具。
• 熟悉Tableau或Power BI等数据可视化工具。
• 理解DevOps原则，用于管理和部署数据管道。
• 具备版本控制系统（如Git）和CI/CD管道的经验。
• 了解数据治理和数据目录工具，尤其是Informatica IDMC。 
新加坡