作为一名数据工程师，您将在设计、实施和优化我们的基于云的数据解决方案中发挥关键作用。您将负责开发可扩展和高效的架构，以促进跨多个云平台的数据集成、处理和分析，主要关注微软Azure。您将与我们的数据科学家、软件工程师和利益相关者密切合作，了解业务需求，开发强大的数据流水线，并实现高级分析能力。
职责：
1. Azure云架构：
- 在微软Azure上设计、构建和维护可扩展的数据架构，确保高可用性、安全性和性能。
- 实施Azure服务（如Azure Data Lake、Azure Databricks、Azure SQL Database、Azure Synapse Analytics等），以支持数据处理、存储和分析需求。
- 优化数据工作流程、ETL流程和数据流水线，实现高效的数据处理、摄取和转换。
2. 多云架构：
- 与跨职能团队合作，设计和实施跨多个云平台的数据解决方案，如Azure、AWS、阿里云等。
- 评估并选择适当的技术和工具，确保不同云环境之间的无缝集成和互操作性。
- 开发数据复制、同步和备份策略，以确保数据的弹性和灾难恢复能力。
3. 数据集成和处理：
- 设计和实施数据摄取流水线，将来自各种来源（结构化和非结构化）的数据集成到统一的数据湖或数据仓库中。
- 开发和优化ETL/ELT流程，对数据进行转换、清洗和增强，以支持下游分析和报告。
- 与数据科学家和分析师合作，了解数据需求，并实施支持高级分析和机器学习项目的数据模型。
4. 性能优化和监控：
- 识别性能瓶颈，优化数据处理工作流程，并调整云资源，以最大化系统效率和可扩展性。
- 实施监控和警报机制，主动识别和解决与数据相关的问题，确保高数据质量和可用性。
- 定期进行性能测试、容量规划和成本优化，以优化资源利用和降低运营成本。
5. 文档和协作：
- 创建全面的技术文档，包括架构图、设计规范和操作流程。
- 与跨职能团队有效合作，包括数据科学家、软件工程师和业务利益相关者，了解需求，提供技术指导，确保项目成功交付。
资格要求：
- 计算机科学、软件工程或相关领域的学士或硕士学位。
- 作为数据工程师的经验，专注于设计和实施基于云的数据解决方案。
- 在微软Azure方面具有扎实的专业知识，具有使用Azure服务构建和实施数据解决方案的实际经验。
- 具备大数据技术和框架以及数据处理工具的经验。
- 熟悉多云环境，包括Azure、AWS和阿里云，并具备跨多个云平台架构数据解决方案的经验。
- 熟练掌握数据工程中使用的编程语言，如Python、Scala或Java。
- 对数据建模、ETL/ELT流程和数据集成技术有深入理解。
- 具备较强的分析和解决问题的能力，能够优化数据工作流程和高效解决问题。
- 出色的沟通能力，能够与跨职能团队有效合作。
- 在Azure或其他云平台方面的相关认证将是一个加分项。 
香港