作为一名数据工程师，您将在设计、实施和优化基于云的数据解决方案方面发挥关键作用。您将负责开发可扩展和高效的架构，以促进多个云平台上的数据集成、处理和分析，主要关注微软Azure。您将与我们的数据科学家、软件工程师和利益相关者密切合作，了解业务需求，开发强大的数据流水线，并实现高级分析能力。
职责：
1. Azure云架构：
• 在微软Azure上设计、构建和维护可扩展的数据架构，确保高可用性、安全性和性能。
• 实施Azure服务（如Azure Data Lake、Azure Databricks、Azure SQL Database、Azure Synapse Analytics等），以支持数据处理、存储和分析需求。
• 优化数据工作流程、ETL流程和数据流水线，实现高效的数据处理、摄取和转换。
2. 多云架构：
• 与跨职能团队合作，设计和实施跨多个云平台的数据解决方案，如Azure、AWS、阿里云等。
• 评估并选择适当的技术和工具，确保不同云环境之间的无缝集成和互操作性。
• 开发数据复制、同步和备份策略，以确保数据的弹性和灾难恢复能力。
3. 数据集成和处理：
• 设计和实施数据摄取流水线，将各种来源（结构化和非结构化）的数据集成到统一的数据湖或数据仓库中。
• 开发和优化ETL/ELT流程，对数据进行转换、清洗和丰富，以支持下游分析和报告。
• 与数据科学家和分析师合作，了解数据需求，并实施支持高级分析和机器学习项目的数据模型。
4. 性能优化和监控：
• 识别性能瓶颈，优化数据处理工作流程，并调整云资源，以最大化系统效率和可扩展性。
• 实施监控和警报机制，主动识别和解决与数据相关的问题，确保高质量和可用性。
• 定期进行性能测试、容量规划和成本优化，以优化资源利用率和降低运营成本。
5. 文档和协作：
• 创建全面的技术文档，包括架构图、设计规范和操作流程。
• 与跨职能团队有效合作，包括数据科学家、软件工程师和业务利益相关者，了解需求，提供技术指导，确保项目成功交付。
资格要求：
• 计算机科学、软件工程或相关领域的学士或硕士学位。
• 作为数据工程师的经验，专注于设计和实施基于云的数据解决方案。
• 在微软Azure方面具有深厚的专业知识，具有使用Azure服务进行架构和实施数据解决方案的实际经验。
• 具备大数据技术和框架以及数据处理工具的经验。
• 熟悉包括Azure、AWS和阿里云在内的多云环境，并具备跨多个云平台架构数据解决方案的经验。
• 熟练使用数据工程中的编程语言，如Python、Scala或Java。
• 具备数据建模、ETL/ELT流程和数据集成技术的扎实理解。
• 具备优秀的分析和解决问题的能力，能够优化数据工作流程并高效解决问题。
• 出色的沟通能力，能够与跨职能团队有效合作。
• Azure或其他云平台相关的认证将是一个加分项。
我们是一家平等机会的雇主。提供的信息将严格保密，仅用于招聘目的。在提交申请后6周内未被邀请面试的候选人可以认为他们的申请未成功。收集的所有个人数据将保留不超过12个月，并在此后销毁。我们致力于遵守香港《个人资料（私隐）条例》（“条例”），可以通过访问我们公司网站（www.gammonconstruction.com）获取我们的个人信息收集声明的副本。 
香港