职位： 数据工程师（Spark 和 Hive）
概述
我们正在寻找一位经验丰富的数据工程师加入我们在新加坡的团队。理想的候选人将具备 SQL、Python、Spark 和 Hive 的深厚专业知识，并拥有构建可扩展数据管道、数据模型和分析解决方案的实践经验。您将与数据科学家、分析师和业务利益相关者紧密合作，交付高质量的数据解决方案，以支持业务决策。
主要职责
• 设计、开发和维护稳健、可扩展的数据管道和 ETL 过程。
• 使用 SQL、Spark 和 Hive 优化数据存储、检索和处理。
• 与跨职能团队合作，收集需求并将其转化为技术解决方案。
• 实施数据质量、验证和监控过程，以确保可靠性。
• 支持数据建模、数据仓库和集成，以便进行分析和报告。
• 编写干净、高效和可重用的 Python 代码，以实现自动化和数据处理。
• 确保所有解决方案的数据安全、合规和治理。
资格要求
• 计算机科学、工程或相关领域的学士学位。
• 4-7 年作为数据工程师（或类似角色）的工作经验。
• 精通 SQL、Python、Spark 和 Hive。
• 具备分布式数据处理和大数据生态系统的经验。
• 具有数据管道工具（如 Airflow、NiFi 或类似工具）的实践经验者优先。
• 熟悉云平台（AWS、Azure 或 GCP）者优先。
• 具备较强的问题解决能力和沟通能力。 
