高级数据工程师

15个月前全职
PCCW GLOBAL Limited

PCCW GLOBAL Limited

location 新加坡
unsaved
职位描述: 这是一个全职职位,采用混合工作模式。 关于Console Connect Console Connect是由PCCW Global推出的全球首个软件定义互连平台,致力于帮助组织克服连接云的障碍和复杂性。我们的目标是为企业提供按需、专用的连接到全球各地的云服务提供商和合作伙伴,使访问关键业务应用程序变得简单、可预测和极其安全。 Console Connect通过友好的用户界面,使用户能够高效地管理其私有连接,无论其技术水平如何。 Console Connect得到PCCW Global的支持,后者是世界领先的电信集团之一,拥有一级全球IP网络,Console Connect具有完全可扩展性,提供最高的弹性和可靠性,使您在云连接方面充满信心和安全感。 角色概述 我们热衷于利用数据驱动创新,赋予企业更大的权力。我们正在寻找一位技术高超、经验丰富的高级数据工程师加入我们充满活力的团队。成功的候选人将在设计、构建和优化我们的数据基础设施方面发挥关键作用,确保无缝集成和高效数据处理。 主要职责 • 使用工具实施和管理数据工作流程,确保数据管道及时可靠地执行 • 整合来自各种来源的数据,确保数据仓库或数据湖中的一致性、准确性和可靠性 • 在数据仓库概念、ETL流程和数据集成技术方面展示强大的专业知识 • 优化现有数据流程,提高效率和可扩展性。 • 部署和优化用于数据工程任务的开源解决方案,利用其灵活性和可扩展性 • 将各种结构化和非结构化的数据源集成到我们的数据仓库和数据湖中 • 建立编码标准,并进行彻底的同行代码审查,确保高质量、可维护的代码库 最低资格要求 • 相关领域的学士或硕士学位(例如统计学、计算机科学、数据科学等) • 5年以上的数据工程经验 • 在Linux环境下工作的经验 • 熟悉Apache Airflow等数据管道编排工具 • 熟练掌握SQL、Python、Java或Scala等编程语言 • 熟悉容器化技术,尤其是Docker • 精通大数据技术,擅长摄取大量数据并确保可扩展性 • 出色的沟通技巧,能够有效与业务利益相关者合作,并呈现发现和建议 • 独立解决问题的能力和团队合作精神 优选资格 • 8年及以上的数据工程经验