数据工程师 | ETL/ELT | Python | AWS

新加坡 9天前全职 网络
3.3万 - 5.5万 / 月
关于公司 我们与一家成立于2019年的全球科技公司合作,提供复杂且可靠的IT服务,特别关注网络安全和隐私保护,服务于全球一些增长最快的移动服务。 他们拥有数千万用户认可其能力。公司总部位于新加坡,在全球多个地方设有办事处,包括北美、台湾及其他亚洲国家! 关于职位 您将设计、构建和优化可扩展的数据基础设施,确保我们平台上的数据质量和治理。 • 使用AWS服务(Glue、Step Functions、Lambda、Redshift)设计、构建和维护ETL/ELT数据管道,并从各种来源高效地进行数据摄取。实施性能优化(增量加载、CDC、分区)及CI/CD自动化,进行监控和版本控制。 • 设计和实施维度数据模型(星型/雪花模式)。管理数据仓库/湖(Redshift、S3、Lake Formation),并进行分区和访问控制。与分析师合作进行数据集市设计并管理模式演变。 • 实施验证框架以确保数据的准确性和一致性。开发自动化质量报告/警报(CloudWatch、SNS)。建立元数据管理、数据来源追踪和访问控制的政策,确保遵守法规(GDPR、PDPA)。 • 持续提升ETL效率(并行化、查询优化)。优化云存储/计算成本。设计高可用性和灾难恢复。 所需技能和经验 • 计算机科学、信息系统、统计学或相关领域的学士学位或更高学历。 • 至少3年的数据工程或大数据开发的实践经验。 • 精通Python和SQL。 • 熟练掌握AWS数据服务:Glue、Redshift、S3、Athena、Lambda、EMR、Step Functions。 • 具有关系型(PostgreSQL、MySQL)和NoSQL(DynamoDB、MongoDB)数据库的经验。 在线申请请使用“申请”功能,或者您可以联系Evangeline。 (EA: 94C3609/ R24124002) 技能 不需要额外技能 资格 不需要额外资格 教育 学士学位