关于公司
我们与一家成立于2019年的全球科技公司合作,提供复杂且可靠的IT服务,特别关注网络安全和隐私保护,服务于全球一些增长最快的移动服务。
他们拥有数千万用户认可其能力。公司总部位于新加坡,在全球多个地方设有办事处,包括北美、台湾及其他亚洲国家!
关于职位
您将设计、构建和优化可扩展的数据基础设施,确保我们平台上的数据质量和治理。
• 使用AWS服务(Glue、Step Functions、Lambda、Redshift)设计、构建和维护ETL/ELT数据管道,并从各种来源高效地进行数据摄取。实施性能优化(增量加载、CDC、分区)及CI/CD自动化,进行监控和版本控制。
• 设计和实施维度数据模型(星型/雪花模式)。管理数据仓库/湖(Redshift、S3、Lake Formation),并进行分区和访问控制。与分析师合作进行数据集市设计并管理模式演变。
• 实施验证框架以确保数据的准确性和一致性。开发自动化质量报告/警报(CloudWatch、SNS)。建立元数据管理、数据来源追踪和访问控制的政策,确保遵守法规(GDPR、PDPA)。
• 持续提升ETL效率(并行化、查询优化)。优化云存储/计算成本。设计高可用性和灾难恢复。
所需技能和经验
• 计算机科学、信息系统、统计学或相关领域的学士学位或更高学历。
• 至少3年的数据工程或大数据开发的实践经验。
• 精通Python和SQL。
• 熟练掌握AWS数据服务:Glue、Redshift、S3、Athena、Lambda、EMR、Step Functions。
• 具有关系型(PostgreSQL、MySQL)和NoSQL(DynamoDB、MongoDB)数据库的经验。
在线申请请使用“申请”功能,或者您可以联系Evangeline。
(EA: 94C3609/ R24124002)
技能
不需要额外技能
资格
不需要额外资格
教育
学士学位