职位描述和职责
作为Zero1的数据工程师,您将在塑造我们的数据基础设施方面发挥关键作用,使公司能够利用数据驱动的洞察力来改变业务并推动创新。您将负责在数据平台上设计、开发和维护我们的数据架构,以确保数据的无缝流动和高质量数据的可用性,用于分析和商业智能目的。您将与公司的关键利益相关者和其他团队密切合作,支持Zero1的增长。该职位位于我们新加坡办公室。
您的主要职责包括:
• 数据摄取和集成 o 开发数据管道,将来自各种来源的数据摄取、处理和集成到数据平台 o 实施ETL(抽取、转换、加载)过程,清理、转换和丰富原始数据
• 数据建模和优化 o 设计和维护数据模型,确保数据的准确性、完整性和性能 o 优化查询和工作负载,实现高效的数据处理
• 数据质量和治理 o 实施数据质量检查和验证流程,确保数据的准确性和一致性 o 与技术团队合作,建立数据治理标准
• 基础设施管理 o 配置和管理数据平台,以实现最佳性能和可扩展性 o 监控和解决与数据管道和基础设施相关的问题
• 协作和文档 o 与跨职能团队密切合作,了解他们的数据需求,并提供数据工程支持 o 记录数据管道、流程和工作流,以进行知识共享
• 安全和合规 o 实施数据安全措施,并确保符合数据隐私法规(例如,GDPR、HIPAA) o 与安全团队合作,强制执行数据访问控制和加密。
优选资格
• 计算机科学、信息技术或相关领域的学士学位或更高学历。
• 作为数据工程师具有经验,并熟悉数据仓库概念和技术(例如,AWS Redshift、Snowflake、Databricks)。
• 在Apache Spark方面具有扎实的专业知识,并熟练掌握Python或Scala等编程语言。
• 熟悉数据建模和数据库设计原则。
• 了解ETL工具和流程。
• 出色的解决问题的能力和注重细节的能力,具有良好的沟通和协作能力。