职位和责任:
作为一名中级数据工程师,您将成为我们团队的重要成员,为数据管道和系统的设计、开发和实施做出贡献。您的职责包括:
• 与跨职能团队合作,收集需求并设计可扩展和高效的数据解决方案。
• 在Azure和AWS等各种云平台上构建和维护数据管道和工作流程。
• 在整个数据生命周期中确保数据质量、完整性和安全性。
• 开发和优化数据集成流程、ETL/ELT管道和数据模型。
• 及时解决和解决与数据相关的问题。
• 了解数据工程领域的新兴趋势和技术。
要求:
• 计算机科学、信息系统等相关IT领域的学士学位。
• 在云环境中有数据工程师的经验。
• 熟练掌握云平台,特别是Azure和AWS。
• 对数据集成、ETL/ELT流程和数据建模有扎实的理解。
• 熟练掌握Python、Java或Scala等编程语言。
• 有Hadoop、Spark或Kafka等大数据技术经验者优先考虑。
• 熟悉数据仓库概念和工具。
• 出色的问题解决和分析能力。
• 较强的沟通和协作能力