关于ZCS
ZCS是一家专注于数据架构、高级分析和人工智能的专业咨询机构。我们是Databricks的合作伙伴。
职责
作为一名具备Spark开发技能的数据工程师，您的职责将集中在构建和优化客户的数据处理系统，并增强其分析能力。
主要职责可能包括：
• 使用Spark开发可扩展的批处理和实时数据流的数据处理流水线。
• 在云中实施ETL（提取、转换、加载）过程和工作流，以支持数据提取、转换和加载需求。
• 设计和优化数据模型，以支持分析和商业智能用例。
• 通过有效的数据治理和质量控制措施确保数据质量和一致性。
• 自动化数据流水线，并将来自各种来源的数据集成到一致的数据湖或数据仓库架构中。
• 与数据架构师、科学家和分析师合作，使数据对高级分析和机器学习项目可访问和可用。
• 识别和解决数据处理工作流程中的性能瓶颈。
• 管理与数据存储和处理相关的云资源和服务。
• 参与设计和实施数据治理框架，以确保数据安全、隐私和符合行业标准。
• 与利益相关者咨询，了解数据需求，并将其转化为技术解决方案。
• 支持将传统系统迁移到现代数据平台。
• 为组织内的数据工程和Spark开发制定最佳实践。
• 向初级团队成员提供技术领导和指导。
• 与更广泛的数据工程社区互动，以跟踪趋势和创新。
要求
对于具备Spark开发技能的数据工程师角色，以下技能和经验至关重要：
• 在Apache Spark和Databricks上具有2年以上的实际经验，并在数据工程或相关领域拥有3年以上的经验。
• 在使用Spark进行大数据处理方面具有丰富的经验。
• 熟练掌握数据工程中使用的编程语言，如Python、Scala或Java。
• 具有云平台的经验，特别是Azure或AWS。
• 熟悉数据建模、数据仓库和数据架构原理。
• 熟悉数据治理和质量控制的最佳实践。
• 具有自动化数据流水线和ETL工作流的经验。
• 了解机器学习模型部署和操作化是一个优势。
• 出色的问题解决、批判性思维和分析能力。
• 良好的沟通和协作能力，能够在团队中有效工作。
• 自我激励，能够优先处理任务并独立工作。
• 在咨询或基于项目的工作环境中有背景是有益的。
• 领导能力，包括指导和指导团队成员的能力。 
悉尼