一家公司正在寻找一名数据工程师,负责设计、构建和维护可扩展的数据处理管道,使用现代大数据技术。 主要职责 设计和实施可扩展的数据管道 优化现有数据工作流以提高性能和可靠性 与数据科学家和分析师合作,支持他们的数据需求 任职资格 计算机科学、工程或相关技术领域的学士学位 5 年以上软件开发经验 熟练掌握 Python、Java 或 Scala 编程语言 具有丰富的 Apache Spark 和基于云的 Spark 平台的实际经验 对分布式计算概念和数据建模最佳实践有深入理解