要求
• 计算机科学、工程学、数学或相关领域的学士或硕士学位,
• 在数据工程方面拥有至少12年以上的经验,具有设计和运营大规模数据系统的成功记录,
• 在云或混合环境中构建和维护现代数据流水线的经验,
• 对大数据技术(如Hadoop、Spark)、数据库系统(如SQL、NoSQL)和ETL工具有很强的经验,
• 至少精通一种编程语言:Scala、Java或Python,
• 对数据建模、数据仓库解决方案以及事务性和分析系统的数据架构策略有深入的理解,
• 有云服务(AWS、Azure、Google Cloud)的经验,并了解这些平台提供的数据流水线工具和服务,
• 具有出色的解决问题、分析、沟通和团队合作能力,
• 具有领导经验,并能够与其他团队跨职能合作,实现公司目标,
• (可取)在地理空间数据管理和处理平台方面的经验,
• (可取)有编写、设计图像处理系统、对地理数据进行复杂操作的实际经验
工作内容
• 架构和实施可扩展的数据处理平台,用于管理大规模、异构的地理空间数据,包括卫星图像、LiDAR数据、天气信息和企业数据集,
• 确保这些系统能够高效地摄取、存储和处理各种数据类型,以支持各种分析和运营需求,
• 实施严格的数据质量控制措施和标准化流程,以维护数据集的完整性和准确性,
• 开发数据验证、清理和去重的协议,确保高质量的数据可用于关键决策过程,
• 与数据科学家、分析师和业务利益相关者密切合作,了解数据需求,并实施能够支持数据驱动决策的系统,
• 了解数据工程行业的趋势和创新,并提出采用新技术、工具和方法来改进我们的数据系统,
• 随着我们的规模不断扩大,不断发展AiDash架构,
• 领导跨团队的大型项目(重构服务以改善代码质量、运行效率、资源优化,保持堆栈更新,提出新技术等),成为内部专家,并为产品工程师提供咨询,帮助他们构建可扩展和可靠的系统,
• 提供技术指导和领导力,推动大型项目的实施和执行关键组织目标。