我们的客户是一家大型投资银行,现急需招聘一名高级后端Python开发人员(DAG结构)。
负责设计、开发和优化基于有向无环图(DAG)的数据编排系统。在调度、延迟减少和系统效率方面推动创新,具有构建生产级自定义DAG服务器解决方案的丰富经验。
职责
DAG架构与解决方案开发
架构和实施大规模基于Python的DAG编排系统,用于数据/计算工作流
负责自研DAG服务器的端到端开发生命周期,包括核心引擎、调度和执行逻辑
系统性能与延迟优化
分析并持续改进系统吞吐量、延迟和资源利用率,以支持关键任务工作负载
设计可靠性、高并发性和最小停机时间
可扩展性与效率提升
扩展DAG服务器解决方案,以应对不断增加的数据和任务依赖性,确保高效的并行执行
引入、基准测试并实施创新,以优化调度、依赖解析和错误恢复
技术领导与最佳实践
指导并为工程团队提供工作流设计、Python最佳实践和系统调试的技术指导
建立并推广代码质量、架构和文档标准
协作与利益相关者参与
与数据工程、分析和平台团队合作,收集需求并将DAG系统集成到更广泛的架构中
向技术和业务受众传达设计、权衡和结果
所需技能与经验
8年以上Python工程经验,重点关注后端和系统架构
在DAG结构、工作流调度和高性能系统设计方面具有深厚的专业知识
具有设计和构建自定义(自研)DAG引擎/服务器的经验,不限于现成解决方案(例如,Airflow、Luigi)
曾优化系统延迟、效率和资源管理
具备较强的问题解决能力、分析思维,以及大规模Python代码库的分析、调优和调试经验