关于职位
数据与分析团队致力于构建创新的数据产品,提供可操作的见解,赋能我们的合作伙伴取得成功。我们专注于策划和维护关键数据源和统计数据,以服务于内部和外部利益相关者。
• 你将做什么
高级工程与编码
• 核心开发:设计和编码复杂的dbt模型和数据转换逻辑,用于高容量的金融数据集(交易记录、订单簿)。
• Python自动化:编写生产级Python脚本,用于高级数据处理、异常检测和SQL无法单独处理的自定义编排逻辑。
• 性能工程:负责查询性能方面的“最难问题”。重构遗留代码并优化增量加载策略,以降低大规模的成本和延迟。
技术架构与标准
• CI/CD与DevOps:负责我们数据部署报告管道(Git, dbt Cloud)的技术实施,确保稳健的版本控制和无缝集成。
• 数据质量即代码:设计自动化测试框架和验证套件(使用dbt测试/Python),在数据问题到达业务层之前捕获它们。
指导与协作
• 代码审查:为初级和高级开发人员提供代码审查。
• 技术指导:当高级和初级工程师遇到障碍时,充当“首选”技术资源,通过结对编程和指导帮助他们解决代码级问题。
• 跨职能影响:在技术和业务团队之间工作,解决问题,咨询未来工程变更对建模输出的影响。
你需要具备的条件
技术精通
• 6-12年以上数据工程或分析工程的实际经验。
• 精通SQL:不仅仅是编写查询,还理解执行计划、分区修剪以及如何优化计算密集型环境。
• 高级dbt:对dbt内部、定制物化、宏和包管理有深入经验。
• 强大的Python:熟练使用Python进行数据操作(Pandas/Polars)和与API/AWS服务(boto3)的交互。
• 金融数据流利:有为复杂金融工具、账本或高频交易数据架构数据模型的经验。
• KPI架构:有构建业务指标的经验,确保指标定义在所有下游报告中是版本控制的、可重用的和数学一致的。
工程思维
• 平台思维:构建可重用和模块化的解决方案,而不是一次性脚本。
• 生产级:有将数据视为软件的经验(单元测试、CI/CD、文档、SLA监控)。
• 问题解决:能够独立诊断分布式系统(Spark/Databricks/Snowflake)中的神秘错误信息并解决它们。
申请者必须被授权为美国的任何雇主工作。DriveWealth目前无法赞助工作签证。
特殊知识(可有但非必需)
• 有使用Apache Spark或Databricks处理重计算工作负载的经验。
• 有实施Airflow或类似编排器的经验。
• 有从数据建模角度使用Sigma Computing的经验。
• 有使用AI/LLM工具以实现更快、更智能的分析工作流的经验。