高级数据工程师 – Python & Spark
100% 远程 - 多伦多，安大略省，加拿大
经验：5年以上
角色概述：NearSource 正在寻找一名具有 Python、Spark 和 Snowflake 专业知识的数据平台工程师，加入我们在多伦多的工程团队。被选中的候选人将为财富500强客户架构和扩展数据管道，支持分析，并支持关键的业务洞察。
主要职责
• 设计、构建和扩展现代数据平台，能够在企业规模上处理实时和批处理。
• 通过详细的文档和迭代交付，将复杂的业务和技术挑战转化为可操作的解决方案。
• 自动化部署、监控和管理云端数据基础设施，以实现高可用性和可靠性。
• 实施和维护 CI/CD 管道，重点关注自动化测试和持续改进。
• 与数据工程师、数据科学家和产品利益相关者密切合作，收集需求并推动数据最佳实践。
• 开发和优化 SQL 查询和数据模型，以实现高效的分析和报告。
• 创建直观的仪表板、报告和分析工具，为业务领导者提供可操作的洞察。
• 贡献于分析计划，如性能跟踪、细分和收入优化。
• 通过以清晰和战略的方式呈现数据驱动的洞察，有效地传达发现。
所需技能和经验
• 5年以上处理大型数据系统、处理管道和关系数据库的实际经验。
• 精通 Spark（DataFrames、Spark SQL、PySpark）。
• 具有高级 Python 和 SQL 编程技能，注重代码的清洁和模块化。
• 具备 SQL 概念、维度数据建模和数据仓库（如 Hive 或 Snowflake）的扎实基础。
• 具有使用 Airflow 等工作流编排工具的经验。
• 熟练使用 BI 工具，如 Tableau、Power BI 或 Qlik。
• 了解 CI/CD 实践和版本控制系统（Git、Jenkins）。
• 具有使用交互式笔记本环境（Jupyter、EMR 或 Zeppelin）的实际经验。
优先技能
• 熟悉 Presto 和 AWS 服务。
• 具有使用 Looker 进行 BI 开发的经验。
• 理解分布式系统设计，注重可靠性和弹性。
• 接触过监控和可观测性工具。
认证/教育：
计算机科学、工程或相关领域的学士学位（或同等培训和经验）
立即申请，或将您的简历与薪资期望发送至显示邮箱。感谢您考虑与我们一起发展事业！一旦您提交申请，我们的人才招聘团队将仔细审查您的简历。如果有强烈的匹配，我们将联系您讨论您的经验、角色细节、福利、薪酬和后续步骤。虽然我们努力保持透明，但由于申请量大，我们可能无法回复每位申请者，但我们真诚地感谢您的时间和兴趣。
关于 NearSource：NearSource Technologies 是未来就绪软件咨询的可信赖合作伙伴，帮助财富500强企业加速数字化转型。我们的全球工程团队为一些世界上最受尊敬的品牌构建和部署有影响力的技术，直接参与长期客户计划。
平等机会声明：NearSource 是一个致力于营造包容和尊重环境的平等机会雇主。我们庆祝多样性，不因种族、性别、宗教、性取向、年龄、残疾或背景而歧视。创新在每个人都感到有能力贡献时蓬勃发展。
