数据工程师,数据解决方案

2个月前全职
面议 Lyft

Lyft

location 多伦多
unsaved
在 Lyft,我们的目标是服务和连接。我们希望通过培养一个所有团队成员都能归属并有机会蓬勃发展的工作环境来实现这一目标。 我们正在寻找一位经验丰富的数据工程师加入我们的实验和指标平台团队。您将负责开发强大的数据基础设施,并提供服务,使我们的领导层能够做出明智的决策。 您将设计、构建并启动可扩展的数据管道,以支持 Lyft 所有实验的结果生成以及其核心业务指标的计算。我们的技术栈包括 Airflow、Hive Metastore、Trino 和 Spark 计算引擎,以及用于 ETL 的 Python。 作为我们团队的关键成员,您将与跨职能的合作伙伴一起工作,提出新想法,评估多种方法,并根据基本特性和支持数据选择最佳方案。 • 职责: • 设计和构建数据管道,以支持多种实验类型的指标结果生成。 • 根据业务和工程需求不断发展数据模型和架构。 • 实施和采用跟踪数据质量和一致性的系统。 • 提出并开发支持自助服务的数据管道管理工具(ETL)。 • 熟悉机器学习模型的生产化和服务器端编程。 • 对 SQL 和 PySpark 进行调优,以提高数据处理性能。 • 编写结构良好、经过良好测试、可读性强、可维护的代码,同时考虑数据基础设施的成本和可扩展性。 • 参与代码审查,以确保代码质量并分发知识。 • 参与值班轮换,以确保工作流和数据的高可用性和可靠性。 • 消除障碍,支持并与内部和外部合作伙伴沟通,以实现结果。