公司概况：欢迎来到数据驱动创新的前沿！在我们公司，我们致力于利用数据的力量推动洞察力并增强决策能力。我们的使命是开发可扩展和高效的数据管道解决方案，使组织能够简化数据处理和分析。加入我们，成为一个致力于塑造数据管道开发未来的动态团队的一部分。
职位概述：作为数据管道开发人员，您将在设计、构建和维护我们的数据管道基础设施和工作流中发挥关键作用。与数据工程师、分析师和业务利益相关者的跨职能团队密切合作，确保我们的数据管道解决方案的可靠性、可扩展性和效率。如果您对数据工程充满激情，并渴望通过可扩展的数据解决方案推动创新，我们希望您成为我们团队的一员。
要求
主要职责：
• 数据管道设计：设计和架构可扩展和可靠的数据管道解决方案，以自动化数据摄取、处理和转化任务。
• 数据集成：将来自不同来源的数据（包括数据库、文件、API 和流媒体平台）集成到我们的数据管道生态系统中，确保数据的一致性和连贯性。
• 数据处理：开发和维护数据处理工作流，以清理、丰富和转换原始数据，使其适合分析和报告。
• 数据调度：使用工作流管理工具和框架（例如 Apache Airflow、Luigi、Prefect）编排和调度数据管道工作流。
• 性能优化：优化数据管道的性能，以提高速度、效率和可扩展性，调整数据处理任务并优化资源利用。
• 数据质量和治理：实施数据质量检查、验证规则和错误处理机制，以确保数据在管道中的准确性、完整性和一致性。
• 监控和维护：监控数据管道的性能和健康状况，主动识别和解决问题，以最小化停机时间并优化资源利用。
• 文档和协作：记录数据管道架构、流程和最佳实践，并与跨职能团队协作，确保对齐与透明。
资格：
• 计算机科学、工程或相关领域的学士学位或更高学历。
• 具备数据工程的扎实背景，拥有设计、构建和优化数据管道解决方案的实践经验。
• 精通 Python、Java 或 Scala 等编程语言，具备使用 Apache Spark、Apache Beam 或 Apache Flink 等数据处理框架的经验。
• 具备使用工作流管理工具和框架（如 Apache Airflow、Luigi 或 Prefect）的经验。
• 熟悉数据集成技术和技术，包括 ETL（提取、转换、加载）流程和流数据处理。
• 强大的问题解决能力和分析思维，注重细节，热衷于应对复杂的技术挑战。
• 出色的沟通和协作能力，能够在跨职能团队中有效工作，并向非技术利益相关者传达技术概念。
福利
• 竞争力薪资：数据管道开发人员的行业标准薪资通常在每年 140,000 至 210,000 美元之间，具体取决于经验和资格。优秀候选人可能有资格获得更高的薪酬包。
• 综合健康、牙科和视力保险计划。
• 灵活的工作时间和远程工作选项。
• 丰厚的假期和带薪休假。
• 专业发展机会，包括参加培训项目、会议和研讨会。
• 先进的技术环境，提供尖端工具和资源。
• 充满活力和包容的公司文化，包含团队建设活动和社交活动。
• 在公司内部职业成长和晋升的机会。
• Exciting projects with real-world impact across diverse industries.（令人兴奋的项目，产生跨行业的现实影响。）
• 有机会与数据工程领域的顶尖人才和行业专家共事。
加入我们：准备好塑造数据管道开发的未来了吗？立即申请加入我们的团队，成为这一创新与发现激动人心的旅程的一部分！ 
旧金山