高级数据工程师

部门： 工程 地点： 温哥华 薪酬： $90,000 - $150,000 / 年 描述 高级数据工程师 地点： 北美（远程） ActiveState 使 DevOps、信息安全和开发团队能够在提高安全态势的同时，提高生产力和创新能力，以更快地交付安全的应用程序。 我们是目前市场上唯一提供无漏洞开源语言包和容器以及智能修复的解决方案，能够识别优先处理的漏洞，评估更新导致的重大变化影响，优先修复内容，从源代码安全构建开源包，并促进构建和部署过程，以快速轻松地将修复投入生产。 我们是开源软件企业采用和使用的开创者和领导者。 此职位面向在该领域有经验的候选人。我们构建系统以查找、理解和保护全球所有开源代码，我们正在寻找能够查找、获取、建模和管理此类数据的人，以帮助我们保护互联网的源代码。 主要职责 我们的大胆目标是以自动化和可重复的方式，从源代码构建互联网上发布的所有开源软件。 作为高级数据工程师，您将设计、构建和维护数据管道，确保公司内信息的可靠性和可访问性。 您将创建和改进数据模型，增强仪表板，并与团队密切合作推动数据优先文化。 我们的数据是我们最强大、最重要的资产。您的工作将影响我们各个层面的决策和成功。 此职位是开发和运营的混合体；良好的编码和沟通技能与数据管理和建模专业知识同样重要。 开发和维护可扩展的数据基础设施。 您将使用 Airflow 和 Athena 等工具设计、构建和优化数据管道，确保高效的数据获取、转换和分析，同时保持完整性和可访问性。 增强数据模型和可视化。 您将扩展公司范围的数据模型以提高报告准确性，并在 Tableau 等工具中开发用户友好的仪表板，为各部门提供有意义的见解。 确保数据质量和文档。 您将实施监控系统以衡量数据质量，用准确性指标注释获取源，并编写文档以帮助团队有效访问和解释数据。 推动团队间的数据优先思维。 您将与销售、市场、产品管理和工程团队合作，发现见解，回答复杂的业务问题，并倡导数据使用和决策的最佳实践。 我们依赖于我们构建的系统数据以及我们能发现的关于全球开源软件的一切。 技能、知识和专业知识 至少五年处理 ETL 过程、数据管道和数据基础设施的经验，展示您管理复杂数据系统的能力。 精通 Python（首选）或其他编程语言，如 Go、Perl、Ruby 或 Java，使用代码自动化和简化数据过程。 有使用 Athena、Snowflake、Redshift、Luigi 或类似数据管理平台的经验，能够构建和优化有效的数据存储解决方案。 擅长使用 Tableau、Power BI 或 Google Data Studio 等可视化工具，确保您能够以清晰和有意义的方式展示数据。 具有强大的分析和解决问题的能力，能够处理结构化和非结构化数据集以发现见解和趋势。 优秀的沟通者，能够将技术概念翻译为非技术受众可以理解的信息。 对数据所有权的实际方法，确保利益相关者拥有有效访问和解释数据所需的资源和指导。 资产如果您有以下任何经验，请务必在求职信中突出显示： 构建工程，特别是 Java、Go 和 Rust 等语言 开源项目和文化，特别是依赖管理和库维护 使用开源数据处理工具的经验，如 Kafka、Hadoop、Airflow、PrestoDB、dbt 和类似技术 云端数据工程背景，特别是在 AWS 或 GCP 环境中 曾与销售或市场分析合作的经验 对开源项目和社区的贡献 福利 随着我们扩展数据组合和团队，您将有机会成长并与团队共同成长。 有机会与一支聪明、体贴、热情的团队合作。 有机会参与一个将改变全球开发人员工作生活的项目，包括您自己的工作生活。 具有竞争力的薪资和奖金计划。 全面的福利套餐和健康/保健积分计划。 无限制的带薪休假和随时随地工作的计划。 在一家稳定且不断发展的公司工作，该公司提供初创企业的环境和个人成长潜力，同时拥有成功企业的稳定性和既定收入。