数据工程师 / 高级数据工程师 (GCP, BigQuery)

纽约 7天前全职 网络
面议
转型保险行业是一个雄心勃勃的目标,我们知道。因此,在Applied,我们正在组建一支每天都准备好学习、愿意尝试新事物并致力于提供创新软件和服务的团队,这使我们对客户来说是不可或缺的——这一切都在一个以价值观为基础的文化中进行,这也使我们对彼此来说是不可或缺的。凭借在保险科技领域40多年的经验,我们不仅在重新定义可实现的目标,还在创造一个让惊人职业时刻成为可能的地方。 职位概述 EZLynx正在寻找一位技术娴熟且积极进取的数据工程师加入我们不断壮大的数据团队。理想的候选人将负责设计和实施数据管道,构建高效的ETL流程,管理我们的Looker实例,以实现全组织的数据驱动决策。在这个新角色中,您将与跨职能团队密切合作,提供可扩展的数据解决方案,并集成SQL Server、BigQuery和Looker等平台。 这是一个令人兴奋的机会,适合那些热衷于利用数据推动业务成果、喜欢解决复杂问题并在快节奏、协作环境中茁壮成长的人。 您的工作内容 • 使用云原生服务(GCP、BigQuery、Pub/Sub等)设计、构建和维护可扩展的ETL管道 • 使用Terraform、Helm和Kubernetes自动化部署和配置 • 开发仪表板和其他围绕Looker性能指标的工具 • 确保Looker数据集由高效可靠的查询支持 • 诊断和解决仪表板性能、LookML代码库、Explores和派生表中的性能问题 • 构建和维护微服务和数据工作流的CI/CD管道 • 支持和维护用于数据处理和编排的自定义工具 • 监控和排除数据湖操作和云资源的故障 • 设计符合业务报告需求的高效且逻辑的数据模型 • 编写复杂的SQL查询用于数据提取、转换和报告 • 与数据工程师和分析师合作,提供可靠、高质量的数据产品 我们还希望高级团队成员能够: • 评估各种解决方案的机会和风险,提供技术决策所需的见解和输入,同时我们不断构建可扩展性和安全性,同时保持高速度 • 增强数据湖操作并优化复杂的SQL查询以进行数据提取、转换和报告 • 作为设计、实施和测试的原则性方法的倡导者,支持内部流程和文档的持续改进 • 分享高级知识以支持团队在我们不断构建数据基础设施的过程中 我们期待了解更多关于您的信息 我们正在寻找能够: • 可以远程工作或在Applied办公室工作的人员 该职位可能非常适合具有以下条件的数据工程师: • 3年以上使用Google Big Query进行数据仓库的经验 • 具有GCP(Pub/Sub、Dataflow、Cloud functions、IAM)的经验 • 在Looker环境中具有经验,包括性能指标和监控 • 具有CI/CD管道和版本控制系统(如Git)的经验 • 精通SQL,包括存储过程、窗口函数和查询优化 • 精通构建和维护ETL管道以处理大型数据集 • 了解数据建模最佳实践(星型/雪花模式、规范化) • 能够在敏捷、快节奏的环境中跨职能工作 • 具有脚本语言(Python、Bash等)的经验;Go经验是加分项 • 精通Kubernetes、Terraform、CI/CD工具(GitHub Actions、Jenkins等) • 熟悉CDC工具(Debezium、Kafka等)和数据湖架构 在高级水平上,我们还希望: • 5年以上使用Google Big Query进行数据仓库的额外经验 • 在管理和增强Looker环境方面具有显著影响,包括性能指标和监控 • 拥有高级SQL和Python知识,并具备优化查询的能力 • 通过提出基于数据湖架构和技术考虑的高级知识的解决方案来解决复杂问题的能力 我们自豪地支持和鼓励具有军事经验的人以及军人配偶申请 加入Applied团队时,您可以期待: 一种重视您是谁的文化,并认识到您不仅仅是一名员工;您是团队的一员,您很重要。我们因不同的经验而茁壮成长,并庆祝我们的队友每天带到工作中的独特性。 我们灵活安排时间,远程和面对面合作,以赋予我们的团队以最适合他们的方式工作。 一个以我们的队友为中心的全面福利和薪酬计划,帮助他们每天以最佳状态投入工作: • 医疗、牙科和视力保险 • 假期和休假时间 • 健康与保健日 • 生日额外假期 技能: Bash脚本编写、最佳实践、疾病控制和预防中心(CDC)、云计算、薪酬和福利、持续部署/交付、持续改进、持续集成、跨职能、数据分析、数据湖、数据管理、数据建模、数据处理、数据质量、数据集、数据仓库、数据库提取转换和加载(ETL)、文档、GCP(良好临床实践)、Git、GitHub、识别问题、保险、Jenkins、Looker、机床、微服务、Microsoft SQL Server、性能分析、性能指标、问题解决能力、流程改进、Python编程/脚本语言、查询优化、报告仪表板、风险分析、SQL(结构化查询语言)、可扩展系统开发、脚本编写(脚本语言)、雪花模式、源代码/配置管理(SCM)、星型模式、存储过程、团队建设、团队领导/经理、团队合作、测试 关于公司: Applied Systems Inc