数据工程师/高级数据工程师(GCP,BigQuery)

洛杉矶 7天前全职 网络
面议
改变保险行业是一个雄心勃勃的目标,我们知道。这就是为什么在Applied,我们正在组建一个每天都准备好学习、愿意尝试新事物,并致力于提供创新软件和服务的团队,这使我们对客户来说不可或缺——这一切都在一个建立在价值观基础上的文化中,使我们对彼此也同样不可或缺。凭借在保险科技领域40多年的经验,我们不仅在重新定义可实现的目标,还在创造一个让惊人职业时刻成为可能的地方。 职位概述 EZLynx正在寻找一位技术娴熟且积极进取的数据工程师加入我们不断壮大的数据团队。理想的候选人将负责设计和实施数据管道,构建高效的ETL流程,管理我们的Looker实例,以实现整个组织的数据驱动决策。在这个新角色中,您将与跨职能团队密切合作,提供可扩展的数据解决方案,并集成SQL Server、BigQuery和Looker等平台。 这是一个令人兴奋的机会,适合那些热衷于利用数据推动业务成果、享受解决复杂问题并在快节奏、协作环境中茁壮成长的人。 您的职责 • 使用云原生服务(GCP、BigQuery、Pub/Sub等)设计、构建和维护可扩展的ETL管道 • 使用Terraform、Helm和Kubernetes自动化部署和配置 • 开发围绕Looker性能指标的仪表板和其他工具 • 确保Looker数据集由高效且可靠的查询支持 • 诊断和解决仪表板性能、LookML代码库、Explores和派生表中的性能问题 • 构建和维护微服务和数据工作流的CI/CD管道 • 支持和维护用于数据处理和编排的自定义工具 • 监控和排除数据湖操作和云资源的故障 • 设计符合业务报告需求的高效且逻辑的数据模型 • 编写复杂的SQL查询以进行数据提取、转换和报告 • 与数据工程师和分析师合作,提供可靠、高质量的数据产品 我们还希望高级团队成员能够: • 评估各种解决方案的机会和风险,以提供技术决策所需的见解和输入,同时我们不断构建可扩展性和安全性,同时保持高速度 • 增强数据湖操作并优化复杂的SQL查询以进行数据提取、转换和报告 • 作为基于原则的方法的倡导者,支持内部流程和文档的持续改进 • 分享高级知识以支持团队在我们不断构建数据基础设施的过程中 我们期待更多地了解您 我们正在寻找能够: • 可以远程工作或在Applied办公室工作的人员 该职位可能非常适合具有以下条件的数据工程师: • 3年以上使用Google Big Query进行数据仓库的经验 • 具有GCP(Pub/Sub、Dataflow、Cloud functions、IAM)的经验 • 在Looker环境中具有经验,包括性能指标和监控 • 具有CI/CD管道和版本控制系统(例如Git)的经验 • 精通SQL,包括存储过程、窗口函数和查询优化 • 精通构建和维护ETL管道以处理大型数据集 • 了解数据建模最佳实践(星型/雪花模式、规范化) • 能够在敏捷、快节奏的环境中跨职能工作 • 具有脚本语言(Python、Bash等)的经验;Go经验是一个加分项 • 精通Kubernetes、Terraform、CI/CD工具(GitHub Actions、Jenkins等) • 熟悉CDC工具(Debezium、Kafka等)和数据湖架构 在高级水平上,我们还希望: • 5年以上使用Google Big Query进行数据仓库的额外经验 • 在管理和增强Looker环境方面具有显著影响,包括性能指标和监控 • 具备高级SQL和Python知识,能够优化查询 • 证明能够通过基于数据湖架构和技术考虑的高级知识提出解决方案来解决复杂问题 我们自豪地支持和鼓励有军事经验的人以及军属申请 加入Applied团队后,您可以期待: 一种重视您的文化,并认识到您不仅仅是一名员工;您是一名团队成员,您很重要。我们在不同经验的好处中茁壮成长,并庆祝我们的团队成员每天带到工作中的独特性。 我们灵活地在一起工作,远程和亲自协作,以赋予我们的团队以最适合他们的方式工作。 一个以我们的团队成员为中心的全面福利和补偿计划,帮助他们每天都能在工作中发挥最佳表现: • 医疗、牙科和视力保险 • 假期和休假时间 • 健康与保健日 • 生日的额外假期 技能: Bash脚本编写、最佳实践、疾病控制和预防中心(CDC)、云计算、补偿和福利、持续部署/交付、持续改进、持续集成、跨职能、数据分析、数据湖、数据管理、数据建模、数据处理、数据质量、数据集、数据仓库、数据库提取转换和加载(ETL)、文档、GCP(良好临床实践)、Git、GitHub、识别问题、保险、Jenkins、Looker、机床、微服务、Microsoft SQL Server、性能分析、性能指标、问题解决能力、流程改进、Python编程/脚本语言、查询优化、报告仪表板、风险分析、SQL(结构化查询语言)、可扩展系统开发、脚本(脚本语言)、雪花模式、源代码/配置管理(SCM)、星型模式、存储过程、团队建设、团队领导/经理、团队合作、测试 关于公司: Applied Systems Inc