数据工程师 / 高级数据工程师(GCP, BigQuery)

休斯顿 7天前全职 网络
面议
变革保险行业是一个雄心勃勃的目标,我们深知这一点。这就是为什么在Applied,我们正在组建一个每天都准备学习、愿意尝试新事物并致力于提供创新软件和服务的团队,这使我们对客户来说不可或缺——同时在一个基于价值观的文化中,使我们对彼此也不可或缺。凭借在保险科技领域40多年的经验,我们不仅在重新定义可实现的目标,还在创造一个让职业生涯精彩瞬间成为可能的地方。 职位概述 EZLynx正在寻找一位技术娴熟且积极进取的数据工程师加入我们不断壮大的数据团队。理想的候选人将负责设计和实施数据管道,构建高效的ETL流程,管理我们的Looker实例,以实现全组织的数据驱动决策。在这个新角色中,您将与跨职能团队密切合作,提供可扩展的数据解决方案,并集成SQL Server、BigQuery和Looker等平台。 这是一个令人兴奋的机会,适合那些热衷于利用数据推动业务成果、喜欢解决复杂问题并在快节奏、协作环境中茁壮成长的人。 您的工作内容 • 使用云原生服务(GCP、BigQuery、Pub/Sub等)设计、构建和维护可扩展的ETL管道 • 使用Terraform、Helm和Kubernetes自动化部署和配置 • 开发仪表板和其他围绕Looker性能指标的工具 • 确保Looker数据集由高效且可靠的查询支持 • 诊断和解决仪表板性能、LookML代码库、Explores和派生表中的性能问题 • 构建和维护微服务和数据工作流的CI/CD管道 • 支持和维护用于数据处理和编排的自定义工具 • 监控和排除数据湖操作和云资源的故障 • 设计符合业务报告需求的高效且逻辑的数据模型 • 编写复杂的SQL查询用于数据提取、转换和报告 • 与数据工程师和分析师合作,提供可靠、高质量的数据产品 此外,我们还希望高级团队成员能够: • 评估各种解决方案的机会和风险,提供技术决策所需的见解和输入,同时在保持高速度的同时不断构建可扩展性和安全性 • 增强数据湖操作并优化复杂的SQL查询以进行数据提取、转换和报告 • 作为基于原则的方法设计、实施和测试的倡导者,支持内部流程和文档的持续改进 • 分享高级知识以支持团队在构建数据基础设施的过程中不断进步 我们期待更多地了解您 我们正在寻找这样的人: • 可以远程工作或在Applied办公室工作 该职位可能非常适合具有以下经验的数据工程师: • 3年以上Google Big Query数据仓库经验 • GCP(Pub/Sub、Dataflow、Cloud functions、IAM)经验 • Looker环境经验,包括性能指标和监控 • CI/CD管道和版本控制系统(如Git)经验 • 精通SQL,包括存储过程、窗口函数和查询优化 • 精通构建和维护ETL管道以处理大型数据集 • 了解数据建模最佳实践(星型/雪花模式、规范化) • 能够在敏捷、快节奏的环境中跨职能工作 • 具备脚本语言(Python、Bash等)经验;有Go经验者优先 • 精通Kubernetes、Terraform、CI/CD工具(GitHub Actions、Jenkins等) • 熟悉CDC工具(Debezium、Kafka等)和数据湖架构 在高级水平上,我们还希望: • 5年以上Google Big Query数据仓库额外经验 • 在管理和增强Looker环境方面有显著影响,包括性能指标和监控 • 具备高级SQL和Python知识,并有能力优化查询 • 展示通过基于数据湖架构和技术考虑的高级知识提出解决方案来解决复杂问题的能力 我们自豪地支持和鼓励有军队经验的人以及军属申请 加入Applied团队时,您可以期待: 一种重视您是谁的文化,认识到您不仅仅是一名员工;您是队友,您很重要。我们因不同经验的好处而茁壮成长,并庆祝队友每天带到工作中的独特性。 我们灵活地共同工作,远程和面对面合作,以赋能我们的团队以最适合他们的方式工作。 一个全面的福利和薪酬包,以我们的队友为中心,帮助他们每天在工作中发挥最佳状态: • 医疗、牙科和视力保险 • 假期和休假时间 • 健康与保健日 • 生日特别假 技能: Bash脚本编写、最佳实践、疾病控制与预防中心(CDC)、云计算、薪酬与福利、持续部署/交付、持续改进、持续集成、跨职能、数据分析、数据湖、数据管理、数据建模、数据处理、数据质量、数据集、数据仓库、数据库提取转换加载(ETL)、文档、GCP(良好临床实践)、Git、GitHub、识别问题、保险、Jenkins、Looker、机床、微服务、Microsoft SQL Server、性能分析、性能指标、问题解决能力、流程改进、Python编程/脚本语言、查询优化、报告仪表板、风险分析、SQL(结构化查询语言)、可扩展系统开发、脚本(脚本语言)、雪花模式、源代码/配置管理(SCM)、星型模式、存储过程、团队建设、团队领导/经理、团队合作、测试 关于公司: Applied Systems Inc