数据工程师 / 高级数据工程师 (GCP, BigQuery)

芝加哥 7天前全职 网络
面议
变革保险行业是一个雄心勃勃的目标,我们知道。这就是为什么在Applied,我们正在组建一个每天准备学习、愿意尝试新事物并致力于提供创新软件和服务的团队,这使我们对客户来说不可或缺——所有这些都在一个以价值观为基础的文化中,使我们对彼此也同样不可或缺。凭借在保险科技领域超过40年的经验,我们不仅在重新定义可实现的目标,还在创造一个让精彩职业时刻成为可能的地方。 职位概述 EZLynx正在寻找一位技术娴熟且积极进取的数据工程师加入我们不断壮大的数据团队。理想的候选人将负责设计和实施数据管道,构建高效的ETL流程,管理我们的Looker实例,以支持整个组织的数据驱动决策。在这个新角色中,您将与跨职能团队密切合作,提供可扩展的数据解决方案,并集成SQL Server、BigQuery和Looker等平台。 这是一个令人兴奋的机会,适合那些热衷于利用数据推动业务成果、喜欢解决复杂问题并在快节奏、协作环境中茁壮成长的人。 您的职责 - 使用云原生服务(GCP、BigQuery、Pub/Sub等)设计、构建和维护可扩展的ETL管道 - 使用Terraform、Helm和Kubernetes自动化部署和配置 - 开发仪表板和其他围绕Looker性能指标的工具 - 确保Looker数据集由高效可靠的查询支持 - 诊断和解决仪表板性能、LookML代码库、Explores和派生表中的性能问题 - 构建和维护微服务和数据工作流的CI/CD管道 - 支持和维护用于数据处理和编排的自定义工具 - 监控和排除数据湖操作和云资源的故障 - 设计符合业务报告需求的高效且逻辑的数据模型 - 编写复杂的SQL查询用于数据提取、转换和报告 - 与数据工程师和分析师合作,提供可靠、高质量的数据产品 我们还希望高级团队成员能够: - 评估各种解决方案的机会和风险,为技术决策提供所需的见解和输入,同时我们不断构建可扩展性和安全性,同时保持高速度 - 增强数据湖操作并优化复杂的SQL查询以进行数据提取、转换和报告 - 支持内部流程和文档的持续改进,作为基于原则的方法在设计、实施和测试中的倡导者 - 分享高级知识以支持团队随着时间的推移继续构建我们的数据基础设施 我们期待了解更多关于您的信息 我们正在寻找能够: - 可以远程工作或在Applied办公室工作的人员 该职位可能非常适合具有以下经验的数据工程师: - 3年以上使用Google Big Query进行数据仓储的经验 - 具有GCP(Pub/Sub、Dataflow、Cloud functions、IAM)的经验 - 在Looker环境中,包括性能指标和监控的经验 - 具有CI/CD管道和版本控制系统(例如Git)的经验 - 熟练掌握SQL,包括存储过程、窗口函数和查询优化 - 熟练构建和维护ETL管道以处理大型数据集 - 了解数据建模最佳实践(星型/雪花模式、规范化) - 能够在敏捷、快节奏的环境中跨职能工作 - 具有脚本语言(Python、Bash等)的经验;Go经验是一个加分项 - 熟练使用Kubernetes、Terraform、CI/CD工具(GitHub Actions、Jenkins等) - 熟悉CDC工具(Debezium、Kafka等)和数据湖架构 在高级级别,我们还希望: - 5年以上使用Google Big Query进行数据仓储的额外经验 - 在管理和增强Looker环境方面的显著影响,包括性能指标和监控 - 具备高级SQL和Python知识,并有能力优化查询 - 展示通过基于数据湖架构和技术考虑的高级知识提出解决方案来解决复杂问题的能力 我们自豪地支持和鼓励有军事经验的人以及军人配偶申请 加入Applied团队时,您可以期待: 一种重视您身份的文化,认识到您不仅仅是一名员工;您是一名队友,您很重要。我们因不同经验带来的好处而茁壮成长,并庆祝队友每天带到工作中的独特性。 我们灵活安排时间,远程和现场协作,以赋能我们的团队以最适合他们的方式工作。 一个全面的福利和薪酬包,以我们的队友为中心,帮助他们每天以最佳状态投入工作: - 医疗、牙科和视力保险 - 假期和休假时间 - 健康与保健日 - 生日特别假期 技能: Bash脚本编写、最佳实践、疾病控制与预防中心(CDC)、云计算、薪酬与福利、持续部署/交付、持续改进、持续集成、跨职能、数据分析、数据湖、数据管理、数据建模、数据处理、数据质量、数据集、数据仓储、数据库提取转换加载(ETL)、文档编写、GCP(良好临床实践)、Git、GitHub、识别问题、保险、Jenkins、Looker、机床、微服务、Microsoft SQL Server、性能分析、性能指标、问题解决能力、流程改进、Python编程/脚本语言、查询优化、报告仪表板、风险分析、SQL(结构化查询语言)、可扩展系统开发、脚本编写(脚本语言)、雪花模式、源代码/配置管理(SCM)、星型模式、存储过程、团队建设、团队领导/管理、团队合作、测试 关于公司: Applied Systems Inc