数据工程师 / 高级数据工程师 (GCP, BigQuery)

圣弗朗西斯科 7天前全职 网络
面议
变革保险行业是一个雄心勃勃的目标,我们深知这一点。这就是为什么在Applied,我们正在组建一个每天都准备好学习、愿意尝试新事物并致力于提供创新软件和服务的团队,这使我们对客户来说是不可或缺的——同时在一个以价值观为基础的文化中,我们对彼此也同样不可或缺。凭借在保险科技领域40多年的经验,我们不仅在重新定义可实现的目标,还在创造一个让精彩职业时刻成为可能的地方。 职位概述 EZLynx正在寻找一位技术娴熟且积极进取的数据工程师加入我们不断壮大的数据团队。理想的候选人将负责设计和实施数据管道,构建高效的ETL流程,管理我们的Looker实例,以实现整个组织的数据驱动决策。在这个新角色中,您将与跨职能团队密切合作,提供可扩展的数据解决方案,并集成SQL Server、BigQuery和Looker等平台。 这是一个激动人心的机会,适合那些热衷于利用数据推动业务成果、喜欢解决复杂问题并在快节奏、协作环境中茁壮成长的人。 您的职责 - 使用云原生服务(GCP、BigQuery、Pub/Sub等)设计、构建和维护可扩展的ETL管道 - 使用Terraform、Helm和Kubernetes自动化部署和配置 - 开发Looker性能指标的仪表板和其他工具 - 确保Looker数据集由高效可靠的查询支持 - 诊断和解决仪表板性能、LookML代码库、Explores和派生表中的性能问题 - 构建和维护微服务和数据工作流的CI/CD管道 - 支持和维护用于数据处理和编排的自定义工具 - 监控和排除数据湖操作和云资源的故障 - 设计符合业务报告需求的高效逻辑数据模型 - 编写复杂的SQL查询用于数据提取、转换和报告 - 与数据工程师和分析师合作,提供可靠、高质量的数据产品 我们还希望高级团队成员能够: - 评估各种解决方案的机会和风险,为技术决策提供所需的见解和输入,同时我们不断构建可扩展性和安全性,同时保持高速度 - 增强数据湖操作并优化用于数据提取、转换和报告的复杂SQL查询 - 作为基于原则的方法的倡导者,支持内部流程和文档的持续改进 - 分享高级知识以支持团队在我们不断构建数据基础设施的过程中 我们期待更多地了解您 我们正在寻找能够: - 可以远程工作或在Applied办公室工作的人员 该职位可能非常适合具有以下经验的数据工程师: - 3年以上使用Google Big Query进行数据仓库的经验 - 具有GCP(Pub/Sub、Dataflow、Cloud functions、IAM)经验 - 具有Looker环境经验,包括性能指标和监控 - 具有CI/CD管道和版本控制系统(例如Git)的经验 - 精通SQL,包括存储过程、窗口函数和查询优化 - 精通构建和维护ETL管道以处理大型数据集 - 了解数据建模最佳实践(星型/雪花模式、规范化) - 能够在敏捷、快节奏的环境中跨职能工作 - 具有脚本语言(Python、Bash等)经验;有Go经验者优先 - 精通Kubernetes、Terraform、CI/CD工具(GitHub Actions、Jenkins等) - 熟悉CDC工具(Debezium、Kafka等)和数据湖架构 在高级级别,我们还希望: - 5年以上使用Google Big Query进行数据仓库的额外经验 - 在管理和增强Looker环境方面具有显著影响力,包括性能指标和监控 - 拥有高级SQL和Python知识,并具有优化查询的能力 - 展示解决复杂问题的能力,通过基于数据湖架构和技术考虑的高级知识提出解决方案 我们自豪地支持和鼓励有军队经验的人以及军人配偶申请 加入Applied团队后,您可以期待: 一种重视您身份的文化,认识到您不仅仅是一名员工;您是队友,您很重要。我们因不同经验的好处而茁壮成长,并庆祝我们的队友每天带到工作中的独特性。 我们灵活安排时间,远程和面对面协作,以授权我们的团队以最适合他们的方式工作。 一个全面的福利和薪酬计划,以我们的队友为中心,帮助他们每天在工作中发挥最佳状态: - 医疗、牙科和视力保险 - 假期和休假时间 - 健康与保健日 - 生日特别假 技能: Bash脚本编写、最佳实践、疾病控制与预防中心(CDC)、云计算、薪酬与福利、持续部署/交付、持续改进、持续集成、跨职能、数据分析、数据湖、数据管理、数据建模、数据处理、数据质量、数据集、数据仓库、数据库提取转换和加载(ETL)、文档编写、GCP(良好临床实践)、Git、GitHub、识别问题、保险、Jenkins、Looker、机床、微服务、Microsoft SQL Server、性能分析、性能指标、问题解决能力、流程改进、Python编程/脚本语言、查询优化、报告仪表板、风险分析、SQL(结构化查询语言)、可扩展系统开发、脚本编写(脚本语言)、雪花模式、源代码/配置管理(SCM)、星型模式、存储过程、团队建设、团队领导/经理、团队合作、测试 关于公司: Applied Systems Inc