技术数据科学家/ETL工程师

洛杉矶 3个月前全职 网络
面议
概述 GovCIO 目前正在招聘一名 ETL 工程师(或数据科学家),加入我们的 ETL 团队,专注于在 AWS GovCloud 环境中设计、开发和维护强大的 ETL 数据管道和数据基础设施。该职位位于马里兰州汉诺威,并将是完全远程工作。责任 设计、开发和维护在 AWS GovCloud 环境中的强大 ETL 数据管道和数据基础设施。您将与跨职能团队紧密合作,确保来自各种来源的数据高效处理、分析和可视化,以监控和优化系统性能。您将结合使用 AWS 原生服务和开源软件来创建可扩展和高性能的数据管道,管理复杂的数据流,并为大型 AWS 环境中的操作监控工作做出贡献。 数据管道开发: • 设计并实施提取、转换、加载(ETL)解决方案,以从广泛的来源移动、处理和存储数据,包括 AWS S3、CloudWatch、EventBridge 和其他基于云的服务。 • 利用 AWS 服务,如 Lambda、Kinesis 和 Data Prepper,创建跨多个 AWS 账户的数据管道。 • 使用 AWS CloudFormation 在基础设施即代码(IaC)环境中部署和管理数据管道基础设施。 • 部署和管理 CloudWatch 警报和合成金丝雀,以确保系统健康,并在问题影响用户之前主动检测问题。 日志聚合与度量收集: • 部署和配置 Fluent-bit 代理,以从数百个关键系统收集系统和应用程序日志。 • 开发自定义 Lua 函数和正则表达式解析器,以根据需要转换和路由日志。 数据分析、可视化与警报: • 设计并构建数据可视化、仪表板和警报,以监控和检测异常的系统活动。 • 设计、实施和维护 AWS CloudWatch 警报,以监控云应用程序、基础设施和服务的健康和性能。 • 使用 Amazon SNS 配置警报通知,并与通信工具(例如 Slack、电子邮件)集成,以确保及时了解关键问题。 • 使用 Vega 开发自定义可视化,使用查询 DSL 和 Painless 脚本创建警报,并通过 OpenSearch SQL 生成报告。 集群管理与数据存储: • 管理和维护 OpenSearch 集群,以支持大规模数据摄取和查询。 • 为摄取到 OpenSearch 的字段实施显式映射,并管理索引状态管理策略以获得最佳性能。 • 使用 Active Directory 联合服务在 OpenSearch 环境中实施访问控制和多租户。 应用程序性能监控: • 使用 OpenTelemetry 对各种应用程序进行仪器化,以确保对应用程序性能的可见性。资格 高中毕业,拥有 9 年以上的经验/专业 能够获得最高机密 所需技能和经验 • 必须拥有 IAT II/III 级认证(例如,CompTIA Security+(CE)) • 必须具有 Linux 和/或 AWS GovCloud 技术的经验和认证 优先技能和经验 • 在 AWS 服务方面有丰富经验,例如 Lambda、Kinesis、CloudWatch、S3、EventBridge 和 CloudFormation。 • 精通 Python,用于开发和维护数据管道。 • 具有管理分布式 NoSQL 数据库的经验,如 OpenSearch、Elasticsearch、MongoDB 或 Splunk。 • 具有部署和配置日志聚合和系统监控代理的经验。 • 了解基础设施即代码(IaC)原则,特别是 AWS CloudFormation。 • 有效的书面和口头沟通能力 • 在相关技术方面的认证 公司概述 GovCIO 是一个变革团队 - 一群热衷于转变政府 IT 的人。每天,我们通过提供创新的 IT 服务和解决方案,积极影响政府机构的运作和服务公民的方式。 但我们不能单靠自己。我们需要优秀的人来帮助我们做伟大的事情 - 为我们的客户、我们的文化以及我们吸引其他优秀人才的能力。我们正在改变政府 IT 的面貌,建立一个推动这一使命的劳动力。您准备好成为一名变革者吗?您可以期待什么 面试与招聘流程 如果您被选中继续参与流程,您可以期待: • 在面试过程中 • 与招聘经理和/或团队进行的虚拟视频面试 • 必须开启摄像头 • 每次面试时必须出示有效的带照片的身份证 • 在招聘过程中 • 增强的生物识别身份证明验证筛查 • 背景调查,包括: • 犯罪历史(过去 7 年) • 验证您最高学历 • 验证您的工作经历(过去 7 年),根据您在申请中提供的信息 员工福利 在 GovCIO,我们常常听到有意义的工作和协作的团队环境是员工享受在这里工作的两个主要原因。此外,我们的员工可以访问一系列福利和利益,以支持他们的个人和职业福祉,超越公司提供的标准健康福利,包括: • 员工援助计划(EAP) • 企业折扣 • 学习与发展平台,包括认证准备内容 • 培训、教育和认证支持* • 推荐奖金计划 • 内部流动计划 • 宠物保险 • 灵活的工作环境 • 适用于全职员工 我们员工独特的才能和贡献是我们支持客户成功的驱动力,这最终推动了公司的成功。加入我们,成为一个投资于员工、优先考虑员工体验持续提升的文化的一部分。 我们是一个平等机会雇主。所有合格的申请者将在没有种族、肤色、宗教、性别、性别、性别认同或表达、性取向、国籍、残疾或作为受保护的退伍军人的身份的情况下获得就业考虑。EOE,包括残疾/退伍军人。 发布薪资范围 发布的薪资范围(如果提及)反映了该职位在入职时的预期范围,但提供的基本薪资可能因多个个体化因素而异,包括市场地点、与工作相关的知识、技能、教育、经验和内部公平性。该职位的总薪酬包也可能包括其他补偿元素,在招聘过程中讨论。如果被雇用,员工将处于随意职位,GovCIO 保留随时修改基本薪资(以及任何其他酌情支付或补偿计划)的权利,包括与个人表现、GovCIO 或个别部门/团队表现和市场因素相关的原因。 发布薪资范围 美元 $130,000.00 - 美元 $155,000.00/年。 提交对该职位的推荐(https://careers-govcio.icims.com/jobs/6072/technical-data-scientist-etl-engineer/job?mode=apply&apply=yes&in_iframe=1&hashed=-1834385473) 地点 美国-远程 ID 2025-6072 类别 IT 基础设施与网络工程与运营 职位类型 全职 网络参考:AJF/891570580-202 发布日期:2025年9月16日 请注意,申请该职位时,您将填写 GovCIO 提供或代表其提供的另一个网站上的申请表。任何外部网站和申请过程不在 IT JobServe 的控制或责任范围内。