高级数据工程师 - Snowflake / ETL(现场)

洛杉矶 29天前全职 网络
面议
CGS Business Solutions 致力于帮助您,作为一名尊敬的 IT 专业人士,找到职业生涯中的下一个正确步骤。我们将像您这样的专业人士与您专业领域内有价值的咨询或全职机会相匹配。我们目前正在寻找技术专业人士,他们正在寻找具有挑战性和回报的工作机会: 摘要 CGS 正在招聘一名高级数据工程师,作为平台团队的核心成员。这是一个高影响力的角色,负责推进我们的基础数据基础设施。 您的主要任务是构建我们政策日志的关键组件——所有政策、佣金和客户会计数据的中央真实来源。您将与首席数据工程师和业务利益相关者密切合作,将复杂的需求转化为可扩展的数据模型和可靠的管道,为代理、经理和领导层的分析和运营决策提供支持。 这个角色融合了新领域工程、战略现代化,并强烈关注交付值得信赖的高质量数据产品。 概述 - 构建政策日志——设计和实施主数据架构,将来自 IVANS 和 Applied EPIC 等来源的政策、佣金和会计数据统一起来,创建平台的“黄金记录”。 - 确保数据可靠性——定义和实施数据质量检查、监控和警报,以保证管道的准确性、一致性和及时性,同时为治理中的最佳实践做出贡献。 - 构建分析基础——增强和扩展我们的分析堆栈(Snowflake、dbt、Airflow),将原始数据转化为清晰、高性能的维度模型,以获得 BI 和运营洞察。 - 现代化遗留 ETL——重构我们现有的 Java + SQL(PostgreSQL)ETL 系统——诊断重复和性能问题,用 Python 重写关键组件,并将编排迁移到 Airflow。 - 实施数据质量框架——开发与我们的 QA 策略一致的自动化测试和验证框架,以确保管道的准确性、完整性和完整性。 - 协作架构与设计——与产品和业务利益相关者合作,深入了解需求并设计可扩展、可维护的数据解决方案。 理想经验 - 5 年以上构建和运营生产级数据管道的经验。 - 精通 Python 和 SQL。 - 拥有现代数据堆栈的实际经验——Snowflake/Redshift、Airflow、dbt 等。 - 对 AWS 数据服务(S3、Glue、Lambda、RDS)有深入了解。 - 有处理保险或保险科技数据(政策、佣金、索赔等)的经验。 - 证明有能力为分析设计稳健的数据模型(例如,维度建模)。 - 实用的解决问题者,能够分析和重构复杂的遗留系统(能够阅读 Java/Hibernate 是一个很大的加分项——但不需要新的 Java 编码)。 - 出色的沟通者,能够与技术和非技术利益相关者合作。 巨大加分项! - 直接使用代理管理系统(Applied EPIC、Nowcerts、EZLynx 等)的经验 - 熟悉承运人数据格式(Accord XML、IVANS AL3) - 使用 BI 工具(Tableau、Looker、Power BI)的经验 关于 CGS Business Solutions:CGS 专注于 IT 业务解决方案、人员配置和咨询服务。重点关注 IT 应用、网络基础设施、信息安全和工程。CGS 是一家 INC 5000 公司,并荣幸地被评选为加利福尼亚州最佳 IT 招聘公司之一。在连续五次获得增长最快公司称号后,CGS 继续打入美国各地的新市场。公司依靠 CGS 吸引并帮助留住这些资源池,以在快速变化的商业环境中获得竞争优势。