高级数据工程师

15个月前远程全职
CCC Information Services Inc.

CCC Information Services Inc.

location 芝加哥
unsaved
CCC智能解决方案是一家领先的技术公司,帮助数百万人改善保险理赔流程。我们屡获殊荣的SaaS平台连接了超过35,000家企业,包括保险公司、维修设施、汽车制造商、零部件供应商、贷款机构等,从头到尾简化了流程。 我们在人工智能、物联网、遥测数据和分析方面的先进能力推动了平台上的持续创新,致力于推动万亿美元的财产和意外险经济的数字化转型。 在CCC,我们的使命是在最重要的时刻推动人们的生活向前发展。经验和观点的多样性对我们的追求至关重要,这样我们才能为客户提供无限可能的未来。 职位 主要职责: 工作职责: 在美国各地(总部位于伊利诺伊州芝加哥)招聘高级数据工程师。开发大规模的端到端数据管道应用程序,涵盖分布在数据中心和AWS云上的多个数据源。使用开发的软件应用程序定位和分析源数据;创建数据流以提取、分析和存储摄取的数据;定义和构建数据清洗和补全;映射到通用数据模型;转换以满足业务规则和统计计算;并验证数据内容。生成软件数据构建块、数据模型和数据流,例如维度数据、数据源、仪表板报告和数据科学研究和探索。为数据流组件和数据内容质量生成自动化软件测试。自动化编排和错误处理供生产运营团队使用。为生产支持团队提供技术专业知识以诊断错误。指导初级团队成员在分布式计算环境中进行性能调优应用。对所有数据和流程进行根本原因分析,并找到改进机会。开发元数据驱动和完全参数化的数据处理工具。指导初级工程师。技术环境:Python和PySpark编程;Hadoop;HDFS,map-reduce,YARN,AWS EMR;Hive,HBase,parquet,ORC,Spark SQL,Sqoop,Apache Hudi;使用Apache Airflow编排数据源、转换和发布的ETL流水线;Apache Kafka;高级SQL用于数据分析和数据验证;Unix命令和脚本;JIRA,Gitlab和Subversion;EMR;S3;RDS;MWAA;Jenkins;CircleCI;敏捷;AWS。 要求: 工作要求: •计算机科学、计算机工程、管理信息系统或相关领域的硕士学位,以及两年以上的工作经验或软件开发/数据处理或分析经验。所需技能:亲自经验:使用Python和PySpark进行编程;Hadoop;HDFS,map-reduce,YARN,AWS EMR;Hive,HBase,parquet,ORC,Spark SQL,Sqoop,Apache Hudi;使用Apache Airflow编排数据源、转换和发布的ETL流水线;在分布式计算环境中进行性能调优应用;使用Apache Kafka设计和开发数据管道应用程序;高级SQL用于数据分析和数据验证;Unix命令和脚本;对内部和外部数据和流程进行根本原因分析以找到改进机会;JIRA,Gitlab,Subversion;敏捷;开发元数据驱动和完全参数化的数据处理工具;AWS。允许远程办公。(*计算机科学、计算机工程、管理信息系统或相关领域的学士学位,以及五年以上渐进式的工作经验或软件开发/数据处理或分析经验也可接受)。 关于公司对员工的承诺: CCC智能解决方案的员工是一个包容性文化的一部分,汇集了不同的背景和观点。我们的团队以诚信、客户导向、创新、多样性和包容性以及坚韧性为价值观。我们共同帮助客户和彼此实现新目标。 CCC致力于为员工提供提升职业和技能的机会。CCC团队成员可以获得培训和教育补贴。 CCC提供有竞争力的薪酬和丰厚的福利。健康保险、带薪休假、401K等只是团队成员可享受的一些福利。 每个团队成员在公司的成功中都扮演着重要角色,每个团队成员都有发表意见的权利。CCC员工参与度和工作满意度评级始终超过行业标准,凸显了CCC对员工的重视。 探索CCC的员工体验。