大数据工程师领导

16个月前远程全职
116.7K - 160.4K USD Modivcare

Modivcare

location 芝加哥
unsaved
您是否热衷于改变人们的生活?您是否喜欢在服务导向的行业工作?如果是的话,这个机会可能适合您! 该职位负责设计、开发和管理组织的数据基础设施,确保数据以可靠、高效和可扩展的方式收集、存储和提供,以满足各种数据驱动目的,如分析、报告和机器学习。 您将会... • 从数据库、外部API、流数据源和日志等收集数据。 • 开发流程,将原始数据转化为可用格式。 • 设计和维护数据存储解决方案,如关系型数据库、NoSQL数据库、数据仓库、数据湖以及AWS S3或Azure Data Lake Storage等云存储服务。 • 创建和实施数据模型,定义数据在数据存储系统中的结构和组织方式。 • 设计表、模式和关系,以确保数据完整性和高效查询。 • 利用AWS云中的大数据技术开发数据预处理和分析能力。 • 创建可伸缩、高性能的网络服务,用于跟踪数据。 • 将复杂的技术和功能要求转化为详细的设计。 • 调查数据存储和处理的替代方案,以确保实施最简化的解决方案。 • 从源系统中提取数据,将其转化为一致的格式,并加载到目标数据存储解决方案中进行ETL处理。 • 创建数据管道(批处理或实时流式处理),自动化数据从源到目的地的流动。 • 实施数据质量检查和验证程序,确保数据准确、完整和一致。 • 还可能建立数据治理政策和流程。 • 优化数据系统的性能和可扩展性,通过必要的查询调优、索引和数据分区来支持高效的数据检索和处理。 • 实施数据安全措施,保护敏感和机密信息。包括访问控制、加密和符合数据隐私法规(如GDPR、HIPAA)。 • 监控数据管道和系统,确保其正常运行。 我们很期待与具备以下条件的人士交谈... • 学士学位为必要条件。 • 十年以上的工作经验。 • 具备Python、Spark和Hive的经验。 • 具备Parquet、ORC或Avro文件格式的经验。 • 理解数据仓库和数据建模技术。 • 具备AWS NoSQL解决方案(如DynamoDB)的经验。 • 熟悉行业常用的可视化和分析工具(例如Tableau、R)。 • 具备AWS云平台和AWS EMR的强大数据工程能力。 • 具备Change Data Capture技术(如Qlik replicate、AWS DMS等)的经验。 • 具备Kafka和AWS Kinesis等流式处理框架的经验。 • 熟悉Core Java、Linux、SQL和任何脚本语言。 • 良好的人际交往能力和积极的态度。 薪资:年薪116,700美元-160,400美元 我们重视团队成员,并意识到对您和您的家人来说福利的重要性。 Modivcare提供全面的福利计划,包括以下内容: • 医疗、牙科和视觉保险 • 雇主支付的基本人寿保险和意外死亡和残疾保险 • 自愿人寿保险(员工/配偶/子女) • 医疗保健和抚养护理弹性支出账户 • 税前和税后通勤和停车福利 • 401(k)退休储蓄计划,公司配对 • 带薪休假 • 带薪产假 • 短期和长期残疾保险 • 学费报销 • 员工折扣(零售、酒店、食品、餐馆、租车等等!) Modivcare是一个平等就业机会雇主。 • 平等就业机会法案 - 点击此处获取更多信息 • 平等就业机会雇主,少数族裔/女性/受保护的退伍军人/残疾人 • 我们根据联邦法律考虑所有申请人的聘用,不论种族、肤色、宗教、性别、性取向、国籍、年龄、残疾或残疾,或者根据越战时期或特殊残疾退伍军人的身份。如果您需要帮助,请联系我们的招聘部门recruiting@modivcare.com。