数据工程师
信息技术
职位编号：
4061
城市：
芝加哥
州：
伊利诺伊州
数据工程师
什么是SPR？
SPR帮助企业实施合适的技术，帮助他们平衡用户的期望，同时规划未来的业务需求。作为一家技术现代化公司，SPR与客户合作开发或现代化数字产品和平台。
我们在芝加哥和密尔沃基拥有200多名战略家、开发人员、设计师、架构师、顾问、思考者和实践者。我们与150多个中型到大型客户合作，涵盖专业服务和制造业等行业。我们考虑最终用户，并且严格应用最新的技术和框架来满足客户的需求。SPR专注于定制软件开发、云、数据和用户体验解决方案，承诺通过提供积极的建议、分享知识、灵活应对变化并投入时间深入了解客户业务来超越构建。
我们在一个有趣、休闲的工作环境中工作，并享有诸如竞争力薪资、奖金、慷慨的休假时间、大型健身激励计划和医疗/牙科/视力保险等福利。加入SPR团队，你将通过项目解决问题、努力工作并产生影响力，同时成为独特文化的一部分并因此而受到奖励。
这个职位是什么？
作为SPR的数据工程师，你必须有建立和操作数据流水线的经验（包括流式和批处理，利用ETL和ELT架构）。你将通过设计、采用和应用大数据策略和架构来构建数据管道解决方案。你必须具备可扩展系统实现的经验，重点是复杂数据处理和分析管道。你必须展示对数据集成最佳实践的理解，并具备数据集成、数据转换、数据建模和数据清洗方面的专业知识。数据工程师必须能够展示创新的方法来解决复杂问题，为我们的客户提供行业领先的体验。
职责
- 设计和开发数据集，以促进一致性和效率
- 与分析师和其他利益相关者合作，开发和执行必要的流程和控制，确保数据流的可靠性
- 创新可扩展的解决方案，优化数据基础设施的效率
- 与客户合作，了解并开发业务需求/问题
- 测试/排除问题并进行根本原因分析
- 理解并提供数据治理，以实现集成和一致的应用系统
- 验证表格更改和数据转换过程的准确性
- 在适当时，在产品部署之前能够交付经过全面测试的代码
- 推荐并实施增强措施，简化流程并改善数据完整性
- 履行其他职责，以确保客户和公司的成功
专业资格
- 有积极性、自我激励的能力，能够快速学习
- 熟练掌握SQL、Python技能（R是一个很大的加分项）
- 有设计和实施创新数据集成解决方案的经验，利用Python与Spark集群
- 熟悉数据密集型解决方案的架构模式
- 精通实时流式处理，并将批处理数据处理迁移到流式和微批处理解决方案
- 了解关系型数据库的核心原理；建立、调优、设计以及较新的非结构化数据工具
- 熟悉咨询和传统应用设计
- 优秀的书面和口头沟通能力
- 在面对挑战时展示出良好的问题解决能力
- 必须是一个能够以身作则的实践者
- 有敏捷方法论的经验
- 具备出色的人际交往和组织能力
- 能够管理自己的时间，能够独立工作和团队合作
我们使用的技术
云计算（Azure、AWS、Cloud Foundry、Heroku、Mesos、DC/OS）/关系型数据库（SQL Server、PostgreSQL、Oracle、DB2）/非关系型数据库（Mongo、Raven、DocumentDB、Cassandra、Maria、Riak）/Python（包括Databricks）/大数据（Cloudera和Hortonworks Hadoop分布，包括Hive、Pig、Sqoop、Spark）/集成工具（Apache Nifi、Cloudera Streamsets、Azure Data Factory、AWS Glue、Talend）/ELK（ElasticSearch、Logstash、Kibana）/Microsoft PowerShell / AWS SDK
教育和经验
- 学士学位，最好是数据科学、分析学、计算机科学、工程学或科学/技术相关学科
- 3-5年的专业经验
如果你觉得这是你每天都能应对的挑战，我们很乐意听到你的声音。我们是一个机会均等的雇主，包括残疾人和退伍军人。 
芝加哥