数据工程师职位将专注于设计、开发和支持我们在Spark和Python（PySpark）中的Hadoop数据解决方案，同时与Hadoop生态系统的其他组件（如HDFS、Hive、Hue、Impala、Zeppelin、Jupyter）一起工作。成功的候选人将与业务和投资组合负责人密切合作，了解需求，然后设计和构建创新的数据解决方案。
工作职责：
- 设计和开发以PySpark、Python和Hadoop框架为中心的工作。
- 处理千兆字节/万亿字节的数据，并了解转换和丰富此类大型数据集的挑战。
- 提供解决业务问题的有效解决方案-战略和战术。
- 与团队成员、项目经理、业务分析师和质量保证团队合作，构思、估算和开发新解决方案和增强功能。
- 与利益相关者密切合作，定义和完善大数据平台，以实现销售、产品和战略目标。
- 与其他技术团队和架构师合作，定义和开发跨功能技术堆栈交互。
- 读取、提取、转换、分段和加载（ETL）数据到多个目标，包括Hadoop和Oracle。
- 作为源准备过程的一部分，摄取和优化各种布局/格式的传入文件。
- 开发围绕Hadoop框架的脚本，自动化流程和现有流程。
- 修改现有的编程/代码以满足新的需求。
- 通过JIRA/Confluence估算工作量，并通过软件开发生命周期跟踪进度。
- 单元测试和调试。对任何失败的流程进行根本原因分析（RCA）。
- 将业务需求转化为技术设计规范，并执行。
- 参与代码审查，并保持应用程序/代码库与版本控制（GIT/Bitbucket）同步。
- 有效沟通、自我激励，并能够在分布式团队环境中独立工作。
所需技能：
- 计算机科学（或工程等同学士或硕士学位）。
- 3年以上的大数据摄取、转换和分段经验。
- 具有Hadoop分布式框架的分析、设计和实施经验，包括Python和Spark（SparkSQL、PySpark）、HDFS、Hive、Impala、Hue、Cloudera Hadoop、Zeppelin、Jupyter等。
- 处理大量数据（以TB/交易数十亿计）的丰富经验。
- 熟练掌握任何RDBMS的SQL知识。
- 熟悉Spark中的RDD和数据帧。
- 了解数据分析的工作知识。
- 故障排除和复杂问题解决能力。
- 对Oracle数据库和PL/SQL的知识。
- 熟悉Linux/Unix环境，并熟悉Unix Shell脚本（ksh、bash）。
- 基本的Hadoop管理知识。
- 具备DevOps知识是一个优势。
- 能够在截止日期内工作，并有效地优先和执行任务。
- 具有良好的沟通技巧（口头和书面），能够在各个层面与团队、内部和外部进行沟通。
首选技能：
- 对Oracle数据库和PL/SQL的工作知识。
- Hadoop管理和DevOps。
- ETL技能（熟悉Talend或其他ETL工具者优先）。
- 良好的分析思维和解决问题的能力。
- 能够快速诊断和解决问题。
- 有动力学习新技术、应用和领域。
- 对通过探索和逆向工程学习的兴趣。
- 强大的时间管理能力。
- 能够完全负责任务和项目。
- 具备团队合作精神和优秀的人际交往能力。
- 良好的口头和书面沟通能力。
- 具备克服各种挑战的积极态度。
首选认证（以下任何一项）：
- CCA Spark和Hadoop开发人员。
- MapR认证Spark开发人员（MCSD）。
- MapR认证Hadoop开发人员（MCHD）。
- HDP认证Apache Spark开发人员。
- HDP认证开发人员。
关于Epsilon的其他信息：
Epsilon是一家全球广告和营销技术公司，位于Publicis Groupe的中心。Epsilon通过其业界领先的技术，连接广告商和消费者，推动业绩，同时尊重和保护消费者的隐私。Epsilon的基于人的身份图使品牌、代理商和发布商能够接触到真实的人，而不是Cookie或设备，跨越开放网络。欲了解更多信息，请访问epsilon.com。
当你成为我们中的一员时，你将与最优秀的人一起工作。几十年来，我们一直在帮助世界顶级品牌的营销人员通过我们的尖端技术、解决方案和服务为数百万人个性化体验。Epsilon一流的身份认证为品牌提供了清晰、符合隐私规范的客户视图，他们可以在我们的数字媒体、消息和忠诚度解决方案套件中使用。我们每天处理400多亿个消费者行为，并拥有许多专利技术，包括实时建模语言和消费者隐私的进展。由于每位员工的努力，Epsilon一直被Forrester、Adweek和MRC等机构认可为行业领先。作为Publicis Groupe的核心，Epsilon是一家全球公司，在全球拥有8000多名员工。请查看以下资源，了解更多关于Epsilon的信息：
- 我们的文化：https://www.epsilon.com/us/about-us/our-culture-epsilon
- Epsilon的生活：https://www.epsilon.com/us/about-us/epic-blog
- 多元包容：https://www.epsilon.com/us/about-us/diversity-equity-inclusion
- 企业社会责任：https://www.epsilon.com/us/about-us/corporate-social-responsibility
优秀的人应该享受优厚的福利。我们知道，我们拥有世界上最聪明、最有才华的员工之一，我们相信应该相应地奖励他们。如果你在这里工作，可以期待具有竞争力的薪酬、全面的健康保险覆盖和无限的晋升机会。
Epsilon是一家平等机会雇主。Epsilon的政策是不基于实际或被认为的种族、年龄、性别或性别（包括怀孕）、婚姻状况、国籍、血统、公民身份、精神或身体残疾、宗教、信条、肤色、性取向、性别认同或表达（包括跨性别状态）、退伍军人身份、基因信息或任何其他受适用联邦、州或地方法律保护的特征歧视任何申请人或员工。Epsilon还禁止基于这些受保护类别对申请人和员工进行骚扰。Epsilon将为需要完成申请过程的申请人提供适当的住宿。
REF216743S 
芝加哥