Spark数据工程师 - Marc Ellis招聘

所需技能对Apache Spark、数据摄取、数据处理和数据集成具有深厚的背景，并负责使用Spark框架开发和维护我们的动态数据摄取框架。应具备使用Spark构建可扩展、高性能和容错的数据处理流水线的专业知识，能够优化Spark作业的性能和可扩展性。还应具备设计和实施数据模型、处理数据错误、实施数据质量和验证流程以及将Spark应用程序与Hadoop生态系统中的其他大数据技术进行集成的经验。