Spark, Scala, Big data developer

16 months agoFull-time
Tata Consultancy Services

Tata Consultancy Services

location Los Angeles
unsaved
职位标题 Spark,Scala,大数据开发人员 相关经验 (年) 8-10年 技术/功能技能 •有经验的工程师,具有实际操作和强大的编码能力,最好具有Java,Scala,Python的经验。 •AWS云经验 - S3,EFS,ECS,EMR等。 •了解Hadoop / Spark和各种数据格式,如Parquet,AVRO,CSV等。 •了解并具有RDBMS(Aurora MySQL)和No-SQL(Cassandra)的知识和经验将会有额外加分。 •注重细节,具有分析/好奇的思维。 •组织和沟通能力 所需经验 8-10年 角色和职责 •使用Python和Apache Spark进行大规模数据处理。 •利用AWS服务(如S3,EMR,EC2)进行数据存储和处理。 •使用Apache Airflow调度,监控和排除故障数据管道。 •确保所有数据基础设施上的数据质量,可观察性和完整性。 常规管理技能 良好的沟通和管理技能 教育 至少学士学位 开始日期