职位标题
Spark,Scala,大数据开发人员
相关经验
(年)
8-10年
技术/功能技能
•有经验的工程师,具有实际操作和强大的编码能力,最好具有Java,Scala,Python的经验。
•AWS云经验 - S3,EFS,ECS,EMR等。
•了解Hadoop / Spark和各种数据格式,如Parquet,AVRO,CSV等。
•了解并具有RDBMS(Aurora MySQL)和No-SQL(Cassandra)的知识和经验将会有额外加分。
•注重细节,具有分析/好奇的思维。
•组织和沟通能力
所需经验
8-10年
角色和职责
•使用Python和Apache Spark进行大规模数据处理。
•利用AWS服务(如S3,EMR,EC2)进行数据存储和处理。
•使用Apache Airflow调度,监控和排除故障数据管道。
•确保所有数据基础设施上的数据质量,可观察性和完整性。
常规管理技能
良好的沟通和管理技能
教育
至少学士学位
开始日期