职位：高级Python开发人员
工作类型：全职
地点：加利福尼亚州旧金山（现场办公）
面试方式：面对面
加入日期：尽快
职位描述：
职责：
• 使用Python、PySpark和AWS技术开发和维护可扩展的数据处理解决方案。
• 为AWS平台上的大规模数据处理设计、实施和优化数据管道。
• 与跨职能团队合作，了解数据需求并实施有效的解决方案。
• 利用PySpark在分布式计算集群上进行数据操作、转换和分析。
• 实施和优化ETL流程，将来自各种来源的数据集成到基于AWS的数据存储解决方案中。
• 使用Amazon S3存储和检索大型数据集，确保高效可靠的数据存储和检索。
• 在AWS基础设施上运行的PySpark应用程序中排除故障并优化性能瓶颈。
• 关注大数据处理、Python、PySpark和AWS服务的行业趋势和最佳实践。
要求：
• 计算机科学、工程或相关领域的学士学位。
• 具有Python开发经验，精通PySpark和AWS服务。
• 熟练掌握Python编程语言，具有开发可扩展解决方案的经验。
• 具有Apache Spark和PySpark的实际经验，用于分布式数据处理。
• 对AWS服务有深入了解，包括S3、EMR、EC2和Lambda。
• 具有数据建模、ETL流程和数据仓库概念的经验。
• 了解云环境中数据安全、可靠性和性能的最佳实践。
• 出色的问题解决能力，能够在协作团队环境中有效工作。
• 良好的沟通能力，能够与利益相关者互动并呈现技术概念。
首选资格：
• AWS认证（例如AWS认证的大数据专业）。
• 具有其他大数据技术和框架的经验。
• 熟悉数据可视化工具（例如Tableau、Power BI）。
• 了解容器化和编排工具（例如Docker、Kubernetes）。 
旧金山