一家公司正在寻找数据工程专家。 主要职责 开发和维护PySpark中的可扩展且高效的数据管道 将旧有流程迁移并现代化为新的分布式处理模型 在AWS环境中实施数据处理解决方案 所需资格 具有PySpark和分布式处理框架的丰富经验 了解Apache Airflow、Spark和Hadoop（如适用） 精通编程语言，最好是Python 具有相关AWS服务的经验（例如，EMR、Lambda、DynamoDB、S3、Glue可选） 熟悉SQL数据库
