职位名称: 解决方案架构师
- 在企业转型中扮演关键角色,带头通过创新的数据工程解决方案优化流程和基础设施。
- 利用在 Google Cloud Platform (GCP) 和 Google BigQuery 方面的专业知识,设计、开发和实施可扩展的数据管道,以推动业务增长。
- 熟练使用 Python 编程语言,结合 PySpark 和 Pandas 库进行高效的数据处理和分析。
- 展示了在 Airflow 中的熟练度,用于自动化工作流、创建 DAG、配置变量和调度任务。
- 熟悉大数据技术,如 Spark、Hadoop、Hive MapReduce,以及像 YAML 和 Python 这样的脚本语言。