职位:数据工程师
经验:12-15年
MOH:W2
地点:德克萨斯州
职位描述:
构建和管理可扩展的数据管道和架构,以支持分析、报告和机器学习工作负载。处理结构化和非结构化数据,确保数据平台的可靠性、安全性和性能。与数据科学家和分析师合作,实现数据的可访问性和自动化。
技能:
- 强大的SQL和数据库设计能力
- 大数据技术(Hadoop、Spark、Hive)
- 数据管道工具(Airflow、Kafka、NiFi)
- 编程(Python、Scala、Java)
- 云平台(AWS、Azure、GCP)
- 数据仓库(Snowflake、Redshift、BigQuery)
- ETL/ELT开发
- 数据治理、安全性和性能优化