拥有数据分析硕士学位或计算机科学/工程学士学位的候选人。拥有超过10年设计数据架构、大数据分析、ETL流程、数据治理和安全经验的候选人。
使用SQL进行数据操作和检索。
使用Python或R进行数据分析和脚本编写,使用Apache Hadoop处理大数据。
使用Apache Spark进行大数据处理。具备ETL(提取、转换、加载)工具的知识。
数据仓库解决方案如Redshift、Big Query或Snowflake。
了解机器学习算法,数据管道和工作流管理工具如(Airflow或Luigi)。
云服务如AWS、Google Cloud Platform、Microsoft Azure和Oracle。
使用Docker和Kubernetes进行容器化和编排。
具备强大的问题解决能力,并能够应用这些技能识别和解决系统功能和性能中的异常。
编程和脚本:Python(Pandas, NumPy),Java,Scala,Bash脚本,SQL,NoSQL。
数据工程工具:Apache Hadoop,Apache Spark,Apache Kafka,Apache Airflow,Docker。
数据可视化和商业智能工具:Tableau,Power BI,Looker,QlikView,D3.js,Google Data Studio。
数据库管理:MySQL,PostgreSQL,MongoDB,Microsoft SQL Server,Redis。
云计算:AWS(EC2,S3,RDS,Redshift),Google Cloud Platform(Big Query,Compute Engine),Azure Data Factory。
薪资:AED 11,000 + 家庭住宿。