数据工程师:{数字化转型}

阿布扎比 无个税7天前全职 网络
面议
拥有数据分析硕士学位或计算机科学/工程学士学位的候选人。拥有超过10年设计数据架构、大数据分析、ETL流程、数据治理和安全经验的候选人。 使用SQL进行数据操作和检索。 使用Python或R进行数据分析和脚本编写,使用Apache Hadoop处理大数据。 使用Apache Spark进行大数据处理。具备ETL(提取、转换、加载)工具的知识。 数据仓库解决方案如Redshift、Big Query或Snowflake。 了解机器学习算法,数据管道和工作流管理工具如(Airflow或Luigi)。 云服务如AWS、Google Cloud Platform、Microsoft Azure和Oracle。 使用Docker和Kubernetes进行容器化和编排。 具备强大的问题解决能力,并能够应用这些技能识别和解决系统功能和性能中的异常。 编程和脚本:Python(Pandas, NumPy),Java,Scala,Bash脚本,SQL,NoSQL。 数据工程工具:Apache Hadoop,Apache Spark,Apache Kafka,Apache Airflow,Docker。 数据可视化和商业智能工具:Tableau,Power BI,Looker,QlikView,D3.js,Google Data Studio。 数据库管理:MySQL,PostgreSQL,MongoDB,Microsoft SQL Server,Redis。 云计算:AWS(EC2,S3,RDS,Redshift),Google Cloud Platform(Big Query,Compute Engine),Azure Data Factory。 薪资:AED 11,000 + 家庭住宿。