数据工程师

15个月前全职
INFRASOFT TECHNOLOGIES PTE LTD

INFRASOFT TECHNOLOGIES PTE LTD

location 新加坡
unsaved
至少5年以上的实际工作经验,作为数据工程师数据项目实施平台工具经验,作为数据工程师的技术负责人的经验,大数据Hadoop - Hortonworks HDP 3.1.x和核心组件涵盖数据工程、管理、操作堆栈大数据Hadoop - 对HDP/CDH迁移到新的Cloudera CDP平台有详细的了解 数据存储 - HDFS(文件格式 - Parquet、ORC、Avro、JSON),Hive(模式、分区),数据湖(对象存储),NoSQL(MongoDB、HBase)访问和数据安全性 - AD-LDAP-SAML-Kerberos-2FA IDP AuthN以及通过加密、掩码、过滤、匿名化实现的数据安全性访问和数据安全性 - Tableau(行级安全性、访问管理),Apache Ranger(访问策略、掩码、审计),操作系统级别(RHEL和Centrify)强大的实际操作经验处理框架 - Spark 2.x/3.x(核心、结构化API、流处理、MLLib)语言和包 - Python(脚本和PySpark)、Scala(使用Spark API)、Unix Shell、SQL查询(基本和高级)数据集成工具 - Informatica BDM/DEI 10.4.x、Apache Nifi(基于API、Kafka、JDBC的摄入)数据治理 - Informatica EDC、BDQ和Collibra涵盖数据扫描仪、目录、血统、关系、字典(技术和业务)流媒体平台 - Apache Kafka、Apache Nifi、Spark Streaming、Flink、Storm BI分析 - Tableau Server和Creator、Qlik View、Power BI、BO高级分析 - RStudio、Zeppelin、Jupyter(优先考虑R和Python技能)云 - 迁移到IBM、AWS等公共-私有云提供商OS和DB - RHEL、Centrify、Oracle、PostgreSQL、SQL Server Dev Ops/数据Ops - Bitbucket、Jenkins、Docker、Kubernetes、Auto Sys在设计、开发、测试和部署中领导和指导开发人员的丰富经验具有在本地-远程团队中使用敏捷交付模型的工作经验未指定