大数据开发者

16个月前全职
TECHNOALLY PTE. LTD.

TECHNOALLY PTE. LTD.

location 新加坡
unsaved
要求 • 在软件工程领域拥有6年以上的经验,并具备良好的沟通能力。 • 至少有4年的Hadoop、Hive和Oozie实际经验。 • 至少有2年的Apache Spark编程实际经验。 • 至少有2年的AWS技术工作经验。 • 对当前大数据技术有良好的了解和理解。 • 至少有5年的在Oracle、SQL Server等关系数据库系统上工作的经验,并具备高级的SQL/PL-SQL编程技能。 • 3年的Java/Python工作经验,并具备编写Shell脚本的经验。 对大数据平台有良好的了解和实际经验,包括 • Hadoop数据平台/工具的经验,可以是以下任何一个发行版 Cloudera / Hortonworks - 必须具备Apache Spark框架/API的开发经验(1.6 / 2. x)- 流式处理、核心、SQL: - 必须具备较强的编程语言背景,最好是在Scala或Python上,并具备大数据上的SQL知识: - 必须具备使用Kafka、Sqoop、Flume等大数据摄取工具的实际经验,并与数据库、消息队列、平面文件进行集成: • 对NoSQL存储(Hive / HBase / Impala / Kudu)和Hadoop文件格式(Avro / Parquet)有基本了解 • 基本工作知识:Hadoop连接器跨组件的使用,如Kafka>Spark,Sqoop>HDFS,Flume>Kafka,Spark>HBase,Spark>Impala • 具备良好的分析和解决问题的能力,具有与客户沟通和在面向客户的角色中工作的经验。 • 优先考虑具备Cloudera认证开发人员认证。