我们是谁：
构建。扩展。维持。
PALO IT 是一家全球技术咨询公司，致力于将技术作为一种积极的力量。我们设计、开发和扩展数字及可持续的产品和服务，以在三重底线（人、地球、利润）中释放价值。我们做正确的事，并且做到正确。我们自豪地成为世界经济论坛的新冠军，以及 B Corp 认证公司。
• 我们足够小以关心本地，足够大以在全球交付（5 个大洲，18 个办公室，650 多名来自 50 多个国籍的专家）
• 我们稳健且具有韧性（100% 独立，0 债务）
• 我们是企业家和充满热情的专家：我们投资于我们真正相信的事物，并作为集体智慧工作
• 我们积极、勇敢、关心、做事并致力于卓越
您的角色：
高级数据工程师将负责获取、存储、管理和处理大量结构化/非结构化数据。您将为大数据解决方案的架构组件选择提供愿景，并具备实施企业数据基础（如数据湖）的数据工程技能。最后，您将与其他 PALO IT 专家密切合作，包括数据智能、研究、用户体验设计、数字技术和敏捷团队，以在我们客户的数字网络中实现智能，为他们带来重大影响。
您的职责：
• 项目正在执行一个数据管道，处理数据下载、解密、质量检查、清理、处理和预测，包括全面的错误处理、错误报告和自我恢复机制。目前，数据管道部署在本地服务器上，需要项目团队密切监控其操作和性能。项目团队寻求一位经验丰富的数据工程师，以使用行业标准工具和机制增强现有的数据管道。
• 有将数据管道迁移到 AWS 云的经验，使用 AWS 管理组件
• 精通 Python、SQL 知识、Schell 脚本（Linux）
• 精通 Airflow 或类似工具以创建管道
• 精通 AWS 工具，如 S3、Glue、AWS EMR、Lambda、Step functions、Fargate、AWS Batch
• 熟悉 AWS Batch、Athena、文件格式如 Parquet、NoSQL 知识和工具如 AWS OpenSearch
您是谁：
• 您拥有 IT、信息管理和/或计算机科学的学士、硕士或博士学位，且至少有 7 年的经验。
• 对大数据技术领域及分布式存储/计算相关概念有良好的了解
• 具备大数据框架（如 Hadoop、Spark）和发行版（Cloudera、Hortonworks、MapR）的经验
• 具备批处理和 ETL 作业的经验，从多个数据源提取和处理数据
• 具备 NoSQL 数据库（如 Cassandra、MongoDB、Neo4J、ElasticSearch）的经验
• 具备查询工具（如 Hive、Spark SQL、Impala）的经验
• 具备 Power BI 的经验
• 有实时流处理的经验或愿意使用 Kafka、AWS Kinesis、Flume 和/或 Spark Streaming 等解决方案
• 有 DevOps 和 DataOps 原则的经验或愿意学习（如基础设施即代码，自动化数据管道的不同部分）
• 对数据科学概念和方法论有高级理解（模型如何构建、训练和部署）
• 您对技术充满热情，持续学习对您来说是自然而然的
我们将优先考虑在新加坡拥有当前工作权利并且无需签证赞助的申请者。
关于 PALO IT 的更多信息：
我们渴望适应变化，从经验中学习，并采取行动以满足我们星球的紧迫需求。我们不断采取行动：
• 成为气候净零公司
• 从具有积极影响的项目中获得 50% 的收入
• 让 100% 的员工接受影响培训
• 在全球所有办公室获得 B Corp 认证
• 持续衡量和提高员工幸福感
我们的客户是全球最成功的公司之一。我们与既定的财富 1000 强、中小企业和希望产生影响的初创企业创新，帮助他们成为全球领导者，解决世界上最复杂的挑战。
我们提供的内容：
• 刺激的工作环境
• 独特的职业发展路径
• 国际流动性
• 内部研发项目
• 知识共享
• 个性化培训
有关我们团队文化和福利的更多信息，请查看我们的职业页面。
PALO IT 新加坡是一个平等机会的雇主。就业决策将基于个人的优点、资格和能力。Palo IT SG 不会在就业机会或实践中基于种族、肤色、宗教、性别、性取向、国籍、年龄、残疾、婚姻状况或法律保护的其他任何特征进行歧视。
保护您的隐私和数据安全是 Palo-IT 的长期首要任务。
您的个人数据将用于管理 Palo-IT 的招聘相关活动，包括为申请者设置和进行面试和测试、评估和评估结果，以及在招聘和雇用过程中所需的其他事项。
请查阅我们的隐私声明，了解我们如何收集、使用和转移候选人的个人数据。您可以在此找到如何请求访问、更正和/或撤回您的个人数据的方法。 
