自由职业工作:创建基于Python的网络爬虫

16个月前全职
Unspecified

Unspecified

location 香港
unsaved
构建并部署一个基于Python的网络应用程序,可以实现以下功能: • 根据设置或手动输入的搜索词,爬取各种公司和新闻网站上包含相关信息的页面和文档。 • 爬虫可以设置自动定期运行或手动运行。 • 爬虫的效果应该与相当全面的谷歌搜索相当,例如应该返回与谷歌搜索结果的前两页相当数量的结果。 • 对这些页面和文档进行信息提取(主要是文本字符串),并将其编译成某种数据湖/非结构化存储,以备后续分析和结构化。 该应用程序应该是云托管的,并且自由职业者还需要设置这个托管(虚拟安装Python等),并向我进行必要的演示/解释。 在签署保密协议后,有兴趣的自由职业者可以获取更多信息和示例。如果这个项目成功,可能会有进一步的工作。 请在回复中注明您预计需要多少小时完成这项工作。