任务详情
公司为硅谷初创企业，团队成员有上市公司高管和Meta, Google 技术主管、工作经验，创始人毕业于北京大学、卡耐基梅隆、哥伦比亚大学。项目涉及GenAI和LLM，上升空间巨大。日常工作氛围融洽，福利优渥。欢迎自驱力强的朋友加入我们的团队。
岗位职责：
两年以上爬虫开发经验，精通常用的爬虫技术及架构，并能快速实现；
精通 Python/Go/Java 中的一种或多种，熟悉常用的数据存储（ES、NoSQL、MySQL 等）；
熟悉主流爬取技术及工具，熟练使用 Selenium/Puppeteer/Scrapy/Splash/PhantomJS 等至少一种工具；
熟悉 HTTP/TCP 协议，熟悉 Fiddler/Charles/BurpSuite/TCPDump/Wireshark/Mitmproxy 等至少一种网络分析工具；
有较丰富反爬实践经验，能解决图片验证码/滑块/账号限制/IP 限制等问题；
良好的代码习惯，结构清晰，命名规范，逻辑性强，代码冗余率低；
强烈的自我驱动，学习能力强，做事完成度高。
加分项：
有国外短视频、视频、小说、漫画内容平台或其他社媒平台爬虫经验优先；
有大规模爬虫及风控对抗实践经验优先；
有 App 逆向经验，熟悉 Xposed 框架、常见 Hook技术，熟悉 Smali、Dedexer、Dexdump、Apktool、Dex2jar、IDA、OLLYDBG 等至少一种；
任职要求：
两年以上爬虫开发经验，精通常用的爬虫技术及架构，并能快速实现；
熟悉使用ChatGPT等AI生产力工具，并能利用这些工具快速掌握新的技术栈；
具备bash脚本或其他批处理脚本编写经验，以及独立开发通用爬虫框架的能力；
具有丰富的网络爬虫开发经验，熟悉Web，App抓取原理及技术，熟悉常用的爬虫网络框架及重要组件；
有过大规模图像视频数据抓取，爬虫平台化建设经验优先，有使用GCP的经验者优先；
我们提供：
远程工作机会
20K-30K RMB/月全职薪资
与国际团队合作的机会
不断学习和成长的环境
