V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
关于交易安全的提示
在您初次进行交易之前,请点击上面的黄色横条阅读关于交易安全的提示。
为了提高 V2EX 的有效信息质量,在发布交易信息时,除了遵守安全提示中的说明外,也请注意下面的规则:
justincnn
V2EX  ›  二手交易

有办法利用 mac 的自动操作抓取跨网站数据么?

  •  
  •   justincnn · 2023-04-15 08:14:26 +08:00 · 625 次点击
    这是一个创建于 378 天前的主题,其中的信息可能已经有所发展或是发生改变。

    举个例子:

    A 网站根据一个表单,找到连接,然后去 B 网站根据一定的规律和关键词,抓取一些数据, 由于这些网站都是防爬虫的,所以想通过苹果自动化操作来模拟操作

    这样的话,请问是否可行?

    3 条回复    2023-04-15 18:21:54 +08:00
    pengzhendong
        1
    pengzhendong  
       2023-04-15 09:34:57 +08:00 via iPhone
    selenium ?
    bjzhush
        2
    bjzhush  
       2023-04-15 15:22:35 +08:00
    有些东西没你想的那么复杂
    之前写过一些简单的爬虫,油猴脚本的形式,然后自动合并保存为 CSV 文件下载
    zhongsir
        3
    zhongsir  
       2023-04-15 18:21:54 +08:00 via iPhone
    没用过 mac ,之前用过一个叫 selenium ide 的 chrome 插件,能保存数据到 csv 也能读取 csv 从而实现跨站操作;不过效率较低,现在还是喜欢 newman 脚本加 win 的定时任务,舒服
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1026 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 19:05 · PVG 03:05 · LAX 12:05 · JFK 15:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.