首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

Centos7 跟 window server 有没有什么办法简便的转移数据,最好脚本实现的这种

  •  
  •   la2la · 142 天前 · 1087 次点击
    这是一个创建于 142 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有一个需求需要定时从 mysql 导出数据到 sql server

    image1

    目前我的想法是,写个脚本定时把数据从 mysql 上导出成 csv 文件,然后 scp 复制到 window server (不太清楚能不能 scp )上,window server 上再写个脚本定时刷新有没有新文件,有的话,就解析导出到 sql server 中。有没有什么更好的方法。

    18 回复  |  直到 2019-05-31 21:17:07 +08:00
        1
    tjyao520   142 天前
    navicat 连上 MySQL 不行么?
        2
    la2la   142 天前
    @tjyao520 从 window server 上不能连接 mysql 数据库,两个不同的局域网
        3
    pmispig   142 天前
    过来人告诉你,导出 CSV 一般是不行得,比如时间格式不一样,null 和空字段处理也不一样,各种冲突
        4
    x66   142 天前
    CSV 坑多,我们用 kettle 做数据增量同步
        5
    lihongjie0209   142 天前
    kettle
        6
    la2la   142 天前
    @pmispig 谢谢指导,json 文件,没这么多问题吧?
        7
    la2la   142 天前
    @x66 好的,谢谢,我看看 kettle
        8
    gz911122   142 天前
    kettle +1 之前公司这么搞

    现在公司的话,每次插入的时候发个 kafak,然后另外一边订阅消费.

    还有定时任务读 binlog 的,然后插入另外一个库
        9
    d0m2o08   142 天前
    传输大文件我都是开个 http 服务,直接下载
    小文件就用 nc
        10
    la2la   142 天前
    @gz911122 好像有个问题,就是没有机器能同时连上两个数据库,这两个数据库都是内网访问,kettle 应该不行吧?
        11
    nexply1920   142 天前
    直接 wireguard 组个虚拟局域网不就通了嘛
        12
    flyoungstudio   142 天前
    网络不通怎么 scp ?拿 U 盘拷?
        13
    whsir   142 天前
    rsync ?
        14
    la2la   142 天前
    @flyoungstudio 抱歉,是我没说清楚,mysql 服务器+centos7 在一个局域网,但是 centos7 有公网 ip,sql server 服务器+window server r2 2008 服务器在一个局域网,window 有公网 ip。一共是 4 台机器
        15
    Takamine   141 天前 via Android
    导出来 csv 还不如直接 dump。(。ò ∀ ó。)
        16
    Actrace   141 天前
    写个程序不难吧。。
        17
    liaojl   141 天前 via Android
    我想的是 CentOS 上写个定时器,WinSever 上暴露个 RPC。定时器隔段时间检查 MySQL 有没有新数据,有新数据的话,就调 WinServer 的 RPC 同步到 SQL Server。
        18
    la2la   141 天前
    @Actrace #16 想偷懒
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2228 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 22ms · UTC 11:38 · PVG 19:38 · LAX 04:38 · JFK 07:38
    ♥ Do have faith in what you're doing.