首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

想做一个开源镜像站,大家有什么建议吗?

  •  1
     
  •   thiswind · 2016-05-02 11:34:25 +08:00 · 6156 次点击
    这是一个创建于 1088 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想做一些开源软件的镜像给本地的程序员用,目前做了一个 Ubuntu 的 Rsync 和一个 pypi

    大家有没有什么建议呢?短期内可以见效果的话,做哪些镜像比较好呢?

    (现在有一个很小很小的数据中心可以用,3台服务器,几十个物理核,1TB+内存,10TB+存储)

    第 1 条附言  ·  2016-05-02 12:30:34 +08:00
    建议收集列表:

    - 做各种 Chrome 版本的离线安装包(谢谢: JiShuTui )
    47 回复  |  直到 2016-05-06 17:20:41 +08:00
        1
    Comdex   2016-05-02 11:41:49 +08:00
    开个虚拟机我用, O(∩_∩)O 谢谢
        2
    donghouhe   2016-05-02 11:46:10 +08:00
    开满各种虚拟机, win , mac , linux 各版本的,提供给需要的人用
        3
    JiShuTui   2016-05-02 11:54:52 +08:00 via Android
    Chrome 各版本离线安装包
        4
    thiswind   2016-05-02 12:14:49 +08:00
    @JiShuTui 哦,这个是个好主意啊,谢谢,记下了:)
        5
    thiswind   2016-05-02 12:16:21 +08:00
    @donghouhe 可是资源有点少,倒是打算做一个 docker 容器托管,不知道合不合适
        6
    thiswind   2016-05-02 12:17:35 +08:00
    @Comdex 呵呵,机器不是我的,我只是代管啊。要买得起那么多资源,我就先买房子啦
        7
    lianxiangru   2016-05-02 12:19:24 +08:00
    无私的楼主。敲碗等:)缺国内机器用来 bt 下载 wwwww
        8
    thiswind   2016-05-02 12:23:57 +08:00
    @lianxiangru 饿,不懂诶,是啥?
        9
    lianxiangru   2016-05-02 12:27:27 +08:00
    @thiswind 下载啊。。。美国网络直接 bt 下载要被查水表了=。= 所以很多人都用国内机器下载,再 http 拽回去。。。
        10
    mrhuiyu   2016-05-02 12:33:54 +08:00
    @lianxiangru 具体做法呢?这又三四天物理机。。。
        11
    lianxiangru   2016-05-02 12:37:00 +08:00
    @mrhuiyu 开个虚拟机就可以了啊。。 aria2c 后台下载呗。。
        12
    longquanwo   2016-05-02 12:37:54 +08:00
    @mrhuiyu 确实,楼主需要评估能做多久,不然就别折腾开源镜像站,害人害己
        13
    4679kun   2016-05-02 12:38:13 +08:00 via Android
    docker 容器托管好评
        14
    ayaseangle   2016-05-02 12:39:30 +08:00 via Android
    这么大的存储可以清华大学镜像站全站拷贝了吧
        15
    SCaffrey   2016-05-02 12:49:33 +08:00
    1TB +内存 大概是花了多少钱啊……?
        16
    thiswind   2016-05-02 13:24:16 +08:00 via iPhone
    @longquanwo 可以做很多年的,应该可以做 10 年+
        17
    thiswind   2016-05-02 13:26:30 +08:00 via iPhone
    @ayaseangle 就是好多技术不熟悉,不知道具体镜像要怎么搭,现在只做了 ubuntu 的
        18
    thiswind   2016-05-02 13:27:01 +08:00 via iPhone
    @4679kun OK ,记下了:)
        19
    thiswind   2016-05-02 13:27:43 +08:00 via iPhone
    @SCaffrey 40w 左右的服务器
        20
    longquanwo   2016-05-02 13:52:22 +08:00
    @thiswind docker 托管吧 还可以弄一点外快。跟主机壳合作
        21
    just1   2016-05-02 13:58:12 +08:00 via Android
    看看中科大有什么,全部拖过来
    主要带宽大吗
        22
    whisperzzzz   2016-05-02 14:00:58 +08:00
    @JiShuTui 用?standalone=1 下载不好么 0 。 0
        23
    vnady   2016-05-02 14:27:38 +08:00
    看其他主流官方镜像下载量最大、最频繁的源。
        24
    ivmm   2016-05-02 14:45:14 +08:00
    反代各种谷歌字体、 gravatar ,要有 https
        25
    lostab   2016-05-02 14:57:34 +08:00 via Android   ♥ 1
    openstack 可用的 windows 安装镜像,多谢楼主
        26
    DesignerSkyline   2016-05-02 14:59:12 +08:00 via iPad   ♥ 1
    可以镜像一下排名中间的发行版,比如 sabayo 之类的。另外 opensuse 如果能全镜像就好了(包括 Open Build Service 的社区源
        27
    DesignerSkyline   2016-05-02 14:59:24 +08:00 via iPad
        28
    plqws   2016-05-02 15:42:33 +08:00
    chocolatey 的 host 代理
        29
    shenmegui   2016-05-02 18:33:11 +08:00 via Android
    office 离线包?想我当初在线安装 office 装了 4 个多小时,至今有阴影
        30
    htfy96   2016-05-02 18:45:35 +08:00 via Android
        31
    secondwtq   2016-05-02 20:02:30 +08:00
    首先,服务器的上传和下载带宽都很重要 ...

    我一般比较喜欢用 Arch ,楼主可以考虑一下,貌似不大
        32
    wwek   2016-05-02 20:49:04 +08:00
    带宽,存储
        33
    iFlicker   2016-05-02 21:44:52 +08:00   ♥ 1
    在维护我们校建不久的镜像站... 最大的问题是 rsync 各种失败..总是不稳定, 管理用的
    https://github.com/ideal/mirror
        34
    VmuTargh   2016-05-02 21:48:02 +08:00 via Android
    openwrt
    maven
    pip
    gem
        35
    tvallday   2016-05-02 21:56:22 +08:00
    rubygems
    http 和 https 的。
        36
    dangge   2016-05-02 22:13:38 +08:00
    @iFlicker 我就知道你肯定要出现
    -割-
    建议提供一些小众的,非主流的镜像.
        37
    just4fan   2016-05-02 22:30:40 +08:00 via Android
    ubuntu 的 ppa
    国内每次 apt-get update 都提示索引校验失败,早就要疯了

    centos 的 remi 源什么的 我装 php5.6 时用到的
        38
    lhbc   2016-05-02 22:40:36 +08:00
    MySQL
    MariaDB
    (以上两个是官方最新版,不是各发行版带的那个)
    FreeBSD
    OpenWrt
    CentOS remi repo

    这些应该都不大,而且用户量也挺多的
        39
    fhefh   2016-05-02 22:48:09 +08:00
    Xcode
    iOS 开发文档
        40
    strahe   2016-05-02 22:50:43 +08:00   ♥ 1
    镜像其实都有的,如果真有资源,建议做一些冷门的资源镜像,并且要长时间维护才有价值。
        41
    wssgcg1213   2016-05-02 23:06:03 +08:00
    npm
        42
    ayaseangle   2016-05-02 23:13:12 +08:00 via Android
    @thiswind 一般情况好像定时 rsync 就完了
        43
    lslqtz   2016-05-03 05:06:09 +08:00 via iPhone
    反代缓存各种库,缓存 google chrome 各版本离线包,缓存各种 rpm 包,反代各种 yum apt-get 源。
        44
    Cu635   2016-05-03 10:20:50 +08:00   ♥ 1
    首先,注意版权问题。官方明确说不让镜像的一定别镜像,没说允许没说不允许的尽量先联系一下他们吧;当然,上游没说不允许的你也可以先镜像再说,出了问题自己兜着……。

    其次,注意安全问题,尽量找有签名的并且一定把上游的签名(公钥)也给镜像下来。上游没有签名的话至少是 hash ,如果都没有,先让他们加上吧……

    最后,你的镜像站最好封杀迅雷的 range 下载,否则你就等着哭吧……
        45
    Balthild   2016-05-03 12:30:14 +08:00 via iPhone
    建议反代一下 pkgbuild.org 的 pacman 源
        46
    snoopygao   2016-05-03 13:10:03 +08:00
    镜像 google 搜索!
        47
    matsuz   2016-05-06 17:20:41 +08:00 via Android   ♥ 1
    maven maven maven
    强烈建议楼主做 maven 镜像
    国内现在几乎没有稳定可用的 maven 镜像,但是这个的需求又特别大。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2096 人在线   最高记录 5043   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 20ms · UTC 16:06 · PVG 00:06 · LAX 09:06 · JFK 12:06
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1