realpg 最近的时间轴更新
realpg
ONLINE

realpg

Nothing
🏢  Freelancer / Devops
V2EX 第 119683 号会员,加入于 2015-05-30 16:51:09 +08:00
今日活跃度排名 5471
Nothing
根据 realpg 的设置,主题列表只有在你登录之后才可查看
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
realpg 最近回复了
1 天前
回复了 ysicing 创建的主题 Ubuntu 现在服务器使用 ubuntu 主流用什么版本
不涉及 GPU 的情况下 永远是 最新 lts
一路升级等新 lts 小版本.1 立刻升级
@Features #12
还是搞明白自己为什么会被打才能治本...
你要找的是
Microsoft Office Onenote & Onedrive
我支持 APP 备案制
3 天前
回复了 zhongjun96 创建的主题 Linux Ubuntu 下解压 gz 文件,如何限制速度?
@aloxaf #17

这里走 dd 还是建议用 odirect...
fsync 也会有奇怪问题 我记不住是啥问题了 得看知识库 懒
我们整天跟 io 打交道 为了把成本降低到正常使用云的 5%
3 天前
回复了 zhongjun96 创建的主题 Linux Ubuntu 下解压 gz 文件,如何限制速度?
@zhongjun96 #19
额 仔细看了下 你这是 buffered io 肯定是很快的
这也是我跟 4 楼讨论的问题

你需要用 iostat 查硬盘真实写入速度 这也是我这个办法的最核心的东西
3 天前
回复了 zhongjun96 创建的主题 Linux Ubuntu 下解压 gz 文件,如何限制速度?
@aloxaf #18
对 cgroups v2 能控制 buffered io 才有这个彻底的方法
用 systemd 的 slice 也可以实现类似方法 我对 systemd 研究不透彻

@zhongjun96 #19
那可能是我的哪个脚本写的有毛病 我就随手脑测手打的 理解思路自己修改即可 绝对是可用的
查一下 cgroups v2 的状态 查一下分组的内容
因为因为我的生产业务每天都依赖这玩意 遇到的问题跟你是一样的 而且比你的麻烦在于我这边的吞吐量问题是不限速就会因为写入超过 6GB/s 把虚拟化后端的 25Gbps*2 IPSAN 打死 机器直接死掉
3 天前
回复了 zhongjun96 创建的主题 Linux Ubuntu 下解压 gz 文件,如何限制速度?
@aloxaf #4

大内存机器, 没特殊优化的, 你这样写还会炸硬盘吞吐量

缓冲区大的, 都限速写 ram buffer 里了, 然后刷新脏页时候还不限速的, 会堆死掉硬盘

如果硬盘的限速是因为后端是类似云盘的 IPSAN 虚拟化挂载到虚拟机, 速度限制是因为存储网络带宽瓶颈, 甚至会导致这个盘的 IO 整体被内核 hang 住, 系统盘直接死机, 不是系统盘的话, 必须硬断电重启可破, 本机 reboot 命令都没用, 永久 hang 住

如果空闲内存小的机器, 问题不大, 不会读吞吐量

OP 这个问题 基本就是我们的面试题之一
低成本嫖各大云厂商的 IOPS 和吞吐量

您这个解答基本算是常见考虑不充分的错误答案
3 天前
回复了 zhongjun96 创建的主题 Linux Ubuntu 下解压 gz 文件,如何限制速度?
默认你是较新版本的操作系统, 比如 22.04 的 ubuntu, 比如最新的 debian 而不是上古内核的 centos 直接拷贝以下命令到 bash 脚本执行即可

--------------------------

#!/bin/bash

echo "+io" >/sys/fs/cgroup/cgroup.subtree_control
mkdir /sys/fs/cgroup/limitio


echo $$ > /sys/fs/cgroup/limitio/cgroup.procs

ls -la /dev/block/ | grep -v '/loop' | grep -v '/sr' | awk '{print $1, $2, $3, $4, $5, $9}' | grep -oP '\d+:\d+' | while read line
do
echo "$line wbps=52428800 rbps=52428800" > /sys/fs/cgroup/limitio/io.max 2>/dev/null
done

#this script's disk read and write are both set to 50MB/s, plz add your gzip -d command below


#gzip -d a.gz


----------------

格式如果错乱, 去下面复制:

https://gist.github.com/realpg/f36ae7bc655d7eab6903fad82ead65f8

请用 root 执行, uncomment 代码最后一行的 gzip 指令换成你自己的

本脚本后面的任何语句的本地磁盘 IO 会被限速到读写各 50MB/s
181 天前
回复了 realpg 创建的主题 程序员 一次 github 跟开源大佬的抬杠经历
@Chad0000 #13

我也没要求项目组现在就去改,或者因为一个外行的想法就去改项目

我只是想知道这个设计到底合不合理?

就算他不合理,不去改也是可以接受的,因为多少生产环境在用,总不能因为这点破事造成一堆事故
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2530 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 03:19 · PVG 11:19 · LAX 20:19 · JFK 23:19
Developed with CodeLauncher
♥ Do have faith in what you're doing.