Тестирование скорости диска linux. Как измерить скорость жесткого диска
При наличии некоторого количества жестких дисков, а так же флеш-накопителей (флешек) , возникает необходимость определить их производительность, для того что бы определится для каких целей использовать то или иное запоминающее устройство. Проверку скорости чтения/записи жестких дисков обычно проводят с помощью hdparm .
hdparm - консольная утилита (ранее входила в состав пакета hwtools) предназначенная для просмотра и регулировки параметров жестких дисков с интерфейсом ATA (параллельный интерфейс подключения накопителей, жестких дисков и оптических накопителей, к компьютеру) .
Параметры жестким дискам задаются с уклоном на надёжность работы, даже на не очень качественном оборудовании, а на большинстве современных материнских плат и жестких дисков можно заметно увеличить производительность IDE подсистемы, без уменьшения надёжности.
В настоящее время нет надёжных методов для определения оптимальных параметров для устройств (кроме осторожных проб и наблюдений) , а так же не существует никакой централизованной базы данных (в которой была бы собрана информация о наблюдениях опытных пользователей) , то самым безопасным остаётся осуществление сравнения некоторых параметров "по умолчанию " и на основе них выбора устройства с наиболее оптимальными параметрами. Проще всего это сделать с помощью hdparm тем более что она входит в состав практически всех современных дистрибутивов Linux .
Хоть основное назначение hdparm настройка и оптимизация, её можно использовать как постой инструмент для проведения тестов, для этого достаточно выполнить (для работы hdparm требует прав администратора / root ) :
Sudo hdpam -t "имя устройства"
К примеру:
Sudo hdpam -t /dev/sda
Узнать имя диска можно выполнив:
Fdisk -l
Тест желательно проводить при отсутствии заметной дисковой активности. Опция "-t " позволяет отображать скорость последовательного чтения данных с диска, без задержек вызванных работой файловой системы.
Проведённый тест покажет самую высокую скорость передачи данных для тестируемого диска. Проверка чтения/записи происходит в самом начале диска, на самом быстром его участке, поэтому полученные цифры мало соответствуют реальной скорости работы диска. Наиболее реальный результат можно получить при проверке диска в произвольных точках, в случайном порядке... Провести такой тест можно с помощью консольной утилиты seeker .
seeker - консольная утилита которая проводит проверку скорости чтения/записи жестких дисков произвольно, с доступом к диску в случайном порядке. При этом методе тестирования головка диска быстро перемещается из одного места в другое, считывая небольшие фрагменты данных. Процесс включает в себя механические операции и доступ к диску гораздо медленнее чем тест при последовательном доступе.
Произвольный метод проверки используемый в seeker гораздо ближе к реальной работе жесткого диска и получаемые результаты тестов выглядят более правдоподобными. Поэтому используя seeker очень важно тестировать диск целиком (/dev/sda) , а не отдельный его раздел (/dev/sda1, /dev/sda2, /dev/sda3 и прочее) :
Sudo seeker "имя диска"
Утилита проста в использовании, запускается без дополнительных опций, тестирование диска проводится в течении тридцати секунд, а для более полного доступа к диску утилиту лучше запускать с правами администратора (root ) . Помимо жестких дисков с помощью seeker можно провести сравнительное тестирование имеющихся флеш-накопителей (например для использования самого быстрого устройства в качестве LiveUSB) .
Оригинал: Test read/write speed of usb and ssd drives with dd command on Linux
Автор: Silver Moon
Дата публикации: Jul 12, 2014
Перевод: Н.Ромоданов
Дата перевода: октябрь 2014 г.
Скорость работы устройства
Скорость работы устройства измеряется в единицах, указывающих сколько данных оно может читать или писать в единицу времени. Команда dd является простым инструментом командной строки, который можно использовать для чтения и записи произвольных блоков данных на диске и измерять скорость, с которой произошла передача данных.
В этой статье мы будем использовать команду dd для проверки скорости чтения и записи устройств usb и ssd.
Скорость передачи данных зависит не только от диска, но и от интерфейса, через который он подключен. Например порт usb 2.0 имеет максимальное функциональное ограничение по скорости в 35 Мбайт/с, так что даже если вы подключили к порту usb 2 высокоскоростной флэш-накопитель usb 3, скорость будет ограничена меньшим значением.
То же самое относится и к устройству SSD. Устройство SSD подключается через порты SATA, которые имеют разные версии. Sata 2.0 имеет максимальный теоретический предел скорость в 3Гбит/с, что равно примерно 375 Мбайт/с. В то время как SATA 3.0 поддерживает вдвое большую скорость.
Метод тестирования
Смонтируйте диск и перейдите в него из терминального окна. Затем используйте команду dd сначала записи файла, состоящего из блоков фиксированного размера. Затем прочитайте тот же файл с использованием такого же самого размера блоков.
Общий синтаксис команды dd выглядит следующим образом
Dd if=path/to/input_file of=/path/to/output_file bs=block_size count=number_of_blocks
При записи на диске, мы просто выполняем чтение из устройства /dev/zero, которое является источником бесконечного числа байтов. Когда происходит чтении с диска, мы читаем записанный ранее файл и отправляем его в устройство /dev/null, которого на самом деле нет. В течение всего процесса команда dd отслеживает скорость, с которой происходит передача, и сообщает о ней.
Устройство SSD
Устройство SSD, которое мы используем, является диском "Samsung Evo 120GB" SSD. Это устройство ssd начального уровня, относящееся к бюджетным, а также это мой первый диск SSD. Он также является одним из самых производительных твердотельных накопителей из имеющихся на рынке.
В этом тесте диск ssd подключен к порту sata 2.0.
Скорость записи
Давайте сначала сделаем запись на ssd
$ dd if=/dev/zero of=./largefile bs=1M count=1024 1024+0 records in 1024+0 records out 1073741824 bytes (1.1 GB) copied, 4.82364 s, 223 MB/s
Размер блока, на самом деле, довольно большой. Вы можете попробовать использовать меньший размер, например, 64k или даже 4k.
Скорость чтения
Теперь, наоборот, прочитайте тот же самый файл. Но сначала очистите кэш памяти с тем, чтобы быть уверенным, что файл, на самом деле, читается с диска.
Для того, чтобы очистить кэш памяти, выполните следующую команду
$ sudo sh -c "sync && echo 3 > /proc/sys/vm/drop_caches"
Теперь прочитайте файл
$ dd if=./largefile of=/dev/null bs=4k 165118+0 records in 165118+0 records out 676323328 bytes (676 MB) copied, 3.0114 s, 225 MB/s
Устройство USB
В этом тесте мы будем измерять скорость чтения и обыкновенных флеш-накопителей usb. Устройства подключаются к стандартным портам usb 2. Первым устройством является usb-накопитель sony 4gb, а вторым - strontium 16gb.
Сначала подключите устройство и смонтируйте его так, чтобы оно было доступно для чтения. Затем из командной строки перейдите в смонтированный каталог.
Устройство Sony 4GB - запись
В этом тесте, команда dd используется для записи 10000 кусков данных по 8 Кбайт каждый в один файле на диске.
# dd if=/dev/zero of=./largefile bs=8k count=10000 10000+0 records in 10000+0 records out 81920000 bytes (82 MB) copied, 11.0626 s, 7.4 MB/s
Скорость записи составляет около 7,5 Мбайт/с. Это низкий показатель.
Устройство Sony 4GB - чтение
Тот же самый файл считывается для проверки скорости чтения. Для того, чтобы очистить кэш памяти, выполните следующую команду
$ sudo sh -c "sync && echo 3 > /proc/sys/vm/drop_caches"
Теперь прочитайте файл с помощью команды dd
# dd if=./largefile of=/dev/null bs=8k 8000+0 records in 8000+0 records out 65536000 bytes (66 MB) copied, 2.65218 s, 24.7 MB/s
Скорость чтения равна приблизительно 25 Мбайт/с, что более или менее стандартно для дешевых флешек usb.
USB 2.0 имеет теоретическую максимальную скорость передачи сигналов равную 480 Мбит/с или 60 Мбайт/с. Но в силу различных ограничений максимальная пропускная способность ограничена приблизительно значением 280 Мбит/с или 35 Мбайт/с. Помимо этого фактическая скорость зависит от качества флешки, а также и от других факторов.
И поскольку описываемое выше устройство usb было подключено к порту USB 2.0 и была достигнута скорость чтения, равная 24,7 Мбайт/с, что не очень плохо. Но скорость записи сильно отстает.
Теперь давайте выполним тот же самый тест с флешкой Strontium 16gb. Strontium — это еще один бренд, под которым выпускаются очень дешевые флешки usb, но эти флешки надежные.
Скорость записи для устройства Strontium 16gb
# dd if=/dev/zero of=./largefile bs=64k count=1000 1000+0 records in 1000+0 records out 65536000 bytes (66 MB) copied, 8.3834 s, 7.8 MB/sСкорость чтения для устройства Strontium 16gb
# sudo sh -c "sync && echo 3 > /proc/sys/vm/drop_caches" # dd if=./largefile of=/dev/null bs=8k 8000+0 records in 8000+0 records out 65536000 bytes (66 MB) copied, 2.90366 s, 22.6 MB/sСкорость чтения данных ниже, чем для устройства Sony.
Иногда хочется быстро прикинуть, как работает дисковая подсистема, либо сравнить 2 жестких диска. Очевидно, что измерить реальную скорость дисков практически невозможно, она зависит от слишком большого числа параметров. Но получить некое представление о скорости дисков можно.
Если у вас есть желание научиться работать с роутерами микротик и стать специалистом в этой области, рекомендую по программе, основанной на информации из официального курса MikroTik Certified Network Associate . Курс стоящий, все подробности читайте по ссылке. Есть бесплатные курсы.
Проще всего измерить скорость диска с помощью программы hdparm . Установить ее очень просто:
# yum -y install hdparm
# apt-get -y install hdparm
Теперь нужно вывести список дисков и разделов в системе:
# fdisk -l
Выбираем нужный раздел и проверяем скорость чтения:
# hdparm -t /dev/sda2
Обращаю ваше внимание еще раз на то, что мы видим очень примерные цифры, которые имеют значение только в сравнении с другими цифрами, полученными в схожих условиях. hdparm выполняет последовательное чтение с диска. В реально работе скорость чтения диска будет другой.
Проверка скорости записи на диск
Для того, чтобы измерить скорость записи на диск, можно воспользоваться стандартной утилитой linux — dd . С ее помощью мы создадим на диске файл размером 1 Gb частями по 1Mb.
Измеряем скорость записи на диск:
# sync; dd if=/dev/zero of=tempfile bs=1M count=1024; sync
Я измерял скорость на виртуальной машине, диск которой был размещен на RAID5, собранным из 5-ти дисков SAS 10к. В принципе, неплохой результат. Можно изменить размер файла и блоков, из которого он записывается. Если сделать файл побольше, результат скорости диска может получиться более приближенный к реальности.
А вот скорость диска на VDS, который я арендую. Результат в разы хуже:
Скорость диска на виртуальной машине, расположенной на втором SATA диске моего рабочего ноутбука:
Результат не очень, надо разбираться в чем дело. Давно возникли подозрения, что с диском что-то не то, заметно подтормаживают виртуальные машины, хотя раньше это было не заметно. Жаль, результатов более ранних тестов не сохранилось.
Интересно было бы посмотреть на ваши результаты тестов. Если же вы хотите серьезно измерить скорость дисков, то вам сюда — Как правильно мерять производительность диска .
Онлайн курс Основы сетевых технологий
Теоретический курс с самыми базовыми знаниями по сетям . Курс подходит и начинающим, и людям с опытом. Практикующим системным администраторам курс поможет упорядочить знания и восполнить пробелы. А те, кто только входит в профессию, получат на курсе базовые знания и навыки, без воды и избыточной теории. После обучения вы сможете ответить на вопросы:- На каком уровне модели OSI могут работать коммутаторы;
- Как лучше организовать работу сети организации с множеством отделов;
- Для чего и как использовать технологию VLAN;
- Для чего сервера стоит выносить в DMZ;
- Как организовать объединение филиалов и удаленный доступ сотрудников по vpn;
- и многое другое.
It requires reading the manual (man fio) but it will give you accurate results. Note that for any accuracy, you need to specify exactly what you want to measure. Some examples:
Sequential READ speed with big blocks
Fio --name TEST --eta-newline=5s --filename=fio-tempfile.dat --rw=read --size=500m --io_size=10g --blocksize=1024k --ioengine=libaio --fsync=10000 --iodepth=32 --direct=1 --numjobs=1 --runtime=60 --group_reporting
Sequential WRITE speed with big blocks (this should be near the number you see in the specifications for your drive):
Fio --name TEST --eta-newline=5s --filename=fio-tempfile.dat --rw=write --size=500m --io_size=10g --blocksize=1024k --ioengine=libaio --fsync=10000 --iodepth=32 --direct=1 --numjobs=1 --runtime=60 --group_reporting
Random 4K read QD1 (this is the number that really matters for real world performance unless you know better for sure):
Fio --name TEST --eta-newline=5s --filename=fio-tempfile.dat --rw=randread --size=500m --io_size=10g --blocksize=4k --ioengine=libaio --fsync=1 --iodepth=1 --direct=1 --numjobs=1 --runtime=60 --group_reporting
Mixed random 4K read and write QD1 with sync (this is worst case number you should ever expect from your drive, usually less than 1% of the numbers listed in the spec sheet):
Fio --name TEST --eta-newline=5s --filename=fio-tempfile.dat --rw=randrw --size=500m --io_size=10g --blocksize=4k --ioengine=libaio --fsync=1 --iodepth=1 --direct=1 --numjobs=1 --runtime=60 --group_reporting
Increase the --size argument to increase the file size. Using bigger files may reduce the numbers you get depending on drive technology and firmware. Small files will give "too good" results for rotational media because the read head does not need to move that much. If your device is near empty, using file big enough to almost fill the drive will get you the worst case behavior for each test. In case of SSD, the file size does not matter that much.
However, note that for some storage media the size of the file is not as important as total bytes written during short time period. For example, some SSDs may have significantly faster performance with pre-erased blocks or it might have small SLC flash area that"s used as write cache and the performance changes once SLC cache is full. As an another example, Seagate SMR HDDs have about 20 GB PMR cache area that has pretty high performance but once it gets full, writing directly to SMR area may cut the performance to 10% from the original. And the only way to see this performance degration is to first write 20+ GB as fast as possible. Of course, this all depends on your workload: if your write access is bursty with longish delays that allow the device to clean the internal cache, shorter test sequences will reflect your real world performance better. If you need to do lots of IO, you need to increase both --io_size and --runtime parameters. Note that some media (e.g. most flash devices) will get extra wear from such testing. In my opinion, if any device is poor enough not to handle this kind of testing, it should not be used to hold any valueable data in any case.
In addition, some high quality SSD devices may have even more intelligent wear leveling algorithms where internal SLC cache has enough smarts to replace data in place that is being re-written during the test if it hits the same address space (that is, test file is smaller than total SLC cache). For such devices, the file size starts to matter again. If you need your actual workload it"s best to test with file sizes that you"ll actually see in real life. Otherwise your numbers may look too good.
Note that fio will create the required temporary file on first run. It will be filled with random data to avoid getting too good numbers from devices that cheat by compressing the data before writing it to permanent storage. The temporary file will be called fio-tempfile.dat in above examples and stored in current working directory. So you should first change to directory that is mounted on the device you want to test.
If you have a good SSD and want to see even higher numbers, increase --numjobs above. That defines the concurrency for the reads and writes. The above examples all have numjobs set to 1 so the test is about single threaded process reading and writing (possibly with a queue set with iodepth). High end SSDs (e.g. Intel Optane) should get high numbers even without increasing numjobs a lot (e.g. 4 should be enough to get the highest spec numbers) but some "Enterprise" SSDs require going to 32 - 128 to get the spec numbers because the internal latency of those devices is higher but the overall throughput is insane.
Сейчас ударными темпами идет модернизация дисковых подсистем практически у любых хостеров. Твердотельные накопители стали существенным рывком в улучшении производительности компьютерного и в том числе серверного оборудования. Дело в том, что диск уже много лет был узким местом, что называется «слабым звеном», в производительности любых информационных систем. Другими словами все остальные составляющие — процессор, оперативная память, системные шины и даже сеть — все уже давно сильно быстрее и производительнее накопителей. SSD дает прирост производительности любого устройства примерно в 3-5 раз. Это значит любые приложения будут запускаться в несколько раз быстрее, иногда даже в десятки раз быстрее.
Итак, хостер предлагает вам две тарифные линейки — SSD и не_SSD. Вы, конечно же, берете SSD. Но как убедиться в том, что хостер выдал действительно SSD? Ведь для работы сайта нет никакой разницы — у вас все будет работать на хостинге с любым диском. То есть, теоретически хостер может вам объявить, что у него серверы на быстрых твердотельных дисках. А на деле продавать мощности на обычных традиционных HDD. И вы, скорее всего, даже не узнаете об этом.
Ведь SSD гораздо дороже обычных дисков. А у хостеров мощности ведь серьезные, им нужно терабайты данных хранить. Представляете, сколько такие системы могут стоить, учитывая, что 1 Гб твердотельного накопителя в примерно в 10 раз дороже 1 Гб обычного диска?
Что такое SSD-boost или flashcache?
Вообще, есть гибридная система. Когда используют связку SSD + HDD. При этом, все данные хранятся на традицонных больших дисках. Есть специальный софт, который настраивает эти диски в особый хитрый массив, где SSD выступает как бы кэшем для любых данных, которые записываются или считываются. В таком массиве мы имеем небольшой SSD, допустим на 120 Гб и за ним большой HDD, на 2 Tb. Такая связка дает скорость чтения/записи как у SSD, но объем, как у HDD. Вот такие дела. При этом, хостер спокойно может вам сказать, что у него все на SSD. Честные хостеры называют это SSD-boost. На работе сайтов это никак негативно не отражается.
Я проверял скорость дисков у десятков различных хостеров. Вы удивитесь, но только 1 из 5 хостеров дает «честный» SSD.
Такие вещи фиксирую скриншотами.
Тесты фейковых SSD некоторых хостеров
Хостер №1
Здесь мы видим всего 30 Мб/с на запись. Это нормальная скорость для обычного HDD. Но у хостера он объявлен как SSD.
Хостер №2
Аналогичная картина. Но скорость чтения уже получше немного. Возможно это случай с flashcache, но очень перегруженный. А скорее всего просто raid массив из обычных HDD. Можно их собирать таким образом, что увеличивается в 1,5-2 раза производительность на чтение.
Хостер №3
Любимый многими хостер. Показывает вообще дикие результаты. Мало того что HDD, так еще и перегруженный обращениями к диску.
Хостер №4
Здесь вообще веселая история. Делал клиенту аудит сервера, были жалобы на тормоза. Дай, думаю, проверю диск.
Вот такая картина. Пишу клиенту так и так — хостер вас нагло обманывает. Клиент бегом в саппорт — оказывается действительно. Клиенту «забыли» включить SSD при переходе когда-то там с тарифа на тариф, понимаете? Переключают, тестируем снова и видим как появился настоящий SSD.
Тесты реальных SSD
Теперь, чтобы понимать разницу, я покажу вам скриншоты тестов действительно SSD.
Вот так это выглядит. Скорость записи свыше 100 Mb/s должна быть. Это минимум для SSD. Это тест с моего рабочего ноутбука, на котором я сейчас пишу этот пост. В нем стоит самый дешевый SSD на 120 Gb. Как видите, скорость работы у него в 4-5 раз быстрее чем у традиционного диска.
А вот тест хостера, который предоставляет реальный SSD.
Вот здесь уж точно настоящий SSD. Вот таким оно и должно быть. Возможно настроен буст, но таки это SSD и жить с этим хостером можно.
Как сделать тест скорости диска у хостера?
Я для этого использую утилиту dd. Она есть в любом linux. Но обращаться с ней следует осторожно, иначе есть риск испортить вообще весь сервер, все данные на нем. Поскольку эта утилита пишет сырые данные в любое устройство или файл, которое ей укажешь.
Итак, для теста записи следует взять поток нулей из специального устройства /dev/zero и направить его в файл, на тестеруемом диске. Любой произвольный файл. Например в папку временных файлов /tmp/test.img
Dd if=/dev/zero of=/tmp/test.img bs=1M count=1024 oflag=dsync
Такая команда создаст файл в 1 Гб размером и выведет скорость записи.
Сразу же можно проверить и скорость чтения, только здесь опция if должна указывать на созданный файл, а of куда нибудь в пустоту. В линуксах есть такое устройство /dev/null , в него и направим:
Dd if=/tmp/test.img of=/dev/null bs=1M count=1024
Но перед этим, нужно сбросить дисковый кэш, иначе файл будет считан за секунду, а вам выведется скорость чтения в Gb/s. Это делается такой командой:
Sysctl vm.drop_caches=3
После чего проводим тест чтения второй командой.
Ну и по окончанию нужно удалить тестовый файл, дабы не занимал место:
Rm -f /tmp/test.img
Это все сработает только на выделенном сервере или VPS. Причем, не на всяком VPS. Поскольку они различаются еще и по технологии виртуализации. Многие хостеры дают не полноценную виртуализацию (KVM, XEN) а контейнеры (openVZ). Здесь нет доступа к параметрам ядра, а значит не получится сбросить кэш. Придется читать и писать в разные файлы, либо перед тестом чтения подождать несколько часов, пока дисковый кэш перезапишется другими данными. Также довольно сложно проверить скорость на виртуальном (shared) хостинге, поскольку вы не имеете там root доступа. Но утилита dd обычно доступна любому системному пользователю, поэтому можно проверить и на нём, имея доступ по SSH.
