Использование ssd для кэша. Пережеванные выкладки программиста. Системные настройки. Отключение дефрагментации

Традиционная система хранения подразумевает размещение данных на жестких дисках HDD и твердотельных дисках SSD. В последние годы емкости HDD растут стремительными темпами. Однако, скорость их при случайном доступе по-прежнему мала. Для некоторых приложений, таких как базы данных, облачные технологии или виртуализация, требуется как высокая скорость доступа, так и большой объем. Получается, что использование только HDD не приемлемо, а использование SSD неоправданно дорого. Использование SSD только в качестве кэша является лучшим соотношением цена/производительность для системы в целом. В этом случае сами данные будут располагаться на емких HDD, а дорогие SSD будут давать прирост производительности при случайном доступе к этим данным.

Чаще всего SSD-кэш будет полезен в следующих случаях:

Когда скорость работы HDD в IOPS при чтении является узким местом.
Когда операций ввода/вывода на чтение существенно больше, чем на запись.
Когда объем часто используемых данных меньше размера SSD.

Решение

SSD-кэширование – это дополнительный кэш для увеличения производительности. Один или несколько SSD должны быть назначены виртуальному диску (луну) для использования в качестве кэша. Обратите внимание, что эти SSD будут недоступны для хранения данных. В настоящее время размер SSD-кэша ограничен 2.4ТБ.

Когда производится операция чтения/записи, копия данных помещается на SSD. В следующий раз любая операция с этим блоком будет производиться напрямую с SSD. В итоге это уменьшит время реакции и, как следствие, увеличит общую производительность. Если, к несчастью, SSD откажет, то данные не потеряются, т.к. в кэше содержится копия данных с HDD.

SSD-кэш делится на группы – блоки, каждый блок делится на субблоки. Характер операций ввода/вывода для виртуального диска определяет выбор размера блока и субблока.

Заполнение кэша

Чтение данных с HDD и запись их на SSD называется заполнением кэша. Эта операция выполняется в фоновом режиме сразу же после того, как хост производит операции чтения или записи. Работа кэша ограничена двумя параметрами:

Populate-on-read threshold
Populate-on-write threshold

Эти значения больше нуля. Если они равны нулю, то кэш на чтение или запись не работает. В соответствии с этими значениями каждый блок соотносится с его счетчиком чтения или записи. Когда хост производит операцию чтения, и данные расположены в кэше, счетчик чтения увеличивается. Если в кэше нет данных и счетчик чтения больше или равен значению Populate-on-read threshold, то данные копируются в кэш. Если же значение счетчика меньше Populate-on-read threshold, то данные читаются мимо кэша. Для операций записи ситуация аналогична.

Сценарии работы SSD-кэша

Тип ввода/вывода

Тип ввода/вывода определяет конфигурацию SSD-кэша. Эта конфигурация выбирается администратором и определяет параметры блока, субблока, populate-on-read threshold и populate-on-write threshold. Имеются три заранее определенные конфигурации согласно типам ввода/вывода: базы данных, файловая система и web-сервисы. Администратору необходимо выбрать конфигурацию SSD-кэша для виртуального диска. В процессе работы можно сменить тип конфигурации, но в этом случае содержимое кэша будет сброшено. Если предопределенные конфигурации не подходят под используемый профиль нагрузки, то имеется возможность задать собственные значения параметров.

Размер блока влияет на время «прогрева» кэша, т.е. когда наиболее востребованные данные переместятся на SSD. Если данные расположены на HDD близко друг к другу, то лучше использовать блок большого размера. Если же данные расположены хаотично, то логичнее использовать блок малого размера.

Размер субблока также влияет на время прогрева кэша. Больший его размер уменьшает время заполнения кэша, но увеличивает время реакции на запрос с хоста. Помимо этого, размер субблока также влияет на загрузку процессора, пропускную способность памяти и канала.

Для расчета примерного времени прогрева кэша можно воспользоваться следующим методом.

Т – время прогрева кэша в секундах
I – значение IOPS для HDD при случайном доступе
S – размер блока ввод/вывода
D – количество HDD
C – полный объем SSD
P - populate-on-read threshold или populate-on-write threshold

Тогда T = (C*P) / (I*S*D)
Для примера: 16 дисков с 250 IOPS, один SSD 480ГБ в качестве кэша, характер нагрузки – web-сервисы (64КБ) и populate-on-read threshold = 2.
Тогда время прогрева будет Т = (480ГБ*2) / (250*64КБ*16) ≈ 3932 сек ≈ 65.5 мин

Тестирование

Для начала рассмотрим процесс создания SSD-кэша

После создания виртуального диска нажмите ↓, затем Set SSD Caching
Выберите Enable
Выберите конфигурацию из ниспадающего списка
Нажмите Select Disks и выберите SSD, которые будут использоваться в качестве кэша
Нажмите ОК

Ограничения

Только SSD могут использоваться в качестве кэша
SSD может быть назначен только одному виртуальному диску в каждый момент времени
Поддерживается до 8 SSD на один виртуальный диск
Поддерживается общий объем до 2.4ТБ SSD на систему
Для SSD-кэширования требуется лицензия, которая приобретается отдельно от системы

Результаты

Тестовая конфигурация:

HDD Seagate Constellation ES ST1000NM0011 1TB SATA 6Gb/s (x8)
SSD Intel SSD DC3500, SSDSC2BB480G4, 480GB, SATA 6Gb/s (x5)
RAID 5
I/O Type Database Service (8KB)
I/O pattern 8KB, random read 90% + write 10%
Virtual disk 2TB

Согласно формуле время прогрева кэша T = (2ТБ*2) / (244*8КБ*8) ≈ 275036 сек ≈ 76.4 ч

Отличия дисковых подсистем SSD и HDD+SSD для виртуальных выделенных серверов, сравнение производительности.

Диски HDD+SSD-кэш

Принцип работы . Мы используем быстрые SSD-диски для кэширования запросов к медленным, но значительно более ёмким и недорогим HDD-дискам. В этом режиме каждое обращение к жесткому диску виртуальной машины проверяется на наличие в кэше, и при его наличии в кэше отдаётся оттуда, а не читается с медленного диска. Если же в кэше данные не найдены, то они читаются с HDD-диска и записываются в кэш.

Преимущества технологии HDD+SSD-кэш. Основной плюс технологии HDD+SSD-кэш в объеме предоставляемого дискового пространства. Также серверы на этой технологии дешевле, что немаловажно для размещения начинающих проектов, тестовых серверов и вспомогательных сервисов.

Бекапы данных
Объемные архивы с данными
Любые сервисы и сайты, для которых не критична скорость чтения/записи с дисков

Диски SSD

Принцип работы . SSD (Solid-state drive) - это накопитель, в котором, в отличие от обычных жестких дисков, нет движущихся элементов. Для хранения в SSD используется флеш-память. Простыми словами, это большая флешка.

Преимущества технологии SSD. Основное преимущество SSD-накопителей - это скорость работы. В отличие от обычного жесткого диска, отсутствуют временные затраты на позиционирование считывающих головок - увеличивается скорость доступа к данным. Согласно тестам, скорость чтения/записи на SSD превышает показатели обычных HDD в несколько раз.

Кому будет полезен VDS или VPS на SSD ?

Владельцам интернет магазинов: скорость работы с базами данных на SSD несоизмеримо выше, чем на HDD.
Владельцам других сайтов: страницы вашего сайта будут открываться значительно быстрее, что немаловажно для ранжирования в поисковых системах.
Для разработчиков: скорость компиляции кода на SSD-дисках выше, сэкономьте свое время.
Для игровых серверов: скорость загрузки увеличивается, не заставляйте игроков ждать.

Диски NVMe

Принцип работы . NVM Express (NVMe, NVMHCI, Non-Volatile Memory Host Controller Interface Specification) - обновленная версия SSD-диска. Использует собственный, разработанный с нуля, протокол взаимодействия, и подключается через порт PCI Express.

Преимущества технологии NVMe. Чтение-запись с дисками NVMe в 2-3 раза быстрее, чем с обычными SSD. Шина PCI Express не ограничивает скорость диска - этим обеспечивается прирост производительности. Кроме этого, на NVMe быстрее обрабатываются параллельные операции, больше операций чтения-записи проводится в единицу времени.

Когда заказывать виртуальный сервер с диском NVMe ?

В тех же случаях, что и SSD. Когда вашему проекту уже не хватает производительности SSD, либо планируете рост проекта и высокие нагрузки.

Сравниваем производительность

Мы сравнили производительность виртуальных машин на «боевых» физических серверах с различными дисковыми подсистемами.

Мы учитывали количество IOPS (количество операций ввода/вывода, Input/Output Operations Per Second) - это один из ключевых параметров при измерении производительности систем хранения данных, жестких дисков и твердотельных дисков (SSD).

Обратите внимание, что в работе сайтов чаще всего используются именно операции чтения данных, а не записи. Этот показатель SSD дисков в три раза выше, чем у технологии HDD+SSD-кэш.

Сравнение производительности технологий

Детальное исследование влияния SSD-кэширования на производительность жестких дисков

Почти два года назад в свет вышел топовый на тот момент чипсет Intel Z68 , а вместе с ним дебютировала и технология Smart Response. Казалось бы, новая, но на деле имеющая глубокие корни - идея совместить в одной системе сильные стороны традиционных винчестеров и твердотельных накопителей давно витала в воздухе. Что для этого нужно? Нужно к винчестеру добавить некоторый объем флэша в качестве кэш-буфера. В идеальном случае в него со временем должны попасть секторы, к которым система обращается чаще всего, что и приведет к серьезному повышению производительности - доступ к SSD осуществляется быстрее. А на винчестере будут просто лежать данные и редко выполняемый код, благо его емкости для такого достаточно, а скорость запуска редко используемых программ не слишком критична. Еще более идеальным вариантом, конечно, является использование SSD большой емкости, но это решение идеально лишь с точки зрения производительности - стоимость хранения информации на твердотельных накопителях в разы выше, чем на винчестерах. А гибридизация позволяет обойтись относительно небольшим количеством флэша, что недорого и, в идеале, почти столь же быстро, как и использование одного только SSD.

Производители винчестеров подошли к решению вопроса со своей стороны, встраивая флэш-буфер прямо в винчестеры. С такими решениями мы уже знакомились и, в общем и целом, пришли к выводу, что они оправданы. Правда, до последнего времени они встречались лишь среди ноутбучных моделей, в чем есть большой смысл: сделать в условиях ноутбука гибридную систему своими руками (т. е. из нескольких накопителей) не всегда возможно. Поэтому надо ужиматься в один корпус, причем такой, который поместится в ноутбук, что всегда заставляло идти на компромиссы. В частности, те же Seagate Momentus XT содержали лишь 4 ГБ флэш-памяти в первом поколении и 8 ГБ - во втором. А вот в настольном компьютере гибкость больше. Можно, в общем-то, и просто поставить SSD гигабайт так на 240, чтоб туда все программы влезли, и большой винчестер для данных. А можно взять SSD поменьше и воспользоваться Smart Response. Тем более, что год назад количество «пригодных» чипсетов сильно увеличилось : к Z68 добавились новые Z77, H77 (несколько более дешевый), корпоративный Q77 и некоторое количество ноутбучных модификаций. Словом, есть где развернуться.

Поэтому сегодня мы решили более подробно исследовать работу технологии Smart Response. Вкратце-то мы с ней уже познакомились когда изучали Z68, но именно, что вкратце. А вот теперь - посмотрим подробно: что ускоряет, как ускоряет, что замедляет…

Что ускоряем?

В качестве рабочего тела мы решили взять Western Digital Green WD30EZRX, уже знакомый нам по одной из предыдущих статей . Очень хороший, как нам кажется, объект - «зеленая» серия (стало быть, не самая высокая производительность), да и в ее рамках накопитель не самый выдающийся из-за использования пластин низкой (с точки зрения современности) плотности. В общем, как мы уже убедились, использование его в роли системного и единственного - не слишком оправдано. Но может быть, Smart Response позволит нам переломить ситуацию?

Чем ускоряем?

Производители SSD постепенно раскачались, и сегодня выпускают уже немалое количество специальных кэширующих серий накопителей. Хотя, в принципе, подходят и обычные. Тем более, у многих энтузиастов остались некогда купленные твердотельные накопители емкостью 32-64 ГБ (на что, очень может быть, в Intel и рассчитывали, запуская Z68). Но мы решили подойти к вопросу «честно» и взяли кэширующий SSD AData Premier Pro SP300. Впрочем, ориентацию на подобное применение в основном выдает только его емкость в 32 ГБ и интерфейс mSATA. А так - вполне типичный твердотельный накопитель на базе уже немного устаревшего контроллера LSI SandForce SF-2141 с прошивкой версии 5.0.2a. В общем, если кому-то нужен небольшой SSD с таким интерфейсом (например, к такой вот плате в пару), то можно пользоваться. Мы же сегодня используем SP300 по прямому назначению:)

Как ускоряем?

Для работы технологии требуется плата на соответствующем чипсете, как минимум Windows Vista, установленный Intel Rapid Storage и RAID-режим дискового контроллера. Абсолютно все эти условия нашим стандартным тестом выполняются. В том числе, и RAID-режим, который мы используем всегда (даже для одиночных накопителей) как раз ради совместимости (т. е. пригодности для сравнения) результатов.

А дальше - все просто. Обнаружив наличие свободного SSD после загрузки компьютера, Intel Rapid Storage предлагает включить «ускорение работы». Далее нужно выбрать SSD, кэшируемый накопитель (если их несколько, как в нашем случае), определиться с выделяемой для кэширования емкостью (20 ГБ или весь объем SSD, но не более 64 ГБ - это полезно, если хочется «откусить» кусочек от большого накопителя, а оставшуюся часть использовать «нормальным» образом) и, самое главное, выбрать режим кэширования. Последних два: Enhanced и Maximized, отличающихся подходом к записи. Первый (который и выбран по умолчанию) ее, фактически, не кэширует - данные попадают на SSD только по решению драйвера: в основном по критерию частоты использования. Второй же, по сути, встраивает SSD между винчестером и системой: практически все операции записи перенаправляются именно на твердотельный накопитель, а на винчестер копируются уже с него - большими порциями и спустя определенный промежуток времени. Понятно, что вести они должны себя по-разному: в первом случае остается больше места для быстрого запуска программ, зато второй в теории должен позволять сильно ускорить операции записи со случайным доступом. Однако в нем больше вероятность вытеснения полезных данных чем-нибудь, что планировалось просто «сбросить и забыть», да к тому же есть определенная вероятность потерять данные: а вдруг SSD выйдет из строя до того, как успеют обновиться файлы на винчестере? В общем, Intel рекомендует использовать Enhanced, но мы, естественно, проверили оба режима.

Методика тестирования

Методика подробно описана в отдельной статье . Там можно познакомиться с используемым аппаратным и программным обеспечением.

Тестирование

Буферизованные операции

Тот самый случай, когда ускориться ничего в принципе не может, зато может замедлиться: одно дело - записать что-то в буфер винчестера, и совсем другое - хаотические метания драйвера в попытках понять, нет ли этих данных на SSD (при чтении) и что вообще с ними надо делать (при записи). В общем итоге, как и следовало ожидать, ничего хорошего.

Время доступа

Запросы идут по всем 3 терабайтам винчестера, так что нет ничего удивительного, что в SSD они ничего не находят. Но хоть медленнее не становится - и то хорошо.

Здесь хорошо видно отличие режима Maximized ото всех остальных: записали на SSD, получили ответ о том, что операция выполнена успешно, и можно к следующим операциям переходить, а не ждать ответа именно от винчестера, что, как видим, требует в 50 раз больше времени.

В AS SSD та же картина. Только запись ускорилась сравнительно с Everest в «обычных» режимах, но не в Maximized - там уже и улучшать-то нечего:)

Последовательные операции

С определенного момента читать начинаем с SSD, а не с винчестера, а первый у нас пошустрее (хоть и не какая-нибудь модель «реактивной» производительности), так что все ускоряется. А вот в Maximized все плохо из-за усложненной логики: сначала драйвер проверяет, не были ли эти данные недавно записаны на SSD, а потом уже обращается к винчестеру, так что порцесс замедляется.

При записи картина обратная - тут уже режим Maximized способен немного увеличить производительность. Особенно на небольших блоках, что для SSD является более удобной операцией. А вот Enhanced лишь замедляет процесс: ведь нужно не только записать данные на винчестер, но и провести анализ, не стоит ли их сразу же и в кэш поместить.

В общем, как видим, иногда технология Smart Response способна повысить и производительность операций низкого уровня, но способна и понизить ее, как только мы переходим к нагрузке другого типа. Причем, как и следовало ожидать, Enhanced и Maximized по поведению отличаются кардинально.

Случайный доступ

Что естественно, при чтении данных все ведут себя одинаковым образом: запросы-то непосредственно к винчестеру. Но есть и нюансы: как видим, при большом количестве запросов гибридный накопитель из-за накладных программных расходов оказывается медленнее, чем собственно винчестер. Не так чтобы очень - каких-то 15%. Но и этим пренебрегать не стоит.

А здесь отличается только режим Maximized из-за слишком уж сложной логики работы: быстро записываем данные на флэш, получаем следующий запрос, выполняем его, получаем следующий - и выясняем, что пора бы уже данные предыдущих записать на винчестер. В общем, несмотря на то, что на совсем низком уровне, как мы видели выше, этот режим сильно ускоряет накопитель, на практике это способно не дать ничего или даже обеспечить отрицательный эффект.

Что особенно отчетливо наблюдается в шаблонах баз данных, где Enhanced не дает ничего (почти ничего - немного, все же, скорость падает), а Maximized умудряется замедлить винчестер (хотя, казалось бы, куда уж дальше). Впрочем, как раз при большой доле операций записи все варианты приходят к общему знаменателю, так что это немного другая проблема - слишком запутанные алгоритмы.

Производительность в приложениях

Вот, собственно, то, ради чего все затевалось - производительность вырастает в два и более раз. Даже VelociRaptor в PCMark7 набирает лишь 2737 баллов, а это самый быстрый винчестер в настольном сегменте - так что, казалось бы, вот оно счастье. Но не будем спешить открывать шампанское - у нас еще много тестов.

На трассе «защитника» выигрыш в скорости уже приблизился к трехкратному.

Режим Maximized отыгрался за два предыдущих случая и показал, что когда речь идет о записи данных, именно он может оказаться самым быстрым.

И звездный час технологии - тут даже порядок величин разный. Одиночный SSD, конечно же, в пару раз быстрее (если говорить о высокопроизводительных моделях), но это уже разы. А от «обычных» винчестеров гибридную систему отделяет уже порядок величин.

На «игровой» трассе прирост скромнее, но он все-таки есть. Причем такой, что, опять же, даже самым быстрым винчестерам нечего ловить рядом с «зеленой» моделью, ускоренной при помощи Smart Response.

Приехали. Даже если не обращать внимание на то, что Maximized «завалил» работу на шаблоне ContentCreation (это-то легко поддается объяснению), остальные результаты оптимизма тоже не вызывают. Почему же так различается поведение PCMark7 и NASPT? А они работают по-разному. В PCMark7 есть семь записанных трасс, имеющих не такой уж большой суммарный объем. Причем прогоняются они по три раза, и первый - столь же медленный, как и при использовании винчестера. Однако ко второму все данные уже оказываются на SSD, так что тестируем мы по большей части именно его. Причем, заметим, три трассы все равно ускорить не удалось.

В NASPT тоже используется многократный запуск тестов, но всех - включая и шаблоны, «ворочающие» файлами по 32 ГБ. Таким образом, между двумя исполнениями «рабочих» шаблонов в обе стороны успевает «пролететь» пара сотен гигабайт. И каким бы умным ни был драйвер, в подобном раскладе, судя по всему, его мыслительных способностей недостаточно для того, чтобы разобраться, что надо держать в кэше, а что «записали и забыли». Если немного изменить методику тестирования, «прогоняя» несколько раз только группы из указанных шаблонов, подыграв тем самым технологии, все становится замечательно - начиная со второго раза скорость резко возрастает. Однако очевидно, что в реальной жизни бывает всякое: и «хорошие» ситуации, и «плохие», так что неудивительно, что и в тестировании оказались и те, и другие.

Эту диаграмму мы помещаем, скорее, из озорства, однако раз уж у нас есть результаты, то почему бы на них не посмотреть? А пример весьма показательный и открытым текстом намекающий на то, что пытаться ускорить при помощи Smart Response несистемные диски смысла не имеет. Впрочем, остановимся на этом вопросе чуть более подробно.

Работа с большими файлами

Как и следовало ожидать, никакого эффекта - кэширование при помощи технологии Smart Response не упреждающее. Да и упреждающее не слишком бы помогло при последовательном (пусть и многопоточном в одном тесте) чтении объема данных, равного полному объему флэш-кэша.

При записи данных Smart Response сильно замедляет работу. В максимальной степени - при использовании режима Maximized, что понятно: попытка реализовать отложенную запись 32 ГБ данных при помощи флэшки на те же 32 ГБ изначально обречена на провал. Ну а в режиме Enhanced этой проблемы нет, но есть другая: драйверу надо данные не только записывать, но и анализировать для последующего (возможного) использования. Так что неудивительно, что «прямая запись» оказывается самой быстрой - тут-то никаких сложностей нет.

Вот что иногда может улучшиться - так это производительность псевдослучайной записи одновременно с чтением. И то - незначительно. При последовательном же доступе к информации Smart Response немного замедляет работу. Тоже - незначительно.

Общий средний балл

Несмотря на все виденное выше, мы получили вполне уверенный прирост от Smart Response в среднем. Почему? Ну, как мы видели, в том же PCMark7 выигрыш очень весомый, что оказалось лишь частично скомпенсировано проигрышем в других тестах. К тому же низкоуровневая синтетика часто ведет себя очень интересным образом, причем далеко не все выкрутасы SR были показаны выше. Для примера рассмотрим пару шаблонов AS SSD, активно используемых нами в тестах SSD, но обычно «спрятанных с глаз» при тестировании винчестеров.

Все просто - тест работает с файлом размером 1 ГБ, который, естественно, мгновенно оказывается на SSD, так что в режиме Enhanced мы, практически, SSD и измерили. Maximized из-за своей специфики медленно работает с одним потоком чтения (накладные расходы сравнимы с основными), хотя даже тут «ускоряет» винчестер в 4 раза. Ну а на 64 потоках - во все 20 раз.

Запись практически ничего не дает Enhanced, поскольку данные все равно приходится записывать в файл на винчестере, зато если выбрать режим Maximized, получаем подтверждение рекламы Smart Response: ваш HDD будет работать как SSD! :) Такие результаты, естественно, тоже сказались на среднем балле, хотя, как видим, общий итог не такой уж и внушительный.

С подробными же результатами всех тестов, как мы и обещали, можно познакомиться, скачав таблицу в формате Microsoft Excel .

Итого

Анонс Z68 и Smart Response заинтересовал многих красотой идеи: берем маленький и дешевый SSD, емкий винчестер и… Получаем быструю гибридную систему хранения данных, собравшую в себе плюсы обеих технологий. Многим нравилось, что SSD вроде как будет кэшировать весь винчестер, что казалось преимуществом по сравнению с использованием SSD и HDD по отдельности - когда дисковая система четко разделена на «быструю» и «медленную» части. Словом, сплошной профит. Однако реальное положение дел оказалась чуть-чуть более сложным и неоднозначным.

Во-первых, как мы видим, от кэширования всего жесткого диска больше вреда, чем пользы - многие «типично винчестерные» операции замедляются, а не ускоряются. Во-вторых, дала трещину концепция «маленький и дешевый», поскольку сильно упали цены на твердотельные накопители. Работать над Smart Response в Intel начали порядка трех лет назад (может, двух с половиной, но не меньше - два года назад уже готовые продукты появились), когда стоимость 1 ГБ информации на твердотельном накопителе составляла порядка 3 долларов. Сейчас она упала ниже одного доллара, причем, поскольку снижение происходило в основном за счет увеличения плотности новых микросхем, цена от объема зависит нелинейным образом - чем больше, тем относительно дешевле. В практическом смысле это приводит к тому, что сегодня твердотельные накопители на 32 и 128 ГБ по цене различаются всего в два раза, а в абсолютных цифрах вся экономия скукоживается до примерно 50 долларов. А что такое 128 ГБ? Это емкость, достаточная для операционной системы и большого количества прикладных программ. У многих пользователей еще и на хранение данных при этом место останется. Ну а для той информации, скорость доступа к которой не критична, в настольной системе можно просто использовать винчестер большого объема. Самое же главное, что такой подход дает предсказуемость, которой не может похвастаться Smart Response, т. е., независимо от сценариев работы, программы всегда запускаются быстро . А не как получится:) В гибридной же системе может быть почти так же быстро, как с SSD, а может быть и столь же медленно, как при использовании одного лишь винчестера. Говоря простым языком, если какой-нибудь геймер день за днем играет в одну и ту же игру, то от Smart Response он получит такой прирост, как мы выше видели на трассе «Gaming» PCMark7 - ускорение в весомые два-три раза. А вот если у него установлен десяток игр, и каждый раз он выбирает из них одну случайным образом (что называется, «под настроение»), то получит он… шиш с маслом, который нам продемонстрировал NASPT: данные в флэш-кэше будут постоянно меняться, так что загрузка уровней, к примеру, останется столь же медленной, как и при использовании только винчестера: ведь, в основном, именно он и будет работать.

С другой стороны, назвать технологию бесполезной мы тоже не можем - все зависит от сценария использования. В том же игровом компьютере может быть интересной схема с двумя SSD и винчестером. Просто потому, что современные игры велики по объему, и держать их на основном твердотельном накопителе накладно - слишком большой и дорогой требуется. Но проблем можно избежать. К примеру, ставим SSD на 128 ГБ - под систему и основные приложения. Для игр и прочих «тяжелых» программ, которые не поместятся на первом накопителе, используем быстрый винчестер относительно небольшой емкости, дополнительно ускоренный при помощи SSD на 32 ГБ. А для хранения всяких мультимедийных данных, типа фильмов и прочего (что нынче нередко «живет» в больших количествах и на игровых компьютерах) - еще один винчестер. Большой по объему, низкооборотистый (стало быть, экономичный) и безо всяких «бустеров», которые при таком сценарии использования могут только помешать, но не помочь. Сложно? Дорого? Да, но вполне реализуемо. И такой способ использования разных технологий как раз и позволяет получить тот максимум, на который они способны.

В общем, как видим, несмотря на снижение цен на флэш-память (и, соответственно, твердотельные накопители), технология Smart Response до сих пор имеет право на жизнь, поскольку в некоторых сценариях использования увеличивает производительность системы хранения данных. Важно только учитывать, что панацеей на все случаи жизни она не является: где-то полезна, а где-то и напротив - вредна. Таким образом, прежде чем ей пользоваться, стоит заранее взвесить все pro и contra, понять, что именно вы собираетесь сделать и как это должно работать. Впрочем, это верно для всех современных технологий.

Сравнение производительности различных типов серверных накопителей (HDD, SSD, SATA DOM, eUSB)
Сравнение производительности новейших серверных RAID-контроллеров Intel и Adaptec (24 SSD)
Сравнение производительности серверных RAID-контроллеров
Производительность дисковой подсистемы серверов Intel на базе Xeon E5-2600 и Xeon E5-2400
Таблицы сравнительных характеристик: RAID-контроллеры , Серверные HDD , Серверные SSD
Ссылки на разделы прайс-листа: RAID-контроллеры , Серверные HDD , Серверные SSD

Большинство серверных приложений работают с дисковой подсистемой сервера в режиме случайного доступа, когда данные читаются или записываются небольшими блоками размером несколько килобайт, а сами эти блоки могут располагаться в дисковом массиве случайным образом.

Жесткие диски имеют среднее время доступа к произвольному блоку данных порядка нескольких миллисекунд. Это время необходимо для позиционирования головки диска над нужными данными. За одну секунду жесткий диск может прочитать (или записать) несколько сотен таких блоков. Этот показатель отражает производительность жесткого диска на случайных операциях ввода-вывода и измеряется величиной IOPS (Input Output per Second, операций ввода-вывода в секунду). То есть производительность случайного доступа для жесткого диска составляет несколько сотен IOPS.

Как правило, в дисковой подсистеме сервера несколько жестких дисков объединяются в RAID-массив, в котором они работают параллельно. При этом скорость операций случайного чтения для RAID-массива любого типа возрастает пропорционально количеству дисков в массиве, а вот скорость операций записи зависит не только от количества дисков, но также и от способа объединения дисков в RAID-массив.

Довольно часто дисковая подсистема является фактором, который ограничивает быстродействие сервера. При большом количестве одновременных запросов дисковая подсистема может достичь предела своей производительности и увеличение объема оперативной памяти или частоты процессора не даст никакого эффекта.

Радикальным способом увеличения производительности дисковой подсистемы является использование твердотельных накопителей (SSD-накопителей), в которых информация записывается в энергонезависимую flash-память. У SSD-накопителей время доступа к произвольному блоку данных составляет несколько десятков микросекунд (то есть на два порядка меньше, чем у жестких дисков), благодаря чему производительность даже одного SSD-накопителя на случайных операциях достигает 60"000 IOPS.

На следующих графиках приведены сравнительные показатели производительности RAID-массивов из 8-ми жестких дисков и 8-ми SSD-накопителей. Приведены данные для четырех различных типов RAID-массивов: RAID 0, RAID 1, RAID 5 и RAID 6. Чтобы не перегружать текст техническими подробностями, информацию о методике тестирования мы поместили в конце статьи.

Из диаграмм видно, что применение SSD-накопителей повышает производительность дисковой подсистемы сервера на операциях произвольного доступа от 20 до 40 раз. Однако широкому использованию SSD-накопителей мешают следующие серьезные ограничения.

Во-первых, современные SSD-накопители имеют небольшую емкость. Максимальная емкость жестких дисков (3TB) превосходит максимальную емкость серверных SSD-накопителей (300GB) в 10 раз. Во-вторых, SSD-накопители примерно в 10 раз дороже жестких дисков, если сравнивать стоимость 1GB дискового пространства. Поэтому построение дисковой подсистемы из одних только SSD-накопителей в настоящее время применяется довольно редко.

Однако можно использовать SSD-накопители в качестве кэш-памяти RAID-контроллера. О том, как это работает и что дает, давайте поговорим подробнее.

Дело в том, что даже в довольно большой дисковой серверной подсистеме емкостью в десятки терабайт объем "активных" данных, то есть данных, которые используются наиболее часто, относительно невелик. Например, если Вы работаете с базой данных, которая хранит записи за длительный период времени, активно использоваться скорее всего будет только небольшая часть данных, которая относится к текущему временному интервалу. Или если сервер предназначен для хостинга Интернет-ресурсов, большая часть запросов будет относиться к небольшому числу наиболее посещаемых страниц.

Таким образом, если эти "активные" (или "горячие") данные будут находиться не на "медленных" жестких дисках, а в "быстрой" кэш-памяти на SSD-накопителях, производительность дисковой подсистемы возрастет на порядок. При этом Вам не нужно заботится о том, какие данные должны быть размещены в кэш-памяти. После того, как в первый раз контроллер прочитает данные с жесткого диска, он оставит эти данные в кэш-памяти SSD и повторное чтение будет выполняться уже оттуда.

Более того, кэширование работает не только при чтении, но и при записи. Любая операция записи будет записывать данные не на жесткий диск, а в кэш-память на SSD-накопителях, поэтому операции записи также будут выполняться на порядок быстрее.

Практически механизм кэширования на SSD-накопителях может быть реализован на любом шести-гигабитном RAID-модуле или RAID-контроллере Intel второго поколения на базе микроконтроллера LSI2208: RMS25CB040, RMS25CB080, RMT3CB080, RMS25PB040, RMS25PB080, RS25DB080, RS25AB080, RMT3PB080. Эти RAID-модули и контроллеры применяются в серверах Team на базе процессоров Intel E5-2600 и E5-2400 (платформа Intel Sandy Bridge).

Чтобы использовать режим SSD-кэширования, необходимо установить на RAID-контроллер аппаратный ключ AXXRPFKSSD2. Кроме поддержки SSD-кэширования, этот ключ также ускоряет работу контроллера с "чистыми" SSD-дисками, когда они используются не в качестве кэш-памяти, а как обычные накопители. В этом случае можно достичь производительности на операциях случайного чтения-записи в 465"000 IOPS (режим FastPath I/O).

Давайте посмотрим на результаты тестирования производительности все того же массива из восьми жестких дисков, но уже с использованием четырех SSD-накопителей в качестве кэш-памяти и сравним их с данными этого массива без кэширования.

Мы выполнили тестирование для двух вариантов организации SSD-кэш. В первом варианте 4 SSD-накопителя были объединены в RAID-массив нулевого уровня (R0), а во-втором случае из этих 4-х SSD-накопителей был образован зеркальный массив (R1). Второй вариант немного медленнее на операциях записи, зато он обеспечивает резервирование данных в SSD-кэш, поэтому предпочтительнее.

Интересно, что производительность чтения и записи практически не зависит от типа "основного" RAID-массива жестких дисков, а определяется только скоростью работы SSD-накопителей кэш-памяти и типом ее RAID-массива. Более того, "кэшированный" RAID 6 из жестких дисков на операциях записи оказывается быстрее, чем "чистый" RAID 6 из SSD-накопителей (29"300 или 24"900 IOPS против 15"320 IOPS). Объяснение простое - фактически мы измеряем производительность не RAID 6, а RAID 0 или RAID 1 кэш-памяти, а эти массивы быстрее на записи даже при меньшем числе дисков.

В качестве кэш-памяти можно использовать и один SSD-накопитель, однако мы рекомендуем этого не делать, поскольку не обеспечивается резервирование данных кэш-памяти. В случае выхода такого SSD-накопителя из строя, целостность данных будет нарушена. Для SSD-кэширования лучше использовать как минимум два SSD-накопителя, объединенный в RAID-массив первого уровня ("зеркало").

Надеемся, что информация, изложенная в данной статье, поможет Вам в выборе эффективной конфигурации дисковой подсистемы сервера. Кроме того, необходимую техническую консультацию всегда готовы оказать наши менеджеры и инженеры.

Конфигурация тестового стенда и методика тестирования

Серверная платформа — Team R2000GZ
Расширитель SAS-портов Intel RES2CV360 36 Port Expander Car
RAID-контроллер — Intel RS25DB080 с ключом AXXRPFKSSD2
HDD — 8 дисков SAS 2,5" Seagate Savvio 10K.5 300GB 6Gb/s 10000RPM 64MB Cache
SSD — 8 или 4 накопителя SSD SATA 2.5" Intel 520 Series 180GB 6Gb/s

Тестирование выполнялось при помощи программы Intel IO Meter.

Для каждого варианта аппаратной конфигурации выбирались оптимальные настройки кэш-памяти контроллера.

Объем виртуального диска для тестирования — 50GB. Такой объем был выбран для того, чтобы тестируемый диск мог полностью поместится в SSD-кэш.

Прочие параметры:
Strip Size — 256KB.
Размер блока данных для последовательных операций — 1MB.
Размер блока данных для операций случайного доступа — 4 KB.
Глубина очереди — 256.

В статьях про СХД из "конспекта админа" практически не рассматривались технологии софтовой организации дискового массива. Кроме того, за кадром остался целый пласт относительно дешевых сценариев ускорения хранилищ с помощью твердотельных дисков.

Поэтому в этой статье рассмотрю три неплохих варианта использования SSD-дисков для ускорения подсистемы хранения.

Почему просто не собрать массив из SSD – немного теории и рассуждений на тему

Чаще всего твердотельные накопители рассматривают просто как альтернативу HDD, с большей пропускной способностью и IOPS. Однако, такая замена "в лоб" часто стоит слишком дорого (брендовые диски HP, например, стоят от $2 000), и в проект возвращаются привычные накопители SAS. Как вариант, быстрые диски просто используются точечно.

В частности, удобным выглядит использование SSD для системного раздела или для раздела с базами данных – с конкретным выигрышем в производительности можно ознакомится в соответствующих материалах . Из этих же сравнений видно, что при использовании обычных HDD узким местом является производительность диска, а в случае SSD сдерживать будет уже интерфейс. Поэтому замена одного лишь диска не всегда даст такую же отдачу, как комплексный апгрейд.

В серверах используют SSD с интерфейсом SATA, либо более производительные SAS и PCI-E. Большинство представленных на рынке серверных SSD с интерфейсом SAS продаются под брендами HP, Dell и IBM. К слову, даже в брендовых серверах можно использовать диски OEM-производителей Toshiba, HGST (Hitachi) и других, которые позволяют сделать апгрейд максимально дешевым при схожих характеристиках.

С широким распространением SSD был разработан отдельный протокол доступа к дискам, подключенным к шине PCI-E – NVM Express (NVMe). Протокол разработан с нуля и значительно превосходит своими возможностями привычные SCSI и AHCI. С NVMe обычно работают твердотельные диски с интерфейсами PCI-E, U.2 (SFF-8639) и некоторые M.2, которые быстрее обычных SSD более чем вдвое . Технология относительно новая, но со временем она обязательно займет свое место в самых быстрых дисковых системах.

Немного про DWPD и влияние этой характеристики на выбор конкретной модели.

При выборе твердотельных дисков с интерфейсом SATA следует обращать внимание на параметр DWPD, который определяет долговечность диска. DWPD (Drive Writes Per Day) – это допустимое количество циклов перезаписи всего диска в сутки на протяжении гарантийного периода. Иногда встречается альтернативная характеристика TBW/PBW (TeraBytes Written, PetaBytes Written) – это заявленный объем записи на диск на протяжении гарантийного периода. В SSD для домашнего использования показатель DWPD может быть меньше единицы, в так называемых "серверных" SSD - 10 и более.

Такая разница возникает из-за разных типов памяти:

SLC NAND . Самый простой тип – в каждой ячейке памяти хранится один бит информации. Поэтому такие диски надежны и обладают хорошей производительностью. Но приходится использовать больше ячеек памяти, что негативно влияет на стоимость;

MLC NAND . В каждой ячейке хранится уже два бита информации – самый популярный тип памяти.

eMLC NAND . То же самое что и MLC, но повышена устойчивость к перезаписи благодаря более дорогим и качественным чипам.

TLC NAND . В каждой ячейке хранится по три бита информации – диск максимально дешев в производстве, но обладает наименьшими производительностью и долговечностью. Чтобы компенсировать потери по скорости, для внутреннего кэша часто используется память SLC.

Таким образом, при точечной замене обычных дисков твердотельными логично использовать MLC-модели в RAID 1, что даст отличную скорость при том же уровне надежности.

Считается, что использование RAID совместно с SSD – не лучшая идея. Теория основывается на том, что SSD в RAID изнашиваются синхронно и в определенный момент могут выйти из строя все диски разом, особенно при ребилде массива. Однако, с HDD ситуация точно такая же. Разве что, испорченные блоки магнитной поверхности не дадут даже прочитать информацию, в отличие от SSD.

По-прежнему высокая стоимость твердотельных накопителей заставляет задуматься об альтернативном их использовании, помимо точечной замены или использования СХД на базе одних лишь SSD.

Расширяем кэш RAID-контроллера

От размера и скорости кэша RAID-контроллера зависит скорость работы массива в целом. Расширить этот кэш можно с помощью SSD. Технология напоминает решение Smart Response от Intel.

При использовании подобного кэша данные, которые используются чаще, хранятся на кэширующих SSD, с которых производится чтение или дальнейшая запись на обычный HDD. Режимов работы обычно два, аналогично привычному RAID: write-back и write-through.

В случае write-through ускоряется только чтение, а при write-back – чтение и запись.

Подробнее об этих параметрах вы можете прочитать под спойлером.

При настройке кэша write-through запись проводится как в кэш, так и на основной массив. Это не влияет на операции записи, но ускоряет чтение. К тому же, перебои питания или всей системы для целостности данных уже не так страшны;

Настройка write-back позволяет записывать данные сразу в кэш, что ускоряет операции чтения и записи. В RAID-контроллерах эту опцию можно включить только при использовании специальной страхующей энергонезависимую память батарейки, либо при использовании флэш-памяти. Если же применять в качестве кэша отдельный SSD, то проблема с питанием уже не стоит.

Для работы обычно требуется специальная лицензия или аппаратный ключ. Вот конкретные названия технологии у популярных на рынке производителей:

LSI (Broadcom) MegaRAID CacheCade. Позволяет использовать до 32 SSD под кэш, суммарным размером не более 512 ГБ, поддерживается RAID из кэширующих дисков. Есть несколько видов аппаратных и программных ключей, стоимость составляет около 20 000 р;

Microsemi Adaptec MaxCache. Позволяет использовать до 8 SSD в кэше в любой конфигурации RAID. Отдельно лицензию покупать не нужно, кэш поддерживается в адаптерах серии Q;

HPE SmartCache в серверах ProLiant восьмого и девятого поколения. Актуальная стоимость доступна по запросу.

Схема работы SSD-кэша предельно проста – часто используемые данные перемещаются или копируются на SSD для оперативного доступа, а менее популярная информация остается на HDD. Как итог, скорость работы с повторяющимися данными значительно возрастает.

В качестве иллюстрации работы RAID-кэша на базе SSD можно привести следующие графики:

StorageReview – сравнение производительности разных массивов при работе с базой данных: использованы обычные диски и их альтернатива на базе LSI CacheCade.

Но если есть аппаратная реализация, то наверняка существует и программный аналог за меньшие деньги.

Быстрый кэш без контроллера

Помимо программного RAID существует и программный SSD-кэш. В Windows Server 2012 появилась интересная технология Storage Spaces, которая позволяет собирать RAID-массивы из любых доступных дисков. Накопители объединяются в пулы, на которых уже размещаются тома данных – схема напоминает большинство аппаратных систем хранения. Из полезных возможностей Storage Spaces можно выделить многоярусное хранение (Storage Tiers) и кэш записи (write-back cache).

Storage Tiers позволяет создавать один пул из HDD и SSD, где более востребованные данные хранятся на SSD. Рекомендованное соотношение количества SSD к HDD 1:4-1:6. При проектировании стоит учитывать и возможность зеркалирования или четности (аналоги RAID-1 и RAID-5), так как в каждой части зеркала должно быть одинаковое количество обычных дисков и SSD.

Кэш записи в Storage Spaces ничем не отличается от обычного write-back в RAID-массивах. Только здесь необходимый объем "откусывается" от SSD и по умолчанию составляет один гигабайт.