Вопрос по Linux зачем используют LVM? ( Вопрос в основном maxp.)
Но рад услышать мнения всех :-)

И вообще интересно кто что использует из последних новинок и не очень в области хранения данных и распространения данных?

Вопрос не праздный. Уже несколько лет строю супер отказоусточивую систему поддержания бизнес процессов.

Тут, наверно, правильнее будет набрать в Гугле "linux lvm raid" и поглядеть там

http://www.gagme.com/greg/linux/raid-lvm.php

Грубо говоря LVM позволяет "добить дисочков" в существующую структуру, сделать из двух дисков один большой, сделать из одного большого (raid) много маленьких и т.п.

Хранение данных в сетях - совсем другая тема.

maxp [186512]:
Я прочитал описание прежде чем задавать вопрос :-) А на практике чем это обснованно? Я не понял чем это лучше железного райд контролера?
Я всегда саму систему ставлю в простой раздел который можно копировать любыми средствами (желтаельно вообще отдельный винт),а вот данные всегда в райд, и тут уже от финансов клиента зависит либо аппааратными средствами либо стандартный програмный линукс райд.

bugs [186546]:
бесплатно же

Sick [186562]:
Так сейчас райд контроллеры встроены практически в любую материнскую плату!

bugs [186546]: Все правильно.
А можно как-нибудь добавить в эту конфигурацию еще один диск, но чтобы ничего не переразмечать.
Просто какая-либо файловая система немного вырастет в размере.

Кстати, системный винт можно тоже зеркалить. Вынимаешь один - всё работает, как ни в чем не бывало.

maxp [186635]:
А что еще кроме LVM используете в работе?
Отстал я что то... Раньше активно всеми этими вопросами занимался. Видимо пора работу менять...


Кстати, системный винт можно тоже зеркалить. Вынимаешь один - всё работает, как ни в чем не бывало.
А обратно вставляем и он автоматически включается в работу?

bugs [186642]: Я на самом деле LVM практически не использую :) так как отошел от админских дел, а занимаюсь разработкой.

Просто иногда надо "добавить дисочек", а иногда "когда этого перестанет хватать мы уже купим новую систему".
В этих случаях надо подходить более комплексно - вероятность отказа, ценность данных, стоимость минуты простоя.
Совокупность этих данных определяет архитектуру.

Грубо говоря, если минута простоя стоит меньше 10-ти рублей, то вообще достаточно регулярного бэкапа и скрипта для его восстановления. Бэкапы все-равно делать, и усложнение системы какими-то наворотами становится неоправданным. Общего рецепта нет, надо в каждом конкретном случае считать.

maxp [186674]:
Как правило день простоя несколько миллионов... и системы построены на базе решений от MS, а там большинство вопросов можно решить только аппаратно.

Позвольте встрять, я на этом собаку съел.

Чем хорош LVM:
- Позволяет на ходу изменять размеры разделов. Некоторые FS (например, reiserfs или ext3 с патчем к ядру) поддерживают горячее расширение раздела. Либо ZFS, но это отдельная большая тема. То есть, вы сможете увеличить размер хранилища без остановки служб.
- В совокупности с mdadm, получаете отказоустойчивую систему.
- В совокупности с iSCSI или NBD позволяет сделать NAS. Т.е. распределённое хранилище, при использовании определённого уровня сетевого RAID'а даже устойчивое к падению 1-2 узлов.

Чем плох LVM:
- Достаточное количество подводных камней.
- Сложность администрирования резко возрастает при использовании в связке с mdadm и/или сетевых дисков (iSCSI/NBD)
- Если вы объединяете кучу машин в одно хранилище, у вас один фиг получается не параллельная FS, т.е. монтировать получившееся блочное устройство можно только в одном месте.

Альтернативы:
- DRBD плюс GFS (RedHat) или OCFS (Oracle). Позволяют эффективно по сети зеркалировать раздел. При этом, каждая из двух машин в зеркале имеет свою точку монтирования, что резко повышает производительность на мелких транзакциях + отказоустойчивость. Минусы: эти FS не полностью реализуют POSIX, весьма сложны в администрировании, плохо масштабируются.
- Какие-нибудь кластерные FS (перечисляю с которыми работал):
    1) LustreFS: достаточно сложна в администрировании, быстра. Но есть громадный минус: требует патча к ядру. Насколько я помню, последнее поддерживаемое ядро находится где-то в районе версии 2.6.23. Которое даже далеко не все современные железки умеет. Тем не менее, является самой популярной FS в top500 суперкомпьютеров.
    2) GlusterFS: очень приятна в администрировании, имеет модульную структуру. Не умничает, т.е. про упавшие машины и схему распределения данных в FS вы должны знать и самостоятельно принимать решения в случае краха. Предоставляет только слой общего доступа и распределения данных. Данные хранятся на любой FS с поддержкой xattr. Большой минус: работает в userspace, очень не быстра на метаданных (впрочем, как и все кластерные FS). Подглючивает.
    3) PVFS2: смотрел давно, ничем особо не примечательна. Во всяком случае, первые две её делают по всем параметрам. Достаточно сложна в администрировании.

Плюсы любой кластерной FS: практически линейное масштабирование до десятков тысяч узлов. Минусы: рассчитаны на большие транзакции, в основном в данных (не метаданных).

strayer [186749]:
Не последне значение имеет скорость передачи данных, как можно построить самое быстрое хранилище?

bugs [186774]: Тут два момента: либо вам нужен быстрый ответ, либо быстрая передача данных. Второе можно дёшево построить и на обычном 1Gbit/10Gbit езере. А вот первое выйдет значительно дороже. Варианта два: Infiniband (цена от 20т.р. за порт, не считая материнской платы с поддержкой Infiniband (сколько стоит х.з.) и провода (3-4т.р.)), либо Fiberchannel. Но у оптики время ответа всё-таки значительно хуже infiniband'а.

Ну и разумеется, сетевой RAID получается не самым лучшим решением в этом случае, поскольку точка монтирования будет одна и она станет самой узкой частью. Если потом всё это раздавать по NFS/CIFS — получится двойная нагрузка на сеть.

Ещё учтите, что Infiniband поддерживают не все. Точно могу сказать про GlusterFS и iSCSI.

strayer [186781]:
Видел эти технологии в живую... Сложно это всё и очень дорого получается!
Т.е. если у нас почти бытовой бюджет то остаются только простые райды? С подключением по Ethernet или SCSI?

bugs [186785]: Другие варианты мне неизвестны.