Linux ja ZFS

Linuxi tarkvaraliste küsimustega seotud foorum

Moderaator: Moderaatorid

Vasta
Kasutaja avatar
daddo
Pingviini kasutaja
Pingviini kasutaja
Postitusi: 98
Liitunud: 19.07.2005, 03:00

Linux ja ZFS

Postitus Postitas daddo »

Juhtusin kunagi lugema SUN'i uuest failisüsteemist ZFS, mille võimalused ja omadused sümpatiseerisid mulle, nii palju kui ma sellest keskmise arvutikasutajana aru sain. Paraku tookord jäi mulje, et linuxil seda lõbu pole. Nüüd tundub, et olukord muutunud ja tehtud on mingi zfs-fuse pakk, mis peaks justkui ka linuxilistel asja kasutada.
ZFS is an advanced filesystem from Sun Microsystems, originally developed
for solaris. It provides a number of advanced features, such as live
integrity checks, atomic updates, atomic snapshots and clones, compression,
and much more.

This package provides an implementation of Sun's ZFS filesystem in userspace,
using FUSE.
Kuna nägin võrgus ka juba sissekandeid, kus kodustes tingimustes igasugu RAID lahenduste asemel soovitati linux + ZFS lahendusi, tekkis huvi, et kas antud foorumlastest on sellisel tasemel asjaga kokku puutunud?
So I actually did this not too long ago.

To be honest, after doing a lot of research into RAID arrays, I decided it was too scary. If a hardware RAID card dies, you lose all your data. If your motherboard in a software RAID array dies... you lose all your data.

Not to mention, as disk sizes grow to 2TB, there is a relatively high chance of unrecoverable failure for sectors. This can again cause you to lose all you data. Upwards of 30% chance of complete data loss. Too high of a risk for me.

Solution? Well, it's not the best option now, but I ended up using a linux distro with ZFS (alternatively BTRFS is now included in the linux kernel and individually you can evaluate it's stability for your use).

The reasoning? ZFS is entirely software based... and if one drive in a ZFS pool dies, you can recover your data. It also does checksumming, so while you're writing your data, it checks to make sure it's valid, and if it's not, repairs it from the data parity. Plus, because it's software, it can be (and I have) transported in it's entirety to a different machine. To boot ZFS also allows you to dynamically add and remove disks from an array. It's really working out well for me. Once I set it up, I haven't had to mess with it since. Granted, it's not as fast as a native filesystem (it's running through FUSE), but for media storage, it's plenty fast enough.

To top it off, the box I built has HDMI, Wireless N, and 2 gigabit connections on an entirely gigabit network. It's faster to mount CD images over the network than directly, and movies, music, and all of it are in one handy location. Install Rygel on your distro of choice and DLNA streaming sends all your media (transcoding included) to your favorite PS3, XBox, networked TV, or even your nifty networked DVD player. It can push media to 3 family computers, and our TV in the bedroom without breaking a sweat.

All in all, I think it cost me about $800, but prices have come down since then, and with 4x2TB drives, I have a total usable array of just over 7TB. So if you really need 8, make it 5x2TB or 3/4x3TB.

Everyone will say good hardware is important, but if you want truly reliable drives (corporate quality) you're looking at spending twice the price. More on higher capacity drives.

That's my input.
Mis mulle hetkel aga segaseks selle ZFS juures jääb, on see, et kas need n.ö pool'id vormindatakse linuxis lisaks veel mõne teise failisüsteemiga või toimub nende otsene mountimine süsteemi? Ehk igasugused arvamused ja teadmised ZFSi ja linuxi koosluse kohta teretulnud.


Oracle Solaris ZFS AdministrationGuide
illukas
Vana Pingviin
Vana Pingviin
Postitusi: 2036
Liitunud: 24.10.2006, 21:35

Postitus Postitas illukas »

raid lahendusi on ka mitmeid, põhjusedki erinevad, kord vea kord kiiruse pärast...
Linuxile täitsa olemas zfs-i tugi, kuid toores veel, produktsiooniks ei soovita kasutada...
Mina ootaks natuke veel... Korraliku raid5 ja min 1,2MTBF serveri ketaste vastu ei ole veel head rohtu...

PS
If a hardware RAID card dies, you lose all your data.
see lause on seal lollus, vähegi korralik raid kontroller oskab ilma lisa pingutusteta raidi massiivi uuesti ülesse korjata, 3ware näiteks teeb seda väga eduliselt
Kasutaja avatar
imapi
Vana Pingviin
Vana Pingviin
Postitusi: 567
Liitunud: 01.12.2005, 02:00

Postitus Postitas imapi »

zfs-fuse on juba mõnda aega olemas. Ise kasutan alates eelmise aasta lõpust kui zfs-fuse -ga on olemas dedup võimekus.
Kasutan seda serverite peal. Näiteks osalen projektis openstreetmap ja kaardi tile -de genereerimisel on block level deduplication funktsioon väga hea. Päris palju ruumi hoiab kokku aga samas kasutab ka märgatavalt protsessori aega. Üldiselt on jah tal päris palju võimalusi, millest ma enamusi ei kasuta :).
Tehes zpool -i pead sinna pool -i peale zfs -ga tegema ka eraldi kettad, mida siis saad mountida.
More than once my wife has asked why I don't do Windows, because that's where the money is. Why don't I just sell drugs or produce porn - there's money in those things, right?
Kasutaja avatar
Shadow
Vana Pingviin
Vana Pingviin
Postitusi: 453
Liitunud: 17.07.2006, 00:45

Postitus Postitas Shadow »

Kas ZFS asi edasi arenenud. Ja kuidas kodumasinas oleks. Failisysteemi rammi puhverdamine peaks olema ju hea idee? Kui mingi alates 8GB ram olemas. V6i on ikka serveri teema?

Et siis Linux ZFS -i peal...
Pilt
Kasutaja avatar
leio
Pingviini aktivist
Pingviini aktivist
Postitusi: 126
Liitunud: 31.07.2007, 11:02

Postitus Postitas leio »

Shadow kirjutas:Failisysteemi rammi puhverdamine peaks olema ju hea idee? Kui mingi alates 8GB ram olemas. V6i on ikka serveri teema?
Ma ei tea mida sa täpsemalt ZFS juures RAMmi puhverdamise all mõtled, aga seda teevad kõik failisüsteemid linuxis (ja ka mujal) ning seda pigem üldiselt block device tasemel, ehk ühises koodis kõigi failisüsteemide jaoks. Et kui vaba mälu on, siis jäetakse enim või hiljuti kasutatud sisu mällu, sest see on palju kiirem kui pärast uuesti kettalt lugeda.
"free" käsuga näiteks on "Buffers" tulp enamus või kõik selleks otstarbeks kasutatud RAM mälu. Kui muuks otstarbeks mälja vaja on, see lihtsalt siis lastakse lahti (vastavate algoritmidega, mis püüavad oletada mida lähiajal ilmselt vaja ei lähe uuesti kettalt), sest vajadusel saab uuesti kettalt kätte.
Gentoo Linux arendaja -- GNOME ja GStreamer - http://www.gentoo.org/
Kasutaja avatar
Shadow
Vana Pingviin
Vana Pingviin
Postitusi: 453
Liitunud: 17.07.2006, 00:45

Postitus Postitas Shadow »

ZFS -i kohta lugesin http://en.wikipedia.org/wiki/ZFS alagruppi ZFS cache: L2ARC, ZIL . Et see ei annaks linuxi peal siis midagi ? BSD kernel siis ei toimi nii ?
Pilt
Kasutaja avatar
leio
Pingviini aktivist
Pingviini aktivist
Postitusi: 126
Liitunud: 31.07.2007, 11:02

Postitus Postitas leio »

Shadow kirjutas:ZFS -i kohta lugesin http://en.wikipedia.org/wiki/ZFS alagruppi ZFS cache: L2ARC, ZIL . Et see ei annaks linuxi peal siis midagi ? BSD kernel siis ei toimi nii ?
Kahjuks ei tea võrrelda nende algoritmi selle ZFS omaga, samuti kas BSD'l midagi sellist on ja kuidas võrreldav.
Selle suurema aeglase ketta kiirema ketta peale cachemine (nagu SSD) rohkem kasutatavast sisust on viimasel ajal ka linuxile üldises plaanis tekkinud - märksõnadeks ehk bcache ja frontswap/cleancache/RAMster ja muuks mainline'i tilkuv "transcendent memory" infrastruktuur
Gentoo Linux arendaja -- GNOME ja GStreamer - http://www.gentoo.org/
illukas
Vana Pingviin
Vana Pingviin
Postitusi: 2036
Liitunud: 24.10.2006, 21:35

Postitus Postitas illukas »

l2arc ja zili kasutamine/mittekasutamine sõltub ikka failisüsteemil olevate failide kasutuskarakteristikust... enamasti annavad juurde, kuid on olukordi kus ei anna midagi.
linuxi all on asi nati toores- kiirus kasin, soovitaks kasutada openindianat, see küll solarise baasil kuid kiirused on teist masti.

Samuti on arendusel http://zfsonlinux.org/
PS bsd peal on asi oluliselt paremal tasemel
Vasta