Portaal Portaal Pingviini veeb foorumi pealeht
  Viki  |  IRC  |  Otsing  |  Küsimused ja vastused  |  Profiil  |  Privaatsõnumite vaatamiseks logi sisse  | Logi sisse või Registreeru
<empty>
Vaata järgmist teemat
Vaata eelmist teemat

Postita uus teemaVasta teemale
Autor Sõnum
daddo
Pingviini kasutaja
Pingviini kasutaja



Liitunud: 19.07.2005
Postitused: 98

Distributsioon: Ubuntu
estonia.gif
postituspostitatud: 20.10.2010, 11:08  postituse pealkiri:  Linux ja ZFS  

Juhtusin kunagi lugema SUN'i uuest failisüsteemist ZFS, mille võimalused ja omadused sümpatiseerisid mulle, nii palju kui ma sellest keskmise arvutikasutajana aru sain. Paraku tookord jäi mulje, et linuxil seda lõbu pole. Nüüd tundub, et olukord muutunud ja tehtud on mingi zfs-fuse pakk, mis peaks justkui ka linuxilistel asja kasutada.

Tsitaat:
ZFS is an advanced filesystem from Sun Microsystems, originally developed
for solaris. It provides a number of advanced features, such as live
integrity checks, atomic updates, atomic snapshots and clones, compression,
and much more.

This package provides an implementation of Sun's ZFS filesystem in userspace,
using FUSE.


Kuna nägin võrgus ka juba sissekandeid, kus kodustes tingimustes igasugu RAID lahenduste asemel soovitati linux + ZFS lahendusi, tekkis huvi, et kas antud foorumlastest on sellisel tasemel asjaga kokku puutunud?
Tsitaat:
So I actually did this not too long ago.

To be honest, after doing a lot of research into RAID arrays, I decided it was too scary. If a hardware RAID card dies, you lose all your data. If your motherboard in a software RAID array dies... you lose all your data.

Not to mention, as disk sizes grow to 2TB, there is a relatively high chance of unrecoverable failure for sectors. This can again cause you to lose all you data. Upwards of 30% chance of complete data loss. Too high of a risk for me.

Solution? Well, it's not the best option now, but I ended up using a linux distro with ZFS (alternatively BTRFS is now included in the linux kernel and individually you can evaluate it's stability for your use).

The reasoning? ZFS is entirely software based... and if one drive in a ZFS pool dies, you can recover your data. It also does checksumming, so while you're writing your data, it checks to make sure it's valid, and if it's not, repairs it from the data parity. Plus, because it's software, it can be (and I have) transported in it's entirety to a different machine. To boot ZFS also allows you to dynamically add and remove disks from an array. It's really working out well for me. Once I set it up, I haven't had to mess with it since. Granted, it's not as fast as a native filesystem (it's running through FUSE), but for media storage, it's plenty fast enough.

To top it off, the box I built has HDMI, Wireless N, and 2 gigabit connections on an entirely gigabit network. It's faster to mount CD images over the network than directly, and movies, music, and all of it are in one handy location. Install Rygel on your distro of choice and DLNA streaming sends all your media (transcoding included) to your favorite PS3, XBox, networked TV, or even your nifty networked DVD player. It can push media to 3 family computers, and our TV in the bedroom without breaking a sweat.

All in all, I think it cost me about $800, but prices have come down since then, and with 4x2TB drives, I have a total usable array of just over 7TB. So if you really need 8, make it 5x2TB or 3/4x3TB.

Everyone will say good hardware is important, but if you want truly reliable drives (corporate quality) you're looking at spending twice the price. More on higher capacity drives.

That's my input.


Mis mulle hetkel aga segaseks selle ZFS juures jääb, on see, et kas need n.ö pool'id vormindatakse linuxis lisaks veel mõne teise failisüsteemiga või toimub nende otsene mountimine süsteemi? Ehk igasugused arvamused ja teadmised ZFSi ja linuxi koosluse kohta teretulnud.


Oracle Solaris ZFS AdministrationGuide


illukas
Vana Pingviin
Vana Pingviin


Vanus: 39
Liitunud: 24.10.2006
Postitused: 2036


norway.gif
postituspostitatud: 20.10.2010, 12:41  postituse pealkiri:  (teema puudub)  

raid lahendusi on ka mitmeid, põhjusedki erinevad, kord vea kord kiiruse pärast...
Linuxile täitsa olemas zfs-i tugi, kuid toores veel, produktsiooniks ei soovita kasutada...
Mina ootaks natuke veel... Korraliku raid5 ja min 1,2MTBF serveri ketaste vastu ei ole veel head rohtu...

PS
If a hardware RAID card dies, you lose all your data.
see lause on seal lollus, vähegi korralik raid kontroller oskab ilma lisa pingutusteta raidi massiivi uuesti ülesse korjata, 3ware näiteks teeb seda väga eduliselt

_________________
https://www.inlink.ee

imapi
Vana Pingviin
Vana Pingviin


Vanus: 39
Liitunud: 01.12.2005
Postitused: 567
Asukoht: Rakvere
Distributsioon: Mageia Cauldron
estonia.gif
postituspostitatud: 20.10.2010, 15:20  postituse pealkiri:  (teema puudub)  

zfs-fuse on juba mõnda aega olemas. Ise kasutan alates eelmise aasta lõpust kui zfs-fuse -ga on olemas dedup võimekus.
Kasutan seda serverite peal. Näiteks osalen projektis openstreetmap ja kaardi tile -de genereerimisel on block level deduplication funktsioon väga hea. Päris palju ruumi hoiab kokku aga samas kasutab ka märgatavalt protsessori aega. Üldiselt on jah tal päris palju võimalusi, millest ma enamusi ei kasuta Smile.
Tehes zpool -i pead sinna pool -i peale zfs -ga tegema ka eraldi kettad, mida siis saad mountida.

_________________
More than once my wife has asked why I don't do Windows, because that's where the money is. Why don't I just sell drugs or produce porn - there's money in those things, right?

Shadow
Vana Pingviin
Vana Pingviin


Vanus: 45
Liitunud: 16.07.2006
Postitused: 453

Distributsioon: Gentoo
estonia.gif
postituspostitatud: 12.08.2012, 11:07  postituse pealkiri:  (teema puudub)  

Kas ZFS asi edasi arenenud. Ja kuidas kodumasinas oleks. Failisysteemi rammi puhverdamine peaks olema ju hea idee? Kui mingi alates 8GB ram olemas. V6i on ikka serveri teema?

Et siis Linux ZFS -i peal...

_________________
Image

leio
Pingviini aktivist
Pingviini aktivist


Vanus: 35
Liitunud: 31.07.2007
Postitused: 126
Asukoht: Tallinn
Distributsioon: Gentoo Linux
estonia.gif
postituspostitatud: 13.08.2012, 18:48  postituse pealkiri:  (teema puudub)  

Shadow kirjutas:
Failisysteemi rammi puhverdamine peaks olema ju hea idee? Kui mingi alates 8GB ram olemas. V6i on ikka serveri teema?


Ma ei tea mida sa täpsemalt ZFS juures RAMmi puhverdamise all mõtled, aga seda teevad kõik failisüsteemid linuxis (ja ka mujal) ning seda pigem üldiselt block device tasemel, ehk ühises koodis kõigi failisüsteemide jaoks. Et kui vaba mälu on, siis jäetakse enim või hiljuti kasutatud sisu mällu, sest see on palju kiirem kui pärast uuesti kettalt lugeda.
"free" käsuga näiteks on "Buffers" tulp enamus või kõik selleks otstarbeks kasutatud RAM mälu. Kui muuks otstarbeks mälja vaja on, see lihtsalt siis lastakse lahti (vastavate algoritmidega, mis püüavad oletada mida lähiajal ilmselt vaja ei lähe uuesti kettalt), sest vajadusel saab uuesti kettalt kätte.

_________________
Gentoo Linux arendaja -- GNOME ja GStreamer - http://www.gentoo.org/

Shadow
Vana Pingviin
Vana Pingviin


Vanus: 45
Liitunud: 16.07.2006
Postitused: 453

Distributsioon: Gentoo
estonia.gif
postituspostitatud: 16.08.2012, 15:01  postituse pealkiri:  (teema puudub)  

ZFS -i kohta lugesin http://en.wikipedia.org/wiki/ZFS alagruppi ZFS cache: L2ARC, ZIL . Et see ei annaks linuxi peal siis midagi ? BSD kernel siis ei toimi nii ?

_________________
Image

leio
Pingviini aktivist
Pingviini aktivist


Vanus: 35
Liitunud: 31.07.2007
Postitused: 126
Asukoht: Tallinn
Distributsioon: Gentoo Linux
estonia.gif
postituspostitatud: 17.08.2012, 02:54  postituse pealkiri:  (teema puudub)  

Shadow kirjutas:
ZFS -i kohta lugesin http://en.wikipedia.org/wiki/ZFS alagruppi ZFS cache: L2ARC, ZIL . Et see ei annaks linuxi peal siis midagi ? BSD kernel siis ei toimi nii ?


Kahjuks ei tea võrrelda nende algoritmi selle ZFS omaga, samuti kas BSD'l midagi sellist on ja kuidas võrreldav.
Selle suurema aeglase ketta kiirema ketta peale cachemine (nagu SSD) rohkem kasutatavast sisust on viimasel ajal ka linuxile üldises plaanis tekkinud - märksõnadeks ehk bcache ja frontswap/cleancache/RAMster ja muuks mainline'i tilkuv "transcendent memory" infrastruktuur

_________________
Gentoo Linux arendaja -- GNOME ja GStreamer - http://www.gentoo.org/

illukas
Vana Pingviin
Vana Pingviin


Vanus: 39
Liitunud: 24.10.2006
Postitused: 2036


norway.gif
postituspostitatud: 29.08.2012, 18:14  postituse pealkiri:  (teema puudub)  

l2arc ja zili kasutamine/mittekasutamine sõltub ikka failisüsteemil olevate failide kasutuskarakteristikust... enamasti annavad juurde, kuid on olukordi kus ei anna midagi.
linuxi all on asi nati toores- kiirus kasin, soovitaks kasutada openindianat, see küll solarise baasil kuid kiirused on teist masti.

Samuti on arendusel http://zfsonlinux.org/
PS bsd peal on asi oluliselt paremal tasemel

_________________
https://www.inlink.ee

Näita (aja järgi):      
Postita uus teemaVasta teemale


Vaata järgmist teemat
Vaata eelmist teemat
Powered by phpBB2 Plus based on phpBB © 2001/7 phpBB Group