| Autor |
Sõnum |
akbgf
Vana Pingviin
Liitunud: 07.10.2009
Postitused: 763
Asukoht: Tõravere
Distributsioon: OpenSUSE, Ubuntu
|
 postitatud: 08.11.2013, 10:19 postituse pealkiri:
USB-ketta kiirus
|
   |
|
Kasutan USB-ketast varundamiseks ja mitte ei saa aru, miks selleks nii kaua aega kulub. Kasutan selleks rsync-i ja
mikes handy rotating-filesystem-snapshot utility
http://www.mikerubel.org/computers/rsync_snapshots/ modifitseeritud varianti.
Võib ju diskuteerida, et miks just niisugust, aga probleem on hoopis selles, et ühe WD 2T USB-2 kettale varukoopia tegemiseks kulub 2-3 tundi, Seagate 4T USB-3 kettale kümme-üksteist tundi kauem nii ketast USB-3 kui USB-2 sisendisse ühendades. Kogu varukoopia suurus on umbes 1T, aga päevane muutus mõistagi palju väiksem. Faile varukoopias umbes 1.2 miljonit.
lsusb -v väljundid on niisugused:
WD My Book 1111
| Kood: < Vali > < Laienda > | | Bus 001 Device 016: ID 1058:1111 Western Digital Technologies, Inc.
Device Descriptor:
bLength 18
bDescriptorType 1
bcdUSB 2.00
bDeviceClass 0 (Defined at Interface level)
bDeviceSubClass 0
bDeviceProtocol 0
bMaxPacketSize0 64
idVendor 0x1058 Western Digital Technologies, Inc.
idProduct 0x1111
bcdDevice 20.03
iManufacturer 1 Western Digital
iProduct 2 My Book 1111
iSerial 3 574341565934393235343036
bNumConfigurations 1
Configuration Descriptor:
bLength 9
bDescriptorType 2
wTotalLength 32
bNumInterfaces 1
bConfigurationValue 1
iConfiguration 0
bmAttributes 0xc0
Self Powered
MaxPower 2mA
Interface Descriptor:
bLength 9
bDescriptorType 4
bInterfaceNumber 0
bAlternateSetting 0
bNumEndpoints 2
bInterfaceClass 8 Mass Storage
bInterfaceSubClass 6 SCSI
bInterfaceProtocol 80 Bulk-Only
iInterface 0
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x81 EP 1 IN
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0200 1x 512 bytes
bInterval 0
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x02 EP 2 OUT
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0200 1x 512 bytes
bInterval 0
Device Qualifier (for other device speed):
bLength 10
bDescriptorType 6
bcdUSB 2.00
bDeviceClass 0 (Defined at Interface level)
bDeviceSubClass 0
bDeviceProtocol 0
bMaxPacketSize0 64
bNumConfigurations 1
Device Status: 0x0001
Self Powered |
Seagate RSS LLC USB-2 sisendis:
| Kood: < Vali > | | Bus 001 Device 017: ID 0bc2:a0a4 Seagate RSS LLC
Device Descriptor:
bLength 18
bDescriptorType 1
bcdUSB 2.10
bDeviceClass 0 (Defined at Interface level)
bDeviceSubClass 0
bDeviceProtocol 0
bMaxPacketSize0 64
idVendor 0x0bc2 Seagate RSS LLC
idProduct 0xa0a4
bcdDevice 1.00
iManufacturer 2 Seagate
iProduct 3 Backup+ Desk
iSerial 1 NA5K0LES
bNumConfigurations 1
Configuration Descriptor:
bLength 9
bDescriptorType 2
wTotalLength 85
bNumInterfaces 1
bConfigurationValue 1
iConfiguration 0
bmAttributes 0xc0
Self Powered
MaxPower 100mA
Interface Descriptor:
bLength 9
bDescriptorType 4
bInterfaceNumber 0
bAlternateSetting 0
bNumEndpoints 2
bInterfaceClass 8 Mass Storage
bInterfaceSubClass 6 SCSI
bInterfaceProtocol 80 Bulk-Only
iInterface 0
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x81 EP 1 IN
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0200 1x 512 bytes
bInterval 0
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x02 EP 2 OUT
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0200 1x 512 bytes
bInterval 0
Interface Descriptor:
bLength 9
bDescriptorType 4
bInterfaceNumber 0
bAlternateSetting 1
bNumEndpoints 4
bInterfaceClass 8 Mass Storage
bInterfaceSubClass 6 SCSI
bInterfaceProtocol 98
iInterface 0
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x81 EP 1 IN
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0200 1x 512 bytes
bInterval 0
Data-in pipe (0x03)
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x02 EP 2 OUT
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0200 1x 512 bytes
bInterval 0
Data-out pipe (0x04)
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x83 EP 3 IN
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0200 1x 512 bytes
bInterval 0
Status pipe (0x02)
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x04 EP 4 OUT
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0200 1x 512 bytes
bInterval 0
Command pipe (0x01)
Binary Object Store Descriptor:
bLength 5
bDescriptorType 15
wTotalLength 22
bNumDeviceCaps 2
USB 2.0 Extension Device Capability:
bLength 7
bDescriptorType 16
bDevCapabilityType 2
bmAttributes 0x00000002
Link Power Management (LPM) Supported
SuperSpeed USB Device Capability:
bLength 10
bDescriptorType 16
bDevCapabilityType 3
bmAttributes 0x00
wSpeedsSupported 0x000e
Device can operate at Full Speed (12Mbps)
Device can operate at High Speed (480Mbps)
Device can operate at SuperSpeed (5Gbps)
bFunctionalitySupport 1
Lowest fully-functional device speed is Full Speed (12Mbps)
bU1DevExitLat 10 micro seconds
bU2DevExitLat 2047 micro seconds
Device Status: 0x0001
Self Powered |
Seagate RSS LLC USB-3 sisendis:
| Kood: < Vali > | | Bus 003 Device 003: ID 0bc2:a0a4 Seagate RSS LLC
Device Descriptor:
bLength 18
bDescriptorType 1
bcdUSB 3.00
bDeviceClass 0 (Defined at Interface level)
bDeviceSubClass 0
bDeviceProtocol 0
bMaxPacketSize0 9
idVendor 0x0bc2 Seagate RSS LLC
idProduct 0xa0a4
bcdDevice 1.00
iManufacturer 2 Seagate
iProduct 3 Backup+ Desk
iSerial 1 NA5K0LES
bNumConfigurations 1
Configuration Descriptor:
bLength 9
bDescriptorType 2
wTotalLength 121
bNumInterfaces 1
bConfigurationValue 1
iConfiguration 0
bmAttributes 0xc0
Self Powered
MaxPower 36mA
Interface Descriptor:
bLength 9
bDescriptorType 4
bInterfaceNumber 0
bAlternateSetting 0
bNumEndpoints 2
bInterfaceClass 8 Mass Storage
bInterfaceSubClass 6 SCSI
bInterfaceProtocol 80 Bulk-Only
iInterface 0
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x81 EP 1 IN
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0400 1x 1024 bytes
bInterval 0
bMaxBurst 15
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x02 EP 2 OUT
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0400 1x 1024 bytes
bInterval 0
bMaxBurst 15
Interface Descriptor:
bLength 9
bDescriptorType 4
bInterfaceNumber 0
bAlternateSetting 1
bNumEndpoints 4
bInterfaceClass 8 Mass Storage
bInterfaceSubClass 6 SCSI
bInterfaceProtocol 98
iInterface 0
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x81 EP 1 IN
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0400 1x 1024 bytes
bInterval 0
bMaxBurst 15
MaxStreams 32
Data-in pipe (0x03)
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x02 EP 2 OUT
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0400 1x 1024 bytes
bInterval 0
bMaxBurst 15
MaxStreams 32
Data-out pipe (0x04)
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x83 EP 3 IN
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0400 1x 1024 bytes
bInterval 0
bMaxBurst 15
MaxStreams 32
Status pipe (0x02)
Endpoint Descriptor:
bLength 7
bDescriptorType 5
bEndpointAddress 0x04 EP 4 OUT
bmAttributes 2
Transfer Type Bulk
Synch Type None
Usage Type Data
wMaxPacketSize 0x0400 1x 1024 bytes
bInterval 0
bMaxBurst 0
Command pipe (0x01)
Binary Object Store Descriptor:
bLength 5
bDescriptorType 15
wTotalLength 22
bNumDeviceCaps 2
USB 2.0 Extension Device Capability:
bLength 7
bDescriptorType 16
bDevCapabilityType 2
bmAttributes 0x00000002
Link Power Management (LPM) Supported
SuperSpeed USB Device Capability:
bLength 10
bDescriptorType 16
bDevCapabilityType 3
bmAttributes 0x00
wSpeedsSupported 0x000e
Device can operate at Full Speed (12Mbps)
Device can operate at High Speed (480Mbps)
Device can operate at SuperSpeed (5Gbps)
bFunctionalitySupport 1
Lowest fully-functional device speed is Full Speed (12Mbps)
bU1DevExitLat 10 micro seconds
bU2DevExitLat 2047 micro seconds
Device Status: 0x0001
Self Powered |
OS on OpenSUSE-12.3, Linux 3.7.10-1.16-pae i686 i686 i386 GNU/Linux,
arvutiks Intel(R) Core(TM) i7-2600 CPU @ 3.40GHz.
Kas keegi oskab anda mõne vihje, milleks see aeg kulub?
'Load' on kogu aeg üle 2, samas protsessori kasutus väike.
E(16:05):
Tegin lihtsa kopeerimise, 13 faili, neist neli suured, üheksa väga väikesed, kokku 448M.
# time cp -a ...
real 6m13.639s
user 0m0.008s
sys 0m2.184s
Seega umbes 1.2 M/s.
Failisüsteem USB-kettal on ext3.
Mount parameetrid:
/dev/sdc1 on /mnt/backup type ext3 (rw,nosuid,nodev,noexec,relatime,sync,data=ordered)
|
|
|
|
|
|
|
   |
arti
Pingviini aktivist
Vanus: 29
Liitunud: 18.10.2011
Postitused: 114
Asukoht: Väike-Maarja
Distributsioon: Arch Linux
|
|
|
|
akbgf
Vana Pingviin
Liitunud: 07.10.2009
Postitused: 763
Asukoht: Tõravere
Distributsioon: OpenSUSE, Ubuntu
|
| postitatud: 09.11.2013, 21:51 postituse pealkiri:
(teema puudub)
|
|
|
> palju niisama dd käsuga kiirust kätte saad ? (see käsk kirjutab umbes 1GB jagu kraami kettale)
Päris palju saan:
# time dd if=/dev/zero of=/mnt/backup/tst/zero.bin bs=10M count=100
100+0 records in
100+0 records out
1048576000 bytes (1.0 GB) copied, 18.0616 s, 58.1 MB/s
real 0m18.348s
user 0m0.000s
sys 0m1.440s
Top näitas dd 7-8% CPU, 0.1% MEM
> võid proovida mõne uuema kerneliga kui on võimalik, 3.7 on juba
> suhteliselt vana kernel mis minuteada enam upstreamist uuendusi ei saa
Hm, septembri alguses installeerisin sellal 'current' stabiilse.
Repod on
openSUSE-12.3-1.7
openSUSE-12.3-Update, teisi muidugi ka.
Tuuma versiooni kohta ütleb yast, et uuemat pole, aga muutuste logi lõpeb tõesti 31. mail 2013.
Kopeerisin 257M faili sdb-lt sda-le:
# time cp ....
real 0m2.860s
user 0m0.004s
sys 0m0.228s
sda-lt USB-kettale:
# time cp suur /mnt/backup/tst
real 3m55.901s
user 0m0.008s
sys 0m1.260s
top näitab alla 1% CPU cp ja usb-storage,
aga 'load' on 2, xosview näitab enamasti CPU7 io-wait 100%.
> võid proovida ka mount optionied tweakida, näiteks midagi sellist:
> mount -o remount,defaults,rw,nosuid,nodev,noexec /mnt/backup
Sellega mount parameetrid ei muutunud, relatime ja data=ordered on ext3 vaikimisi parameetrid, ju vist sync ka.
Kopeerisin sama faili dd-ga. Kui bloki suurust ei andnud, siis ei jõudnud ära oodata, kümne minutiga sai 1.6% kopeeritud.
Suure blokiga:
# time dd if=/tmp/suur of=/mnt/backup/tst/suur bs=10M
25+1 records in
25+1 records out
268460752 bytes (268 MB) copied, 4.06943 s, 66.0 MB/s
Probleem näikse selles olevat, et cp ja rsync kasutavad väikseid blokke.
E (11.11.2013):
Tegin veel mõne proovi.
# time dd if=/dev/zero of=/mnt/backup/tst/zero.bin bs=100M count=10
1048576000 bytes (1.0 GB) copied, 11.764 s, 89.1 MB/s
# time dd if=/dev/zero of=/mnt/backup/tst/zero.bin bs=10M count=100
1048576000 bytes (1.0 GB) copied, 16.7582 s, 62.6 MB/s
# time dd if=/dev/zero of=/mnt/backup/tst/zero.bin bs=1M count=1000
1048576000 bytes (1.0 GB) copied, 68.0652 s, 15.4 MB/s
# time dd if=/dev/zero of=/mnt/backup/tst/zero.bin bs=100k count=10000
1024000000 bytes (1.0 GB) copied, 531.61 s, 1.9 MB/s
Ketta poole pöördumise aeg umbes 50 ms. Aeg kulub sinna, USB-3-l on kiirust küll.
Kas 50 ms on kettaseadme või OS-i probleem, ei oska arvata.
|
|
|
|
|
|
|
|
chris
Pingviini aktivist
Liitunud: 16.02.2009
Postitused: 146
Asukoht: Tallinn
Distributsioon: Debian 6.0/7.0
|
| postitatud: 12.11.2013, 00:41 postituse pealkiri:
(teema puudub)
|
|
|
No kinni istub I/O-s, siis on tavaliselt kaks varianti: surev riistvara või niru draiver.
Sureva riistvara saab välistada teise arvuti/op.-süsteemiga (kiire kopeerimine == korras riistvara).
Niru draiver on ainult asendatav uuemaga. Tavakasutaja võtab selleks kasutusele uusima kerneli; oskajam katsetab lisaks veel USB arendajate olevaid eksperimntaalseid draivereid.
|
|
|
|
|
|
|
|
akbgf
Vana Pingviin
Liitunud: 07.10.2009
Postitused: 763
Asukoht: Tõravere
Distributsioon: OpenSUSE, Ubuntu
|
| postitatud: 12.11.2013, 23:38 postituse pealkiri:
(teema puudub)
|
|
|
> No kinni istub I/O-s, siis on tavaliselt kaks varianti: surev riistvara või niru draiver.
Tuttuuel kettal on vara surra.
> Sureva riistvara saab välistada teise arvuti/op.-süsteemiga (kiire kopeerimine == korras riistvara).
See lihtne võimalus osutus raskemaks kui oleks arvanud. Leidsin USB-3-ga arvuti, mida sai korra proovimiseks kasutada - sellel oli mingi Debian 2.6 tuumaga, mis ei teadnud USB-3-st midagi. Teisel RH Enterprise Server, ka 2.6 tuumaga. Ühel uuel kobedal sülearvutil on USB-3 ja MSW, see ei osanud ext3-ga midagi peale hakata.
> Niru draiver on ainult asendatav uuemaga. Tavakasutaja võtab selleks kasutusele uusima kerneli; oskajam katsetab lisaks veel USB arendajate olevaid eksperimntaalseid draivereid.
Ega see niiväga selge ole, kuhu aeg võib kuluda, usb_storage on ainult interface USB-seadme ja SCSI vahel. Kuskil seal on veel usb_core. Keegi võrgus kurtis, et USB-ketas jäi aeglaseks Chaintechi emaplaadi mingi silla pärast - mul ka Chaintech. Mul pole vaba USB-3-ga arvutit, millel OS-e ja draivereid proovida. Tegin uue 3.9 tuumaga Knoppixi plaadi ja proovisin seda - käras küll. Ilmselt 'current' ja stabiilne SUSE (tuum 3.7.10) ei saa ikka USB-3-ga hakkama. Ei oska arvata, kui suurt rolli see mängib, et Knoppixil on kõik USB-moodulid tuuma sisse kompileeritud. SUSE kasutab oma jaoks kohandatud tuumi, ehk sellepärast on neil stabiilse distro tuumad eakamad, The Linux Kernel Archive pakub 3.12.
Kas kellelgi on SUSE 'tested factory'-ga kogemusi, kas selle võib tööarvutile panna? Factorys pakutakse tuuma 3.11.
Masin on 24/7 rakkes ja USB-3 ketta ostsin, et varundamisega hakkama saaks. Enne proovisin, et ära tundis, aga kiirusi ei testinud, uskusin spetsifikatsioone.
E (14.11.2013):
| chris kirjutas: < Vali > | | oskajam katsetab lisaks veel USB arendajate olevaid eksperimntaalseid draivereid. |
Proovisin lähtetekstist kompileeritud SUSE factory 3.11.6-5.1 usb-storage moodulit ja The Linux Kernel Archives 3.9.11 usb-storage moodulit.
Kumbagi ei saanud laadida. SUSE oma ütles, et Unknown symbol kmalloc_caches,
3.9.11 mooduli laadimine lõppes seg-faultiga ja [permanent] poolt kinni hoitava laetud usb_storage mooduliga, millega ei saa midagi teha, aga välja ka ei saa, et vana asemele panna.
Ei saa välja ei kinnihoidvat protsessi killides ega rmmod -f-ga.
E: 03.12.2013:
Vist lahendatud.
Mount
/dev/sdc1 on /mnt/backup type ext3 (rw,nosuid,nodev,noexec,relatime,sync,data=ordered)
sync teeb aeglaseks.
|
|
|
|
|
|
|
|
chris
Pingviini aktivist
Liitunud: 16.02.2009
Postitused: 146
Asukoht: Tallinn
Distributsioon: Debian 6.0/7.0
|
|
|
|
|
|
|
