USB-ketta kiirus

Linuxi ja raudvaraga seotud küsimused

Moderaator: Moderaatorid

Vasta
Kasutaja avatar
akbgf
Vana Pingviin
Vana Pingviin
Postitusi: 763
Liitunud: 07.10.2009, 09:04

USB-ketta kiirus

Postitus Postitas akbgf »

Kasutan USB-ketast varundamiseks ja mitte ei saa aru, miks selleks nii kaua aega kulub. Kasutan selleks rsync-i ja
mikes handy rotating-filesystem-snapshot utility
http://www.mikerubel.org/computers/rsync_snapshots/ modifitseeritud varianti.

Võib ju diskuteerida, et miks just niisugust, aga probleem on hoopis selles, et ühe WD 2T USB-2 kettale varukoopia tegemiseks kulub 2-3 tundi, Seagate 4T USB-3 kettale kümme-üksteist tundi kauem nii ketast USB-3 kui USB-2 sisendisse ühendades. Kogu varukoopia suurus on umbes 1T, aga päevane muutus mõistagi palju väiksem. Faile varukoopias umbes 1.2 miljonit.

lsusb -v väljundid on niisugused:

WD My Book 1111

Kood: Vali kõik

Bus 001 Device 016: ID 1058:1111 Western Digital Technologies, Inc. 
Device Descriptor:
  bLength                18
  bDescriptorType         1
  bcdUSB               2.00
  bDeviceClass            0 (Defined at Interface level)
  bDeviceSubClass         0 
  bDeviceProtocol         0 
  bMaxPacketSize0        64
  idVendor           0x1058 Western Digital Technologies, Inc.
  idProduct          0x1111 
  bcdDevice           20.03
  iManufacturer           1 Western Digital
  iProduct                2 My Book 1111
  iSerial                 3 574341565934393235343036
  bNumConfigurations      1
  Configuration Descriptor:
    bLength                 9
    bDescriptorType         2
    wTotalLength           32
    bNumInterfaces          1
    bConfigurationValue     1
    iConfiguration          0 
    bmAttributes         0xc0
      Self Powered
    MaxPower                2mA
    Interface Descriptor:
      bLength                 9
      bDescriptorType         4
      bInterfaceNumber        0
      bAlternateSetting       0
      bNumEndpoints           2
      bInterfaceClass         8 Mass Storage
      bInterfaceSubClass      6 SCSI
      bInterfaceProtocol     80 Bulk-Only
      iInterface              0 
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x81  EP 1 IN
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0200  1x 512 bytes
        bInterval               0
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x02  EP 2 OUT
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0200  1x 512 bytes
        bInterval               0
Device Qualifier (for other device speed):
  bLength                10
  bDescriptorType         6
  bcdUSB               2.00
  bDeviceClass            0 (Defined at Interface level)
  bDeviceSubClass         0 
  bDeviceProtocol         0 
  bMaxPacketSize0        64
  bNumConfigurations      1
Device Status:     0x0001
  Self Powered
Seagate RSS LLC USB-2 sisendis:

Kood: Vali kõik

Bus 001 Device 017: ID 0bc2:a0a4 Seagate RSS LLC 
Device Descriptor:
  bLength                18
  bDescriptorType         1
  bcdUSB               2.10
  bDeviceClass            0 (Defined at Interface level)
  bDeviceSubClass         0 
  bDeviceProtocol         0 
  bMaxPacketSize0        64
  idVendor           0x0bc2 Seagate RSS LLC
  idProduct          0xa0a4 
  bcdDevice            1.00
  iManufacturer           2 Seagate
  iProduct                3 Backup+ Desk
  iSerial                 1 NA5K0LES
  bNumConfigurations      1
  Configuration Descriptor:
    bLength                 9
    bDescriptorType         2
    wTotalLength           85
    bNumInterfaces          1
    bConfigurationValue     1
    iConfiguration          0 
    bmAttributes         0xc0
      Self Powered
    MaxPower              100mA
    Interface Descriptor:
      bLength                 9
      bDescriptorType         4
      bInterfaceNumber        0
      bAlternateSetting       0
      bNumEndpoints           2
      bInterfaceClass         8 Mass Storage
      bInterfaceSubClass      6 SCSI
      bInterfaceProtocol     80 Bulk-Only
      iInterface              0 
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x81  EP 1 IN
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0200  1x 512 bytes
        bInterval               0
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x02  EP 2 OUT
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0200  1x 512 bytes
        bInterval               0
    Interface Descriptor:
      bLength                 9
      bDescriptorType         4
      bInterfaceNumber        0
      bAlternateSetting       1
      bNumEndpoints           4
      bInterfaceClass         8 Mass Storage
      bInterfaceSubClass      6 SCSI
      bInterfaceProtocol     98 
      iInterface              0 
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x81  EP 1 IN
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0200  1x 512 bytes
        bInterval               0
        Data-in pipe (0x03)
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x02  EP 2 OUT
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0200  1x 512 bytes
        bInterval               0
        Data-out pipe (0x04)
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x83  EP 3 IN
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0200  1x 512 bytes
        bInterval               0
        Status pipe (0x02)
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x04  EP 4 OUT
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0200  1x 512 bytes
        bInterval               0
        Command pipe (0x01)
Binary Object Store Descriptor:
  bLength                 5
  bDescriptorType        15
  wTotalLength           22
  bNumDeviceCaps          2
  USB 2.0 Extension Device Capability:
    bLength                 7
    bDescriptorType        16
    bDevCapabilityType      2
    bmAttributes   0x00000002
      Link Power Management (LPM) Supported
  SuperSpeed USB Device Capability:
    bLength                10
    bDescriptorType        16
    bDevCapabilityType      3
    bmAttributes         0x00
    wSpeedsSupported   0x000e
      Device can operate at Full Speed (12Mbps)
      Device can operate at High Speed (480Mbps)
      Device can operate at SuperSpeed (5Gbps)
    bFunctionalitySupport   1
      Lowest fully-functional device speed is Full Speed (12Mbps)
    bU1DevExitLat          10 micro seconds
    bU2DevExitLat        2047 micro seconds
Device Status:     0x0001
  Self Powered

Seagate RSS LLC USB-3 sisendis:

Kood: Vali kõik

Bus 003 Device 003: ID 0bc2:a0a4 Seagate RSS LLC 
Device Descriptor:
  bLength                18
  bDescriptorType         1
  bcdUSB               3.00
  bDeviceClass            0 (Defined at Interface level)
  bDeviceSubClass         0 
  bDeviceProtocol         0 
  bMaxPacketSize0         9
  idVendor           0x0bc2 Seagate RSS LLC
  idProduct          0xa0a4 
  bcdDevice            1.00
  iManufacturer           2 Seagate
  iProduct                3 Backup+ Desk
  iSerial                 1 NA5K0LES
  bNumConfigurations      1
  Configuration Descriptor:
    bLength                 9
    bDescriptorType         2
    wTotalLength          121
    bNumInterfaces          1
    bConfigurationValue     1
    iConfiguration          0 
    bmAttributes         0xc0
      Self Powered
    MaxPower               36mA
    Interface Descriptor:
      bLength                 9
      bDescriptorType         4
      bInterfaceNumber        0
      bAlternateSetting       0
      bNumEndpoints           2
      bInterfaceClass         8 Mass Storage
      bInterfaceSubClass      6 SCSI
      bInterfaceProtocol     80 Bulk-Only
      iInterface              0 
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x81  EP 1 IN
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0400  1x 1024 bytes
        bInterval               0
        bMaxBurst              15
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x02  EP 2 OUT
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0400  1x 1024 bytes
        bInterval               0
        bMaxBurst              15
    Interface Descriptor:
      bLength                 9
      bDescriptorType         4
      bInterfaceNumber        0
      bAlternateSetting       1
      bNumEndpoints           4
      bInterfaceClass         8 Mass Storage
      bInterfaceSubClass      6 SCSI
      bInterfaceProtocol     98 
      iInterface              0 
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x81  EP 1 IN
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0400  1x 1024 bytes
        bInterval               0
        bMaxBurst              15
        MaxStreams             32
        Data-in pipe (0x03)
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x02  EP 2 OUT
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0400  1x 1024 bytes
        bInterval               0
        bMaxBurst              15
        MaxStreams             32
        Data-out pipe (0x04)
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x83  EP 3 IN
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0400  1x 1024 bytes
        bInterval               0
        bMaxBurst              15
        MaxStreams             32
        Status pipe (0x02)
      Endpoint Descriptor:
        bLength                 7
        bDescriptorType         5
        bEndpointAddress     0x04  EP 4 OUT
        bmAttributes            2
          Transfer Type            Bulk
          Synch Type               None
          Usage Type               Data
        wMaxPacketSize     0x0400  1x 1024 bytes
        bInterval               0
        bMaxBurst               0
        Command pipe (0x01)
Binary Object Store Descriptor:
  bLength                 5
  bDescriptorType        15
  wTotalLength           22
  bNumDeviceCaps          2
  USB 2.0 Extension Device Capability:
    bLength                 7
    bDescriptorType        16
    bDevCapabilityType      2
    bmAttributes   0x00000002
      Link Power Management (LPM) Supported
  SuperSpeed USB Device Capability:
    bLength                10
    bDescriptorType        16
    bDevCapabilityType      3
    bmAttributes         0x00
    wSpeedsSupported   0x000e
      Device can operate at Full Speed (12Mbps)
      Device can operate at High Speed (480Mbps)
      Device can operate at SuperSpeed (5Gbps)
    bFunctionalitySupport   1
      Lowest fully-functional device speed is Full Speed (12Mbps)
    bU1DevExitLat          10 micro seconds
    bU2DevExitLat        2047 micro seconds
Device Status:     0x0001
  Self Powered

OS on OpenSUSE-12.3, Linux 3.7.10-1.16-pae i686 i686 i386 GNU/Linux,
arvutiks Intel(R) Core(TM) i7-2600 CPU @ 3.40GHz.

Kas keegi oskab anda mõne vihje, milleks see aeg kulub?
'Load' on kogu aeg üle 2, samas protsessori kasutus väike.

E(16:05):
Tegin lihtsa kopeerimise, 13 faili, neist neli suured, üheksa väga väikesed, kokku 448M.

# time cp -a ...
real 6m13.639s
user 0m0.008s
sys 0m2.184s

Seega umbes 1.2 M/s.
Failisüsteem USB-kettal on ext3.
Mount parameetrid:
/dev/sdc1 on /mnt/backup type ext3 (rw,nosuid,nodev,noexec,relatime,sync,data=ordered)
Üles
Kasutaja avatar
arti
Pingviini aktivist
Pingviini aktivist
Postitusi: 114
Liitunud: 18.10.2011, 00:17

Postitus Postitas arti »

palju niisama dd käsuga kiirust kätte saad ? (see käsk kirjutab umbes 1GB jagu kraami kettale)

Kood: Vali kõik

dd if=/dev/zero of=/mnt/backup/write_test bs=4096 count=256K
dd käsu ajal võid kudagil teises terminalis top käsu lahti hoida ja vaadata palju kernel cpu aega ära kasutab, vb usb3 draiverid kehvad

võid proovida mõne uuema kerneliga kui on võimalik, 3.7 on juba suhteliselt vana kernel mis minuteada enam upstreamist uuendusi ei saa

võid proovida ka mount optionied tweakida, näiteks midagi sellist:

Kood: Vali kõik

sudo mount -o remount,defaults,rw,nosuid,nodev,noexec /mnt/backup
Üles
Kasutaja avatar
akbgf
Vana Pingviin
Vana Pingviin
Postitusi: 763
Liitunud: 07.10.2009, 09:04

Postitus Postitas akbgf »

> palju niisama dd käsuga kiirust kätte saad ? (see käsk kirjutab umbes 1GB jagu kraami kettale)

Päris palju saan:
# time dd if=/dev/zero of=/mnt/backup/tst/zero.bin bs=10M count=100
100+0 records in
100+0 records out
1048576000 bytes (1.0 GB) copied, 18.0616 s, 58.1 MB/s
real 0m18.348s
user 0m0.000s
sys 0m1.440s

Top näitas dd 7-8% CPU, 0.1% MEM


> võid proovida mõne uuema kerneliga kui on võimalik, 3.7 on juba
> suhteliselt vana kernel mis minuteada enam upstreamist uuendusi ei saa

Hm, septembri alguses installeerisin sellal 'current' stabiilse.
Repod on
openSUSE-12.3-1.7
openSUSE-12.3-Update, teisi muidugi ka.

Tuuma versiooni kohta ütleb yast, et uuemat pole, aga muutuste logi lõpeb tõesti 31. mail 2013.


Kopeerisin 257M faili sdb-lt sda-le:
# time cp ....
real 0m2.860s
user 0m0.004s
sys 0m0.228s

sda-lt USB-kettale:
# time cp suur /mnt/backup/tst
real 3m55.901s
user 0m0.008s
sys 0m1.260s

top näitab alla 1% CPU cp ja usb-storage,
aga 'load' on 2, xosview näitab enamasti CPU7 io-wait 100%.


> võid proovida ka mount optionied tweakida, näiteks midagi sellist:
> mount -o remount,defaults,rw,nosuid,nodev,noexec /mnt/backup

Sellega mount parameetrid ei muutunud, relatime ja data=ordered on ext3 vaikimisi parameetrid, ju vist sync ka.

Kopeerisin sama faili dd-ga. Kui bloki suurust ei andnud, siis ei jõudnud ära oodata, kümne minutiga sai 1.6% kopeeritud.

Suure blokiga:

# time dd if=/tmp/suur of=/mnt/backup/tst/suur bs=10M
25+1 records in
25+1 records out
268460752 bytes (268 MB) copied, 4.06943 s, 66.0 MB/s

Probleem näikse selles olevat, et cp ja rsync kasutavad väikseid blokke.


E (11.11.2013):
Tegin veel mõne proovi.

# time dd if=/dev/zero of=/mnt/backup/tst/zero.bin bs=100M count=10
1048576000 bytes (1.0 GB) copied, 11.764 s, 89.1 MB/s

# time dd if=/dev/zero of=/mnt/backup/tst/zero.bin bs=10M count=100
1048576000 bytes (1.0 GB) copied, 16.7582 s, 62.6 MB/s

# time dd if=/dev/zero of=/mnt/backup/tst/zero.bin bs=1M count=1000
1048576000 bytes (1.0 GB) copied, 68.0652 s, 15.4 MB/s

# time dd if=/dev/zero of=/mnt/backup/tst/zero.bin bs=100k count=10000
1024000000 bytes (1.0 GB) copied, 531.61 s, 1.9 MB/s

Ketta poole pöördumise aeg umbes 50 ms. Aeg kulub sinna, USB-3-l on kiirust küll.
Kas 50 ms on kettaseadme või OS-i probleem, ei oska arvata.
Üles
chris
Pingviini aktivist
Pingviini aktivist
Postitusi: 146
Liitunud: 16.02.2009, 17:39

Postitus Postitas chris »

No kinni istub I/O-s, siis on tavaliselt kaks varianti: surev riistvara või niru draiver.
Sureva riistvara saab välistada teise arvuti/op.-süsteemiga (kiire kopeerimine == korras riistvara).
Niru draiver on ainult asendatav uuemaga. Tavakasutaja võtab selleks kasutusele uusima kerneli; oskajam katsetab lisaks veel USB arendajate olevaid eksperimntaalseid draivereid.
Üles
Kasutaja avatar
akbgf
Vana Pingviin
Vana Pingviin
Postitusi: 763
Liitunud: 07.10.2009, 09:04

Postitus Postitas akbgf »

> No kinni istub I/O-s, siis on tavaliselt kaks varianti: surev riistvara või niru draiver.

Tuttuuel kettal on vara surra.

> Sureva riistvara saab välistada teise arvuti/op.-süsteemiga (kiire kopeerimine == korras riistvara).

See lihtne võimalus osutus raskemaks kui oleks arvanud. Leidsin USB-3-ga arvuti, mida sai korra proovimiseks kasutada - sellel oli mingi Debian 2.6 tuumaga, mis ei teadnud USB-3-st midagi. Teisel RH Enterprise Server, ka 2.6 tuumaga. Ühel uuel kobedal sülearvutil on USB-3 ja MSW, see ei osanud ext3-ga midagi peale hakata.

> Niru draiver on ainult asendatav uuemaga. Tavakasutaja võtab selleks kasutusele uusima kerneli; oskajam katsetab lisaks veel USB arendajate olevaid eksperimntaalseid draivereid.

Ega see niiväga selge ole, kuhu aeg võib kuluda, usb_storage on ainult interface USB-seadme ja SCSI vahel. Kuskil seal on veel usb_core. Keegi võrgus kurtis, et USB-ketas jäi aeglaseks Chaintechi emaplaadi mingi silla pärast - mul ka Chaintech. Mul pole vaba USB-3-ga arvutit, millel OS-e ja draivereid proovida. Tegin uue 3.9 tuumaga Knoppixi plaadi ja proovisin seda - käras küll. Ilmselt 'current' ja stabiilne SUSE (tuum 3.7.10) ei saa ikka USB-3-ga hakkama. Ei oska arvata, kui suurt rolli see mängib, et Knoppixil on kõik USB-moodulid tuuma sisse kompileeritud. SUSE kasutab oma jaoks kohandatud tuumi, ehk sellepärast on neil stabiilse distro tuumad eakamad, The Linux Kernel Archive pakub 3.12.

Kas kellelgi on SUSE 'tested factory'-ga kogemusi, kas selle võib tööarvutile panna? Factorys pakutakse tuuma 3.11.
Masin on 24/7 rakkes ja USB-3 ketta ostsin, et varundamisega hakkama saaks. Enne proovisin, et ära tundis, aga kiirusi ei testinud, uskusin spetsifikatsioone.


E (14.11.2013):
chris kirjutas:oskajam katsetab lisaks veel USB arendajate olevaid eksperimntaalseid draivereid.
Proovisin lähtetekstist kompileeritud SUSE factory 3.11.6-5.1 usb-storage moodulit ja The Linux Kernel Archives 3.9.11 usb-storage moodulit.
Kumbagi ei saanud laadida. SUSE oma ütles, et Unknown symbol kmalloc_caches,
3.9.11 mooduli laadimine lõppes seg-faultiga ja [permanent] poolt kinni hoitava laetud usb_storage mooduliga, millega ei saa midagi teha, aga välja ka ei saa, et vana asemele panna.
Ei saa välja ei kinnihoidvat protsessi killides ega rmmod -f-ga.


E: 03.12.2013:

Vist lahendatud.

Mount
/dev/sdc1 on /mnt/backup type ext3 (rw,nosuid,nodev,noexec,relatime,sync,data=ordered)

sync teeb aeglaseks.
Üles
chris
Pingviini aktivist
Pingviini aktivist
Postitusi: 146
Liitunud: 16.02.2009, 17:39

Postitus Postitas chris »

akbgf kirjutas:Mount
/dev/sdc1 on /mnt/backup type ext3 (rw,nosuid,nodev,noexec,relatime,sync,data=ordered)

sync teeb aeglaseks.
Teeb tõesti.
Üles
Vasta

Mine “Linux - raud”