| Autor |
Sõnum |
akbgf
Vana Pingviin
Liitunud: 07.10.2009
Postitused: 763
Asukoht: Tõravere
Distributsioon: OpenSUSE, Ubuntu
|
|
Tere!
Hommikul kuulsin uudistest, et eile ei jõudnud valimistulemused tele-ekraanile poolteise tunni kestel sellepärast, et vabavaraline andmebaasiserver ei suutnud korraga nii palju andmeid vastu võtta.
Kas keegi teab midagi lähemalt?
|
|
|
|
|
|
|
   |
imre
Vana Pingviin
Liitunud: 16.08.2005
Postitused: 2648
Asukoht: Saku kant
Distributsioon: Ubuntu
|
|
VVK koostööpartneri koduleht ütleb, et:
We build web applications mainly on MySQL and Oracle databases but have also used PostgreSQL, MSSQL and Sybase database engines in our pojects.
|
|
|
|
_________________
Enne teema püstitamist kasutage OTSINGUT
Küsi targalt: Infot siit!
Kui aru ei saa, siis küsi.
|
|
|
|
imapi
Vana Pingviin
Vanus: 45
Liitunud: 01.12.2005
Postitused: 567
Asukoht: Rakvere
Distributsioon: Mageia Cauldron
|
|
| Helmes oleks võinud valida mingi muu vabanduse, kui et "viga oli andmebaasis", ei taha seda kuidagi uskuda, eriti veel peale seda kui nad ise selle vea ära parandasid. Ma ise jooksutan eestis sellist projekti nagu openstreetmap, mille baasi suurus on 150G, kogu andmebaasi import kestab 24 tundi ja pole siiani mingeid vigu tuvastanud "andmebaasi mootoris".
|
|
|
|
_________________
More than once my wife has asked why I don't do Windows, because that's where the money is. Why don't I just sell drugs or produce porn - there's money in those things, right?
|
|
|
 |
spott
Admin
Vanus: 44
Liitunud: 04.06.2005
Postitused: 8863
Distributsioon: Ubuntu
|
|
| imre kirjutas: | | VVK koostööpartneri koduleht ütleb, et:
We build web applications mainly on MySQL and Oracle databases but have also used PostgreSQL, MSSQL and Sybase database engines in our pojects. |
pigem tekib probleem ikka selles "gemüüses" - kui selline asi ka valmisrakendustesse oli sisse ehitatud. Ja sisetunne ütleb, et oli. Ehk - erinevatest baasidest impordid, ekspordid jne.
|
|
|
|
_________________
Tellige endale sünnipäevaks, sõbrapäevaks või muuks tähtpäevaks kingitus: Kingitused internetist - NetiKink.eu
|
|
|
|
gorm
Pingviini kasutaja
Vanus: 47
Liitunud: 12.06.2006
Postitused: 53
Asukoht: Tartu
Distributsioon: Gentoo, (K)ubuntu
|
|
Probleem polnud andmete vastuvõtmisega - see töötas kuulu järgi hästi. Probleem oli nende andmete kätte saamisega. Ilmselt polnud testimisel läbi töötatud stsenaariumi, kus täiesti tühja baasi kantakse paari tunni jooksul pool miljonit kirjet ja samal ajal tehakse sellelt ka päringuid.
Rõhk on just sellel, et DB oli alguses tühi. Seetõttu ei osanud ka DB korralikku päringuplaani teha - andmed sai küll kätte (Facebook, Twitter) aga päring võttis tõenäoliselt aega minuteid. Ja siis nad ootasidki, millal PG autovacuum oleks käivitanud ANALYZE käsu selle asemel, et see käsk käsitsi käivitada.
|
|
|
|
|
|
|
|
imapi
Vana Pingviin
Vanus: 45
Liitunud: 01.12.2005
Postitused: 567
Asukoht: Rakvere
Distributsioon: Mageia Cauldron
|
|
| Hmm kui andmebaasis oleks iga hääletamas käinud inimese kohta üks sissekanne oleks seal olnud siis ligikaudu 600 000 rida + siis veel 200 000 elektrooniliselt hääletanud ja eelhääletanud. Baas regenereerib indexid tavaliselt peale igat inserti ja 800 000 rida Postgre baasile ei ole küll mitte mingi näitaja ei taha uskuda ka et mingi lahja riistvara oleks all olnud. Aga jah see on mu väga üldine mõttekäik ...
|
|
|
|
_________________
More than once my wife has asked why I don't do Windows, because that's where the money is. Why don't I just sell drugs or produce porn - there's money in those things, right?
|
|
|
|
gorm
Pingviini kasutaja
Vanus: 47
Liitunud: 12.06.2006
Postitused: 53
Asukoht: Tartu
Distributsioon: Gentoo, (K)ubuntu
|
|
| imapi kirjutas: | | Hmm kui andmebaasis oleks iga hääletamas käinud inimese kohta üks sissekanne oleks seal olnud siis ligikaudu 600 000 rida + siis veel 200 000 elektrooniliselt hääletanud ja eelhääletanud. Baas regenereerib indexid tavaliselt peale igat inserti ja 800 000 rida Postgre baasile ei ole küll mitte mingi näitaja ei taha uskuda ka et mingi lahja riistvara oleks all olnud. Aga jah see on mu väga üldine mõttekäik ... |
575 014 on kõigi häälte koguarv. E-hääled on seal sees. Probleem on selles, et DB otsustab ise, kas ja mis indekseid päringul kasutada. Peaaegu tühja tabeli peal on indeksi kasutamine aeglasem kui tabelile full scan teha. Tabeli analüüsimine annab DBle infot, et kuidaspidi päringuid efektiivsem teha on. Kui analüüsitulemus on tühja tabeli pealt saadud aga andmeid on vahepeal juurde tulnud siis tehaksegi päringud mitteoptimaalselt.
|
|
|
|
|
|
|
|
imapi
Vana Pingviin
Vanus: 45
Liitunud: 01.12.2005
Postitused: 567
Asukoht: Rakvere
Distributsioon: Mageia Cauldron
|
|
Nojah, ma muidugi ei ole nii postgre guru, et võiks väga vaielda  aga siiski ma ei näe, et andmebaas oleks asjas süüdi olnud, kui ta valesti oli seadistatud. Kuidagi väga lühinägelik on seadistada andmebaasi tühjade tabelite järgi.
|
|
|
|
_________________
More than once my wife has asked why I don't do Windows, because that's where the money is. Why don't I just sell drugs or produce porn - there's money in those things, right?
|
|
|
|
gorm
Pingviini kasutaja
Vanus: 47
Liitunud: 12.06.2006
Postitused: 53
Asukoht: Tartu
Distributsioon: Gentoo, (K)ubuntu
|
|
Ega ma ise ka pole postgresi guru.
Seda jama oleks muidugi saanud vältida aga see oleks eeldanud teadmist, et selline probleem võib tekkida. Oleks ju saanud ka koodis päringut nii kirjutada, et indekseid kindlasti kasutatakse (see pole jällegi ilus stiil muidugi).
Aga minu versioon on muidugi ka puhas spekulatsioon sest otsest tehnilist veakirjeldust pole arendajad öelnud.
|
|
|
|
|
|
|
|
imapi
Vana Pingviin
Vanus: 45
Liitunud: 01.12.2005
Postitused: 567
Asukoht: Rakvere
Distributsioon: Mageia Cauldron
|
|
| gorm kirjutas: | | Ega ma ise ka pole postgresi guru. |
Kahju mul oleks vaja üht
|
|
|
|
_________________
More than once my wife has asked why I don't do Windows, because that's where the money is. Why don't I just sell drugs or produce porn - there's money in those things, right?
|
|
|
|
akbgf
Vana Pingviin
Liitunud: 07.10.2009
Postitused: 763
Asukoht: Tõravere
Distributsioon: OpenSUSE, Ubuntu
|
|
| imapi kirjutas: | | Hmm kui andmebaasis oleks iga hääletamas käinud inimese kohta üks sissekanne ... |
Ega siis kirjed pole iga hääletaja kohta.
Ikka iga kandidaadi kohta ja muutmissoovid said tulla ainult valimisjaoskondadest sedamööda,
kuidas ükski jaoskond oma hääled loetud sai.
Neid jaoskondi oli vist veidi peale kuuesaja.
Edit:
789 kandidaati ja 625 jaoskonda.
Ja see tekitas ülekoormuse ???
|
|
|
|
|
|
|
|
veeall
Pingviini aktivist
Vanus: 51
Liitunud: 27.09.2006
Postitused: 264
Distributsioon: Slackware64 14.2
|
|
Aga kui keegi oleks tahtnud protsente modida, kas siis oleks ka jooksvalt ilma katkestuseta hakkama saanud?
Milline kontrollmehanism seal üldse kindlustab, et antud häääled läheksid õige erakonna kirja?
Ei taha paranoiline olla, aga olen ikka. Uudistes kõlas selgitus küll nagu laste kõrvadele: "maailmas on palju huvitavat" jne.
|
|
|
|
|
|
|
|
juhan_k
Pingviini aktivist
Liitunud: 29.03.2010
Postitused: 127
Distributsioon: Kubuntu 12.10
|
|
| akbgf kirjutas: | |
789 kandidaati ja 625 jaoskonda.
Ja see tekitas ülekoormuse ??? |
Nii palju nagu ma aru olen saanud tekitas jama olukord kui korraga hakkas saabuma paljudelt valimisjoskondadelt tulemusi samaaegselt ja seda ei suudetud veebi jooksvalt välja panna. Paistab digiretseptiga analoogne olukord.
Esimesed 133 valimisjaoskonda, e-hääled ja suurem osa eelhääli tulid ju kergelt läbi. Valimistel tüüpiliselt saavad kiiremini tulemused teada väikesed maal asuvad jaoskonnad.
|
|
|
|
|
|
|
|
erku
Vana Pingviin
Vanus: 55
Liitunud: 12.09.2008
Postitused: 560
Asukoht: Tallinn, Järvamaa
Distributsioon: Mint/Debian _32bit
|
|
Juhtusin ka kuulama raadiost seda reporterite küsitlust.
Üks rääkis pikalt ka sellest admete üleküllusest ja ...
Teine ütles küsimusele vastates, et tegemist on vabavaraga ja süüdistada pole kedagi; ...
E: tegelikult oleks võinud kohe öelda välja et see ongi nii ja peabki olema; kogulugu. Ma ei saagi aru, milleks hakati vabandusi ja põhjendusi otsima.
|
|
|
|
_________________
Mõttetera: Kui tarkvara ei meeldi või ei sobi, tuleb valida teine tarkvara.
|
|
|
|
illukas
Vana Pingviin
Vanus: 45
Liitunud: 24.10.2006
Postitused: 2036
|
|
See on umbes samahea vabandus, etkui takngid bensiiniautosse diislit ja pärast tuled vinguma, et näe krt sitt auto ei tööta enam- mis auto te mulle müüsite
Ei ole süüdi mitte vabavara vaid sellega ebaproffessionaalselt ümberkäiad
Vahet ei ole kuidas võtta see 789 kandidaati on väga väike nummer ja selle peaks ta ikka ära kannatama, postgre kannatab päris suuri baase räägime ikka 100GB mitte mingist alla tuhandete kirjete, kus koormus on marginaalne
Oskamatus ja ettenägematus on selle asja nimi
|
|
|
|
_________________
https://www.inlink.ee
|
|
|
|
sander85
Vana Pingviin
Vanus: 40
Liitunud: 08.08.2005
Postitused: 4359
Asukoht: Tallinn (vahel ka Virtsu)
Distributsioon: Mageia, Debian, CentOS
|
|
|
|
gorm
Pingviini kasutaja
Vanus: 47
Liitunud: 12.06.2006
Postitused: 53
Asukoht: Tartu
Distributsioon: Gentoo, (K)ubuntu
|
|
| akbgf kirjutas: | |
Edit:
789 kandidaati ja 625 jaoskonda.
Ja see tekitas ülekoormuse ??? |
Nende vahel on M-N suhe seega on seal vahepeal veel üks tabel, kuhu tuli hästi laias laastus kandidaatide arv * jaoskondade arv / piirkondade arv kirjet. Ehk 789*625/12 = u. 40k rida.
Oluline on aga suhe: päringute arv sekundis / ühe päringu aeg. Arvestada tuleb seda, et valimiste õhtul istub suur hulk inimesi vvk lehel ja iga paari minuti tagant tehakse refresh. Isegi kui üks päring võtaks aega 0,1 sekundit, võib see liiga aeglaseks jääda.
|
|
|
|
|
|
|
|
sander85
Vana Pingviin
Vanus: 40
Liitunud: 08.08.2005
Postitused: 4359
Asukoht: Tallinn (vahel ka Virtsu)
Distributsioon: Mageia, Debian, CentOS
|
|
| valimistulemusi kuvati HTMLina, dünaamilise sisu kallale valija ei pääsenud.. nii et koormus nendest päringutest on olematu.. ka oli terve õhtu väline server ju kiirelt kättesaadav, lihtsalt uut HTMLi enam ei suudetud genereerida..
|
|
|
|
_________________
  
|
|
|
|
erku
Vana Pingviin
Vanus: 55
Liitunud: 12.09.2008
Postitused: 560
Asukoht: Tallinn, Järvamaa
Distributsioon: Mint/Debian _32bit
|
|
Mäletamist mööda, aastate eest Tallinnas, ei peetud arvutivõrkudega tegelevates firmades Helmese nime mainimist heaks tavaks.
Huvitav on ka see, et neid "pauke" juhtus neil ikka, suuremaid-väiksemaid. Solkisid turgu oma hindade ja seejärel kehva ebakvaliteetse töö, oskamatuse ja puudujääkidega. Riigipiruka kallal on nad eluaeg olnud; isegi siis jäeti nad piruka kallale, kui teised firmad peale konkursi lõppu viisid paberil tõestuse/pretensiooni/noodi et nii see asi pole lihtsalt võimalik; ja ikkagi jäi Helmes.
Mõelge nüüd ise miks; ega palju variante vist ei ole.
Ja nüüd, aastaid hiljem, imesta- ikka sama jama.
http://www.epl.ee/artikkel/593885
"VVK nõuab Helmeselt välja 8503-eurose trahvi"; aga kui nii siis: kas vähevõitu pole?
|
|
|
|
_________________
Mõttetera: Kui tarkvara ei meeldi või ei sobi, tuleb valida teine tarkvara.
|
|
|
|
qwert
Pingviini külastaja
Liitunud: 21.08.2010
Postitused: 19
|
|
|
|
|
|
