Portaal Portaal Pingviini veeb foorumi pealeht
  Viki  |  IRC  |  Otsing  |  Küsimused ja vastused  |  Profiil  |  Privaatsõnumite vaatamiseks logi sisse  | Logi sisse või Registreeru
<empty>
Vaata järgmist teemat
Vaata eelmist teemat

Postita uus teemaVasta teemale
Autor Sõnum
akbgf
Vana Pingviin
Vana Pingviin



Liitunud: 07.10.2009
Postitused: 763
Asukoht: Tõravere
Distributsioon: OpenSUSE, Ubuntu
estonia.gif
postituspostitatud: 07.03.2011, 08:54  postituse pealkiri:  Vabavaraline andmebaas ja valimised  

Tere!

Hommikul kuulsin uudistest, et eile ei jõudnud valimistulemused tele-ekraanile poolteise tunni kestel sellepärast, et vabavaraline andmebaasiserver ei suutnud korraga nii palju andmeid vastu võtta.

Kas keegi teab midagi lähemalt?


imre
Vana Pingviin
Vana Pingviin



Liitunud: 16.08.2005
Postitused: 2648
Asukoht: Saku kant
Distributsioon: Ubuntu
estonia.gif
postituspostitatud: 07.03.2011, 09:45  postituse pealkiri:  (teema puudub)  

VVK koostööpartneri koduleht ütleb, et:
We build web applications mainly on MySQL and Oracle databases but have also used PostgreSQL, MSSQL and Sybase database engines in our pojects.

_________________
Enne teema püstitamist kasutage OTSINGUT
Küsi targalt: Infot siit!
Kui aru ei saa, siis küsi.

imapi
Vana Pingviin
Vana Pingviin


Vanus: 44
Liitunud: 01.12.2005
Postitused: 567
Asukoht: Rakvere
Distributsioon: Mageia Cauldron
estonia.gif
postituspostitatud: 07.03.2011, 10:07  postituse pealkiri:  (teema puudub)  

Helmes oleks võinud valida mingi muu vabanduse, kui et "viga oli andmebaasis", ei taha seda kuidagi uskuda, eriti veel peale seda kui nad ise selle vea ära parandasid. Ma ise jooksutan eestis sellist projekti nagu openstreetmap, mille baasi suurus on 150G, kogu andmebaasi import kestab 24 tundi ja pole siiani mingeid vigu tuvastanud "andmebaasi mootoris".

_________________
More than once my wife has asked why I don't do Windows, because that's where the money is. Why don't I just sell drugs or produce porn - there's money in those things, right?

spott
Admin
Admin


Vanus: 43
Liitunud: 04.06.2005
Postitused: 8853

Distributsioon: Ubuntu
estonia.gif
postituspostitatud: 07.03.2011, 10:35  postituse pealkiri:  (teema puudub)  

imre kirjutas:
VVK koostööpartneri koduleht ütleb, et:
We build web applications mainly on MySQL and Oracle databases but have also used PostgreSQL, MSSQL and Sybase database engines in our pojects.

pigem tekib probleem ikka selles "gemüüses" - kui selline asi ka valmisrakendustesse oli sisse ehitatud. Ja sisetunne ütleb, et oli. Ehk - erinevatest baasidest impordid, ekspordid jne.

_________________
Tellige endale sünnipäevaks, sõbrapäevaks või muuks tähtpäevaks kingitus: Kingitused internetist - NetiKink.eu

gorm
Pingviini kasutaja
Pingviini kasutaja


Vanus: 46
Liitunud: 12.06.2006
Postitused: 53
Asukoht: Tartu
Distributsioon: Gentoo, (K)ubuntu
estonia.gif
postituspostitatud: 07.03.2011, 10:39  postituse pealkiri:  Spekulatsioon  

Probleem polnud andmete vastuvõtmisega - see töötas kuulu järgi hästi. Probleem oli nende andmete kätte saamisega. Ilmselt polnud testimisel läbi töötatud stsenaariumi, kus täiesti tühja baasi kantakse paari tunni jooksul pool miljonit kirjet ja samal ajal tehakse sellelt ka päringuid.
Rõhk on just sellel, et DB oli alguses tühi. Seetõttu ei osanud ka DB korralikku päringuplaani teha - andmed sai küll kätte (Facebook, Twitter) aga päring võttis tõenäoliselt aega minuteid. Ja siis nad ootasidki, millal PG autovacuum oleks käivitanud ANALYZE käsu selle asemel, et see käsk käsitsi käivitada.


imapi
Vana Pingviin
Vana Pingviin


Vanus: 44
Liitunud: 01.12.2005
Postitused: 567
Asukoht: Rakvere
Distributsioon: Mageia Cauldron
estonia.gif
postituspostitatud: 07.03.2011, 10:47  postituse pealkiri:  (teema puudub)  

Hmm kui andmebaasis oleks iga hääletamas käinud inimese kohta üks sissekanne oleks seal olnud siis ligikaudu 600 000 rida + siis veel 200 000 elektrooniliselt hääletanud ja eelhääletanud. Baas regenereerib indexid tavaliselt peale igat inserti ja 800 000 rida Postgre baasile ei ole küll mitte mingi näitaja ei taha uskuda ka et mingi lahja riistvara oleks all olnud. Aga jah see on mu väga üldine mõttekäik ...

_________________
More than once my wife has asked why I don't do Windows, because that's where the money is. Why don't I just sell drugs or produce porn - there's money in those things, right?

gorm
Pingviini kasutaja
Pingviini kasutaja


Vanus: 46
Liitunud: 12.06.2006
Postitused: 53
Asukoht: Tartu
Distributsioon: Gentoo, (K)ubuntu
estonia.gif
postituspostitatud: 07.03.2011, 11:10  postituse pealkiri:  (teema puudub)  

imapi kirjutas:
Hmm kui andmebaasis oleks iga hääletamas käinud inimese kohta üks sissekanne oleks seal olnud siis ligikaudu 600 000 rida + siis veel 200 000 elektrooniliselt hääletanud ja eelhääletanud. Baas regenereerib indexid tavaliselt peale igat inserti ja 800 000 rida Postgre baasile ei ole küll mitte mingi näitaja ei taha uskuda ka et mingi lahja riistvara oleks all olnud. Aga jah see on mu väga üldine mõttekäik ...


575 014 on kõigi häälte koguarv. E-hääled on seal sees. Probleem on selles, et DB otsustab ise, kas ja mis indekseid päringul kasutada. Peaaegu tühja tabeli peal on indeksi kasutamine aeglasem kui tabelile full scan teha. Tabeli analüüsimine annab DBle infot, et kuidaspidi päringuid efektiivsem teha on. Kui analüüsitulemus on tühja tabeli pealt saadud aga andmeid on vahepeal juurde tulnud siis tehaksegi päringud mitteoptimaalselt.


imapi
Vana Pingviin
Vana Pingviin


Vanus: 44
Liitunud: 01.12.2005
Postitused: 567
Asukoht: Rakvere
Distributsioon: Mageia Cauldron
estonia.gif
postituspostitatud: 07.03.2011, 11:15  postituse pealkiri:  (teema puudub)  

Nojah, ma muidugi ei ole nii postgre guru, et võiks väga vaielda Smile aga siiski ma ei näe, et andmebaas oleks asjas süüdi olnud, kui ta valesti oli seadistatud. Kuidagi väga lühinägelik on seadistada andmebaasi tühjade tabelite järgi.

_________________
More than once my wife has asked why I don't do Windows, because that's where the money is. Why don't I just sell drugs or produce porn - there's money in those things, right?

gorm
Pingviini kasutaja
Pingviini kasutaja


Vanus: 46
Liitunud: 12.06.2006
Postitused: 53
Asukoht: Tartu
Distributsioon: Gentoo, (K)ubuntu
estonia.gif
postituspostitatud: 07.03.2011, 11:27  postituse pealkiri:  (teema puudub)  

Ega ma ise ka pole postgresi guru.
Seda jama oleks muidugi saanud vältida aga see oleks eeldanud teadmist, et selline probleem võib tekkida. Oleks ju saanud ka koodis päringut nii kirjutada, et indekseid kindlasti kasutatakse (see pole jällegi ilus stiil muidugi).
Aga minu versioon on muidugi ka puhas spekulatsioon sest otsest tehnilist veakirjeldust pole arendajad öelnud.


imapi
Vana Pingviin
Vana Pingviin


Vanus: 44
Liitunud: 01.12.2005
Postitused: 567
Asukoht: Rakvere
Distributsioon: Mageia Cauldron
estonia.gif
postituspostitatud: 07.03.2011, 11:49  postituse pealkiri:  (teema puudub)  

gorm kirjutas:
Ega ma ise ka pole postgresi guru.

Kahju Smile mul oleks vaja üht Smile

_________________
More than once my wife has asked why I don't do Windows, because that's where the money is. Why don't I just sell drugs or produce porn - there's money in those things, right?

akbgf
Vana Pingviin
Vana Pingviin



Liitunud: 07.10.2009
Postitused: 763
Asukoht: Tõravere
Distributsioon: OpenSUSE, Ubuntu
estonia.gif
postituspostitatud: 07.03.2011, 16:32  postituse pealkiri:  (teema puudub)  

imapi kirjutas:
Hmm kui andmebaasis oleks iga hääletamas käinud inimese kohta üks sissekanne ...

Ega siis kirjed pole iga hääletaja kohta.
Ikka iga kandidaadi kohta ja muutmissoovid said tulla ainult valimisjaoskondadest sedamööda,
kuidas ükski jaoskond oma hääled loetud sai.
Neid jaoskondi oli vist veidi peale kuuesaja.

Edit:
789 kandidaati ja 625 jaoskonda.
Ja see tekitas ülekoormuse ???


veeall
Pingviini aktivist
Pingviini aktivist


Vanus: 49
Liitunud: 27.09.2006
Postitused: 264

Distributsioon: Slackware64 14.2
estonia.gif
postituspostitatud: 07.03.2011, 18:26  postituse pealkiri:  (teema puudub)  

Aga kui keegi oleks tahtnud protsente modida, kas siis oleks ka jooksvalt ilma katkestuseta hakkama saanud?

Milline kontrollmehanism seal üldse kindlustab, et antud häääled läheksid õige erakonna kirja?

Ei taha paranoiline olla, aga olen ikka. Uudistes kõlas selgitus küll nagu laste kõrvadele: "maailmas on palju huvitavat" jne.


juhan_k
Pingviini aktivist
Pingviini aktivist



Liitunud: 29.03.2010
Postitused: 127

Distributsioon: Kubuntu 12.10
estonia.gif
postituspostitatud: 07.03.2011, 18:34  postituse pealkiri:  (teema puudub)  

akbgf kirjutas:

789 kandidaati ja 625 jaoskonda.
Ja see tekitas ülekoormuse ???


Nii palju nagu ma aru olen saanud tekitas jama olukord kui korraga hakkas saabuma paljudelt valimisjoskondadelt tulemusi samaaegselt ja seda ei suudetud veebi jooksvalt välja panna. Paistab digiretseptiga analoogne olukord.

Esimesed 133 valimisjaoskonda, e-hääled ja suurem osa eelhääli tulid ju kergelt läbi. Valimistel tüüpiliselt saavad kiiremini tulemused teada väikesed maal asuvad jaoskonnad.


erku
Vana Pingviin
Vana Pingviin


Vanus: 54
Liitunud: 12.09.2008
Postitused: 558
Asukoht: Tallinn, Järvamaa
Distributsioon: Mint/Debian _32bit
estonia.gif
postituspostitatud: 07.03.2011, 18:52  postituse pealkiri:  (teema puudub)  

Juhtusin ka kuulama raadiost seda reporterite küsitlust.
Üks rääkis pikalt ka sellest admete üleküllusest ja ...
Teine ütles küsimusele vastates, et tegemist on vabavaraga ja süüdistada pole kedagi; ...

E: tegelikult oleks võinud kohe öelda välja et see ongi nii ja peabki olema; kogulugu. Ma ei saagi aru, milleks hakati vabandusi ja põhjendusi otsima.

_________________
Mõttetera: Kui tarkvara ei meeldi või ei sobi, tuleb valida teine tarkvara.

illukas
Vana Pingviin
Vana Pingviin


Vanus: 43
Liitunud: 24.10.2006
Postitused: 2036


norway.gif
postituspostitatud: 07.03.2011, 22:05  postituse pealkiri:  (teema puudub)  

See on umbes samahea vabandus, etkui takngid bensiiniautosse diislit ja pärast tuled vinguma, et näe krt sitt auto ei tööta enam- mis auto te mulle müüsite
Ei ole süüdi mitte vabavara vaid sellega ebaproffessionaalselt ümberkäiad

Vahet ei ole kuidas võtta see 789 kandidaati on väga väike nummer ja selle peaks ta ikka ära kannatama, postgre kannatab päris suuri baase räägime ikka 100GB mitte mingist alla tuhandete kirjete, kus koormus on marginaalne
Oskamatus ja ettenägematus on selle asja nimi

_________________
https://www.inlink.ee

sander85
Vana Pingviin
Vana Pingviin


Vanus: 38
Liitunud: 08.08.2005
Postitused: 4359
Asukoht: Tallinn (vahel ka Virtsu)
Distributsioon: Mageia, Debian, CentOS
estonia.gif
postituspostitatud: 08.03.2011, 08:00  postituse pealkiri:  (teema puudub)  

http://www.epl.ee/artikkel/593854

_________________
Image Image Image

gorm
Pingviini kasutaja
Pingviini kasutaja


Vanus: 46
Liitunud: 12.06.2006
Postitused: 53
Asukoht: Tartu
Distributsioon: Gentoo, (K)ubuntu
estonia.gif
postituspostitatud: 08.03.2011, 09:47  postituse pealkiri:  (teema puudub)  

akbgf kirjutas:

Edit:
789 kandidaati ja 625 jaoskonda.
Ja see tekitas ülekoormuse ???


Nende vahel on M-N suhe seega on seal vahepeal veel üks tabel, kuhu tuli hästi laias laastus kandidaatide arv * jaoskondade arv / piirkondade arv kirjet. Ehk 789*625/12 = u. 40k rida.
Oluline on aga suhe: päringute arv sekundis / ühe päringu aeg. Arvestada tuleb seda, et valimiste õhtul istub suur hulk inimesi vvk lehel ja iga paari minuti tagant tehakse refresh. Isegi kui üks päring võtaks aega 0,1 sekundit, võib see liiga aeglaseks jääda.


sander85
Vana Pingviin
Vana Pingviin


Vanus: 38
Liitunud: 08.08.2005
Postitused: 4359
Asukoht: Tallinn (vahel ka Virtsu)
Distributsioon: Mageia, Debian, CentOS
estonia.gif
postituspostitatud: 08.03.2011, 11:20  postituse pealkiri:  (teema puudub)  

valimistulemusi kuvati HTMLina, dünaamilise sisu kallale valija ei pääsenud.. nii et koormus nendest päringutest on olematu.. ka oli terve õhtu väline server ju kiirelt kättesaadav, lihtsalt uut HTMLi enam ei suudetud genereerida..

_________________
Image Image Image

erku
Vana Pingviin
Vana Pingviin


Vanus: 54
Liitunud: 12.09.2008
Postitused: 558
Asukoht: Tallinn, Järvamaa
Distributsioon: Mint/Debian _32bit
estonia.gif
postituspostitatud: 08.03.2011, 18:27  postituse pealkiri:  (teema puudub)  

Mäletamist mööda, aastate eest Tallinnas, ei peetud arvutivõrkudega tegelevates firmades Helmese nime mainimist heaks tavaks.
Huvitav on ka see, et neid "pauke" juhtus neil ikka, suuremaid-väiksemaid. Solkisid turgu oma hindade ja seejärel kehva ebakvaliteetse töö, oskamatuse ja puudujääkidega. Riigipiruka kallal on nad eluaeg olnud; isegi siis jäeti nad piruka kallale, kui teised firmad peale konkursi lõppu viisid paberil tõestuse/pretensiooni/noodi et nii see asi pole lihtsalt võimalik; ja ikkagi jäi Helmes.
Mõelge nüüd ise miks; ega palju variante vist ei ole.

Ja nüüd, aastaid hiljem, imesta- ikka sama jama.
http://www.epl.ee/artikkel/593885
"VVK nõuab Helmeselt välja 8503-eurose trahvi"; aga kui nii siis: kas vähevõitu pole?

_________________
Mõttetera: Kui tarkvara ei meeldi või ei sobi, tuleb valida teine tarkvara.

qwert
Pingviini külastaja
Pingviini külastaja



Liitunud: 21.08.2010
Postitused: 19


blank.gif
postituspostitatud: 09.03.2011, 18:16  postituse pealkiri:  (teema puudub)  

Mull tekivad küll e-valimis tulemuste suhtes kahtlused. Kuna kanditaat kelle poolt hääletasin saanud minu vallas 0 häält! Kuidas see võimalik on? Või ei peagi need tulemused siin kajastama e-hääli? http://rk2011.vvk.ee/election_result_au2_0086.html


Näita (aja järgi):      
Postita uus teemaVasta teemale


Vaata järgmist teemat
Vaata eelmist teemat
Powered by phpBB2 Plus based on phpBB © 2001/7 phpBB Group