Tri roky UVOstatu - prevádzka, nápady, spolupráce

Tri roky UVOstatu - prevádzka, nápady, spolupráce

V prvej časti blogu ku tretiemu výročiu portálu UVOstat som spomínal, čím som si musel prejsť, kým som portál dal do použiteľnej podoby. Druhá časť bude aj o tom, že prevádzka takéhoto portálu dá zabrať  viac ako prvotný štart.


1. Eufória po štarte


Keďže som projekt spúšťal ako minimum viable product (produkt s najmenšou možnou funkcionalitou), mal som hneď po štarte v hlave veľa nápadov ako ďalej. Aj naďalej som po večeroch programoval nové funkcie, zbieral ďalšie dáta a pritom netrpezlivo sledoval google analytics, aká je návštevnosť. Tá bola doslova smiešna - dvaja až traja ľudia denne po odfiltrovaní mojich pokusov. Aj keď logicky som chápal, že ľudia sa len tak nepohrnú na stránku o ktorej ani nevedia, mrzelo ma to. Aj viera v to, že tento projekt má význam a ešte stále trvajúca eufória z vytvárania niečoho nového, ma primäli pokračovať a nezabaliť to.


2. Prvé spolupráce


Skôr ako som sa dostal ku spolupráci s rôznymi organizáciami, samotným úradom pre verejné obstarávanie, či Finstatom, musím spomenúť nultú externú spoluprácu, ktorá začala skoro hneď po spustení. Osoba, ktorú som už spomenul na konci prvého blogu, a ktorá mi pomohla pri rozbehu bol Martin Turček. Dnes novinár na portáli aktuality.sk v tom čase pracoval v Nadácii zastavme korupciu a venoval sa verejným obstarávaniam. Začal som sa ho pýtať nespočetné množstvo otázok ohľadom obstarávaní a vďaka jeho vysvetleniam procesov som si dokázal často spojiť dve a dve dokopy pri pohľade na dáta. On mi aj dával prvé nápady, ktoré dáta by ešte bolo zaujímave sprocesovať, keďže pri tom obrovskom chaose čo vládne vo formulároch vestníka nebolo možné nejakým jednoduchým spôsobom spracúvať úplne všetko. 


Po určitej dobe od napísania prvého blogu na SME, keď som aj pomaly zabudol, čo som napísal, sa mi ozval vtedajší šéf IT oddelenia Úradu pre verejné obstarávanie, Andrej Kubán. Veľmi pozitívne ma prekvapil svojim prístupom, aj keď v blogu som bol dosť kritický. Neskončilo to však len u jedného stretnutia, ale pokiaľ na úrade pracoval, bola z toho veľmi príjemná spolupráca. A to nie len vďaka novým návrhom, ale aj promptnému riešeniu technických problémov, ak na strane úradu nastali. Prišiel napríklad s návrhom zapracovať register hospodárskych subjektov, či CPV kódy, ktorým som dovtedy ako nie veľmi znalý problematiky obstarávania neprikladal veľký význam. Až po ich spracovaní som si všimol, akú veľkú chybu som spravil, že som na ne neupriamil svoju pozornosť hneď od začiatku. Dnes, po vyše dvoch rokoch môžem zhodnotiť, že CPV kódy sú najnavštevovanejšia časť na UVOstate. Ako som si totiž všimol, rozumne spracovaný zoznam spolu s jednoduchým vyhľadávaním na oficiálnych stránkach úradu jednoducho neexistuje. Narozdiel od UVOstatu, ktorý obe možnosti ponúka. Podľa spätných odkazov vidím, ako nie len úradníci, ale celkovo ľudia venujúci sa obstarávaniam odkazujú priamo na profil CPV kódu vo svojich online dokumentoch, čo poukazuje na užitočnosť tohto spracovania.


Pred týmito dvoma externými spoluprácami, ktoré formovali UVOstat, musím spomenúť internú spoluprácu s Romanom, ktorá začala štýlom "toto mi prosím pozri, či to vyzerá ok". Ja ako dátový inžinier nemám veľmi cit pre dizajn, takže ak by som všetko robil len sám, portál by dnes vyzeral asi ako niektoré časti formulárov Živnostenského registra. Vďaka jeho pomoci ako dizajnéra/grafika a neskôr aj testera som vedel, že sa môžem venovať spracovávaniu dát a písaniu kódu ako takého, zatiaľ čo on vymýšľal ako budú jednotlivé veci vyzerať. Samozrejme pri tom bolo veľké množstvo hádok, kde sme prišli ku kompromisu jeho predstavy a mojej ochoty babrať sa s kódom, ktorý som oproti tomu, čo spracúva dáta nepovažoval až tak za dôležitý.


3. Prevádzka


Spustiť takýto portál na bežnom webhostingu akosi neprichádzalo do úvahy, preto som si postavil vlastný virtuálny server u DigitalOcean. Vtedy som veľmi nemal prehľad o možnostiach a ani som nemal čas študovať ponuky, preto som si vybral hosting, ktorý som už poznal. Ponúkali predpripravený server na framework a databázu, aké som potreboval, tak som to využil a onedlho som mal postavené riešenie, na ktorom som mohol rozbehať UVOstat.


Rozbehať server bola jedna vec, držať ho v prevádzky schopnom stave druhá. Popri večernom programovaní som pravidelne zbiehal systémové aktualizácie, či sa učil za chodu, čo to znamená odladiť produčnú verziu aplikačného frameworku. Systémového admina som na plný úväzok robil naposledy okolo roku 2005, takže som z takýchto vecí úplne vyšiel a všetko si musel znova naštudovať. Kým bola návštevnosť niekoľko užívateľov denne a na pozadí len občas bežali procesy spracovania dát, reštartovať server, či skúšať za behu rôzne zmeny, nebol až taký problém. Keďže celý projekt som od začiatku financoval zo svojich peňazí, nemíňal som na také "panské huncútstva" ako je produkčný a testovací server.


Po cca roku a pol od spustenia som si počas implementácie novej funkcie uvedomil, ako starý systém mám na serveri, keď mi niektoré funkcie nefungovali ako mali. Vtedy som sa rozhodol postaviť si nový, výkonnejší a zároveň lacnejší server u firmy Hetzner v Nemecku. Od bolestivej migrácie už uplynul nejaký čas a zatiaľ som s rozhodnutím presunu spokojný, aj keď som počul názory, že to je low cost. 


Viac technických informácií plánujem spísať v extra blogu.


4. Nápady a ďalšie spolupráce


Jeden z prvých nápadov po rozbehnutí portálu bol zaintegrovať údaje z obchodného registra. Tu mi veľmi pomohli chalani zo slovensko.digital, ktorí mi dali prístup do ich API pre register právnických osôb a vďaka tomu som nemusel vymýšľať koleso, aby som spracoval dáta, ktoré už niekto mal. Vďaka implementácii je dnes možné ku každej slovenskej firme, ktorej IČO uvedú vo vestníku, jednoducho zobraziť údaje z obchodného registra. Toto bol prvý krok spolupráce, ktorá úspešne funguje už niekoľko rokov.


Keď som spúšťal tento projekt, dúfal som, že príde nejaký prielom. Udalosť, ktorá zrazu vystrelí návštevnosť do 10násobných čísel, udalosť ktorá zviditeľní projekt u bežnej verejnosti. Prielom v tomto zmysle zatiaľ neprišiel, avšak jedna funkcia pomohla spropagovať portál tak, že si ho všimli až ľudia v EU, ktorí sa venujú otvoreným dátam.

Jedného dňa Martin Turček spomenul, že na portáli slovensko.sk máme uverejňované výberové konania do štátnej správy, ale nikde neponúkajú možnosť dostávať tieto informácie mailom, ako ponúka napr. profesia.sk. Povedal som si, že to predsa nemôže byť problém naprogramovať a pustil sa do práce. Web slovensko.sk prevádzkuje NASES, kde v danej dobe na poste riaditeľa sedel Noro Molnár. S Norom sa poznám ešte z dávnych čias, tak som ho oslovil s prosbou o pomoc ohľadom licencií a vďaka jeho rýchlej reakcii som mohol bez problémov sťahovať a spracúvať všetky dáta o výberových konaniach. Viac o tom ako vznikal notifikátor výberových konaní som napísal v tomto blogu.

Po rozbehaní tejto služby prišiel ten malý prielom. Úrad vlády a iné inštitúcie pravidelne pri tlačových správach o otvorených dátach menujú túto službu ako jeden z príkladov využitia otvorených dát. Niekoľko mesiacov po uverejnení služby sa mi ozval človek, pracujúci v Publications Office of the European Union, či by som sa nechcel zúčastniť akcie EU Datathon a rozšíriť svoj projekt o dáta z celej únie. Osobne by som to veľmi rád skúsil avšak z časových dôvodov sa takýchto akcií nemôžem zúčastniť a ani nemám kapacity na tak komplexné rozšírenie portálu. Spomenutý pán to však nevzdáva a aj tento rok ma pozval, tak možno raz sa ten čas aj nájde.


Už pri príprave portálu som mal v hlave myšlienku, že by sa hodilo údaje z obstarávaní prepojiť s finančnými výsledkami firiem, nech sa dá ľahko pozrieť, ktoré firmy žijú primárne zo štátnych zákaziek. Tu mi padlo vhod, keď ma znenazdajky oslovil Filip Glasa z Finstatu, či nepotrebujem ich dáta. Samozrejme že som tú ponuku využil a ušetril som hromadu času. Od tejto chvíle už ubehol nejaký čas, ale s Finstatom sa mi aj naďalej výborne spolupracuje, či už pri spoločných analýzach pre novinárov, alebo prípravách dát pre projekty Nadácie zastavme korupciu.


Okrem vyššie spomenutých spoluprác bolo a stále je rozbehnutých x menších, ale taktiež dôležitých. Či už išlo o strojové spracovanie verifikačných dokumentov na podnet Transparency International, rôzne analýzy pre Nadáciu zastavme korupciu, alebo rôzne spolupráce s inými novinármi, či poskytovanie výstupov priamo úradníkom. Taktiež by som rád spomenul výbornú spoluprácu s podobnými projektami, ktoré sa venujú otvoreným dátam a to opendata.sk a verejne.digital. Nie je v mojich kapacitách spomenúť všetky, ale ďakujem každému čo pomohol nápadom, dátami, alebo ináč pri vývoji a prevádzke portálu.


5. Financie


Veľmi často dostávam otázku ako je na tom portál finančne. Keďže som UVOstat zakladal ako hobby projekt, celú jeho prevádzku som hradil zo svojich príjmov. Aktuálne ho prevádzkujem pod svojou firmou, takže náklady na prevádzku hradím zo zisku iných komerčných projektov. Projekt zarába akurát z tej skromnej reklamy, ktorá sa tu nachádza (ak toto čítate, skúste si dať UVOstat.sk do whitelistu v adblockeri) a z príspevkov cez Patreon. Taktiež občasné príspevky za nejaký report, či službu na mieru pomáhajú a vďaka tejto kombinácii je projekt schopný zaplatiť aspoň svoju prevádzku (server a domény). Avšak všetky tie hodiny práce čo som na tom strávil sa predpokladám nezaplatia nikdy.


6. Čo ďalej?


Aktuálne asi najväčšia novinka, ktorú plánujem, je sprocesovanie vyhlásených súťaží. Doteraz sa UVOstat primárne venoval uzatvoreným súťažiam, ale na podnet v rámci jedného projektu so slovensko.digital som sa rozhodol pridať aj novo vyhlásené súťaže. Budú slúžiť nie len na porovnanie voči finálne uzatvorenej zmluve, ale dúfam, že pomôžu aj tým, čo sa snažia súťažiť o verejné zákazky. 

Ďalší plán, ktorý však užívatelia ani nepostrehnú je upgrade celého aplikačného frameworku na novšiu verziu. Toto neustále odkladám, keďže tuším ako veľmi to bude bolieť.

Taktiež by som rád pokračoval v komplexných analýzach jednotlivých odvetví. IT a obstarávania v medicínskom prostredí som už spracoval, a myslím že úspešne, keďže ich prebrali aj renomované média na slovensku. 


Nápadom od užívateľov, čo by prijali na portáli, som otvorený, takže ak má niekto nápad, čo si myslí, že sa hodí do koncepcie UVOstatu, kľudne nech navrhne v diskusii, alebo cez kontaktný formulár.


7. Záver


Práca na takomto projekte primárne v jednej osobe dá zabrať. Nemám za sebou tím marketingových špecialistov, nemám kamarátov v magazínoch ako startitup, takže ak chcem aby sa o projekte nejak ľudia dozvedeli, musím sa posnažiť dvakrát viac. Aj preto som skúsil prihlásiť projekt do súťaže v rámci konferencie ITAPA. Keď mi o niekoľko mesiacov volali, či sa zúčastním galavečera, pretože môj projekt sa umiestnil v prvej trojke, veľmi som sa potešil a išiel si osobne prevziať ocenenie za tretie miesto v kategórii najlepší projekt informatizácie spoločnosti.



Cieľom týchto riadkov bola snaha opísať, čo to znamená prevádzkovať takýto portál v podstate v jednej osobe. Bez pomoci všetkých spomenutých a aj ďalších, ktorí sa nedostali do zoznamu by to asi nebolo možné a veľmi rýchlo by som celý projekt zabalil. Taktiež by to nebolo možné bez podpory doma od mojej manželky.


V poslednom blogu, ktorý bude zameraný skôr pre IT nadšencov,  sa pokúsim priblížiť  na čom portál beží, v čom je naprogramovaný a ďalšie, snáď zaujímavé technické informácie.


Ak sa vám myšlienka portálu uvostat.sk páči, môžete ju podporiť cez portál Patreon, alebo zahlasovať za článok na vybrali.sme.sk. Alebo aspoň sledujte UVOstat na facebooku.



Autor: Miro Babič

Autor: Miro Babič
Tagy:
O projekte