1 / 16

RAKETTI-VIRTA-projekti Tietojen tarkastaminen

RAKETTI-VIRTA-projekti Tietojen tarkastaminen. 6.2.2013, Lauri Jokipii www.csc.fi/virta. Tarkastuksia monessa vaiheessa. XML-validointi korkeakoulujen puolella XML-validointi tietovarannon puolella Tietojen sisäänluku Tietojen tarkastukset tietovarannossa

dorian-freeman
Télécharger la présentation

RAKETTI-VIRTA-projekti Tietojen tarkastaminen

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. RAKETTI-VIRTA-projekti Tietojen tarkastaminen 6.2.2013, Lauri Jokipii www.csc.fi/virta

  2. Tarkastuksia monessa vaiheessa • XML-validointi korkeakoulujen puolella • XML-validointi tietovarannon puolella • Tietojen sisäänluku • Tietojen tarkastukset tietovarannossa • Tietovarannon tiedot tarkastettavaksi korkeakouluille

  3. välikysymys • Kuinka moni on saanut Tilastokeskuksen tiedonsiirtojen myötä korjattavaa?

  4. XML-validointi • Tähän mennessä käytettyjä työkaluja • Xmllint (Linux, Windows) • Xmlstarlet (Windows) • Microsoft SQL Server –ohjelmiston komponentit • Validointi varmistaa mm. käytetyt koodistoarvot • Koodistot sisältävät ”kaikki” arvot. Myös vanhentuneet

  5. Tietojen sisäänluku • Relaatiotietokannassa viite-eheydet(korkeakoulujen tietomalli) Henkilö/Opiskelija Lukukausi-ilmoittautuminen Opintosuoritus Opiskeluoikeus

  6. Tietojen tarkastukset tietovarannossa • Tutkinnonsuorituksella viittaus koulutusluokitukseen, eli tieto Koulutuskoodista (Tutkintonimike) • Opiskeluoikeuden tila –tiedot kattavat opiskeluoikeuden voimassaoloajan katkeamattomana ja yksiselitteisenä • …

  7. Tietojen tarkastukset tietovarannossa • Opiskeluoikeusjakso –tiedot kattavat opiskeluoikeuden voimassaoloajan katkeamattomana ja yksiselitteisenä • …

  8. Tietojen tarkastukset tietovarannossa • ”Edellisen elämän” esimerkkejä: • hlo_tupla, hlo_tyyppi, hlo_tuplakayttaja, hlo_aidinkieli, opinoik_ei_asemaa, opinoik_asema_ei_kaytossa, opinoik_ei_kohteita, opinoik_kat_vs_tutk, opinoik_kohde_monta_voimassa, opinoik_kohde_ei_voimassa, opinoik_kohde_laji_ja_tyyppi, opinoik_kohde_tasnro_kohtlaj, opinoik_kohde_opinkohd_ei_voim, opinoik_tdk_ei_kohdevastuu, opinoik_opintark_ei_tilkood, opinoik_vaaria_kohteita, opinoik_kohde_ylimaaraisia, opinoik_tuplia, opinoik_enssij_paattynyt, opinoik_enssij_ei_tutk, opinoik_vaara_asema_voimassa, opinoik_peruutettu_voimassa, opinoik_rajlak_ei_paiv, opinoik_sivu_voimassa, opinoik_optio_ei_paria, opinoik_A2004_aikainen, opinoik_pvm_paat, opinoik_pvm_aloi_ei_alkpaat, opinoik_pvm_opinaloi_tyhja, opinoik_pvm_pari_eq_myon_aloi, opinoik_pvm_enssij_paat, opinoik_pvm_enssij_paallekkain, opinoik_pvm_enssij_aukot, opinoik_pvm_optio, opisk_ei_opinoik, opisk_opisluetpvm_erisuuri, opinkohd_vastuuorg_ei_kata, opinkohd_vastuu_ei_kata, opinkohd_puuttuu_luokittelu, tappvm, tulevaisuuden_suoritus, orgosuu_vanha, tutk_status, tutk_ei_opinoik, tutk_vaara_opinoik, tutk_opinoik_voimassa, tutk_opinoik_paattyy, tutk_suorpvm_ei_oik, tutk_kohteet, tutk_laajuus, tutk_vastuu_puuttuu, tutk_vastuu_eri_paaaine, tutk_tutksuor_ei_opinto, kevatmaksukombinaatio, maksu_perus, osakunta_puuttuu, yksi_lk, ei_oikeutta, kesk_paallekkain, etappi, …

  9. Tietojen tarkastukset tietovarannossa • Loputon lista, kehitetään jatkuvasti lisää • Mahdollisia esimerkiksi: • Opintosuorituksilla koulutusala? (ainakin uusimmilla tulisi olla) • Tutkinnonsuoritus viittaa opiskeluoikeuteen? • Opiskeluoikeus, johon viittaa suoritettu tutkinto, on asetettu päättyneeksi • Ideoita otetaan vastaan

  10. Tarkastukset tietovarannossa • Tietovarantoon saatetusta tiedosta muodostetaan yksinkertaisia lukumäärätietoja • Mallia otettaneen mm. TK:n tarkastusraporteista, kuten tutkintojen/opiskelijoitten määrät vuosittain ja koulutusasteittain/-aloittain • Ideoita otetaan vastaan • Tietovarannon tiedot saatetaan tietokantadumppina korkeakouluille

  11. Tarkastusten tulokset • Tarkastusten tulokset kootaan raportiksi tai raporteiksi, joka raportti saatetaan tiedoksi VirtaSFTP-palvelimelle • Erityisesti virhetilanteiden sattuessa lähetetään sähköposti-ilmoitus ”tekniseen” osoitteeseen

  12. Korkeakoulujen valtakunnallinen tietovaranto: Keskitetty tietovarantopalvelu (CSC) Koodistopalvelu CSC: poiminta esim. Tilastokeskukselle tai Vipuseen Kokonaisuus toimii automaattisesti ja reagoi korkeakoulusta tulevaan uuteen tietoon ja lukurajapintojen kutsuihin: testi- ja tuotantoympäristöt Ohjaus, lähde, muunnos, tarkistus, siirto Opetushallituk-sen palvelut Eri instansseina 41-44 korkeakoulua + noin 3 toimittajaa ”korkeakouluina” Yksi valtakunnallinnen instanssi (toimintavarmuus, kahdennus, kuorman jakaminen…) Ohjaus, lähde, muunnos, tarkistus, siirto SFTP SA Tallennus Yhdistetty tallennus Luku-rajapinta-sovellus WS-liikenne ulos Tarkistus-sovellus Ohjaus, lähde, muunnos, tarkistus, siirto Korkeakoulujen omat palvelut • Palvelu A: siirtää tiedot SFTP => Staging Area => Tallennus • Palvelu B: (Staging Area) tarkistaa uudelleen tietoa ennen tallennusta • Korkeakoulukohtaisen (vihreän) osan suorituskykyvaatimukset ovat matalat, kaikki instanssit samoilla palvelimilla: • 2 x Active Directory • SFTP, Events ja Auditor (Tectia) jaSQL • SQL Server 2008 R2 Palvelu C: muodostaa korkeakoulukohtaisista tallennuksista (Tallennus) yhdistetyn lukurajapintoja vastaavan tiedon ja tallentaa sen (Yhdistetty tallennus) • Tietojen lukeminen: • Järjestelmäkohtainen valtuutus lukurajapintojen käyttöön. • Valtuutustyyppejä kaksi: valtakunnallinen tai korkeakoulukohtainen. • Käyttövaltuuksien valvonta etäjärjestelmissä. • Lukemisen lokitus.

  13. Koodistopalvelu käyttöön Korkeakoulukohtaisen tietointegraation toteuttaminen: Hahmotelmia korkeakoulun toimenpiteistä ? Tiedostojen siirtäminen tietovaranto-palveluun (SFTP) Lähdejärjes-telmä Yhteismital-listen XML-siirtotiedosto-jen muodos-taminen Siirtotiedos-tojen tarkastaminen Lähteet: Tietojen kokoaminen eri lähteistä? Siirto: lähdejärjestelmän tuotantoympäristöstä suojatulla yhteydellä CSC:n palvelimelle korkeakoulun omaan hakemistoon Muodostus: lähdetiedoista poimimalla ja päätelemällä. Tarkastus: yhteisen tietoarkkitehtuurin tarkastuksien tekeminen muodostetuille tiedostoille (luodaan ja ylläpidetään yhteisesti). Muodostuksen ja tarkastuksen automatisointi, jotta lähteen tietoja voidaan korjata mahdollisimman pian? Tietojen siirron automatisointi?

  14. Keskitetty tietovarantopalvelu SFTP Tietojen tarkistus Tallennus • Korkeakoulukohtainen vastaanottoalue: SFTP • Tietojen automaattinen tarkistus ja raportointi korkeakoululle • Korkeakoulukohtainen tietokanta tiedon tallentamiselle SA SA SA SA SA SA

  15. Tietojen tarkistuspalvelu • Korkeakoulujen käyttöön • Toiminto, joka käyttää viranomaistietovirtoja varten toteutettuja rajapintoja • Tuottaa ”tarkistusraportin” eli näkymän tietosisältöön kattavasti, as is dumppi, esitys web-sovelluksella • Bonarina tarkistussummia ja per henkilö -haku sovellettuna korkeakoulurajauksen sisällä

More Related