Andmehaldus / data management
- Raul Hanson
- Lauri Anton
- Edgars Žigurs
Erinevate projektide raames on vaja planeerida andmete kogumise ja töötlemise kohad. Sellest tulenevalt oleme kirja pannud ülikooli poolt pakutavad andmehaldamiseks sobilikud keskkonnad ning andmete hoidmise ja töötlemise tingimused. Neid keskkondi saab planeerida oma andmehaldusplaanidesse.
Varundamine tähendab, et andmed varundatakse teise sõltumatusse salvestussüsteemi, näiteks teise serveriruumi või lindisalvestusruumi. See kaitseb andmeid kogu salvestussüsteemi hävimise eest katastroofi korral. Tavaliselt on automaatse varundamise ajaaken veerev ja piiratud, mis tähendab, et saate taastada andmed nii, nagu need olid 1 kuud tagasi, kuid mitte pool aastat tagasi.
Versioonikontroll tähendab, et sama salvestussüsteem säilitab failide varasemad versioonid, et kaitsta neid juhusliku kustutamise eest. Kustutatud või kahjustatud faili saab taastada selle eelmistest versioonidest piiratud aja jooksul, olenevalt süsteemist. Andmed ei ole kaitstud salvestuskeskkonna enda kokkuvarisemise korral.
Mahtuvus on kasutatav netomaht, mida kasutaja saab kasutada. Paljudel juhtudel võib maht varieeruda ja võib ulatuda maksimaalse mahuni '
Andmehaldus / data management | Ülevaade eesti keeles erinevatest võimalustest
Within the framework of various projects, it is necessary to plan the places of data collection and processing. As a result, we have written down the suitable environments for data management offered by the university and the conditions for data storage and processing. These environments can be planned into your data management plans.
Backup means that the data is backed up to another independent storage system, such as to another server room or tape storage. This protects data from the destruction of the entire storage system in a catastrophe. Usually the time window of automated backup is rolling and limited, meaning that you can restore data as it was 1 months ago, but not half a year ago.
Version control means that the same storage system preserves previous versions of the files, in order to protect against accidental deletion. A deleted or damaged file can be recovered from its previous versions during a limited time depending on the system. The data is not protected in case of a collapse of the storage environment itself.
Capacity is usable net capacity that the user can allocate. On many cases, the capacity may vary and can something up to the maximum capacity.
Andmehaldus / data management | Overview of different options in English
Ülevaade eesti keeles erinevatest võimalustest
Keskkond | Varundamine | Versioneerimine | Maht | Personaalne ressurss või jagatud ressurss | Ligipääs ressursile | Maksusmus | Andmete sälitamine | Sobilikus tundlike andmete hoiustamise osas | Märkmed |
|---|---|---|---|---|---|---|---|---|---|
O-kataloog (personaalne)*
| Jah / 30 päeva | Ei | 25 GB | Personaalne | Ligipääs keskhaldusega arvutist | - | Andmeid säilitatakse kuni 400 päeva peale konto sulgemist | Võib mahutada mõningaid tundlikke (madala riskiga, pseudonüümiga või krüpteeritud) andmeid. | Pseudonüümiseerimis- või krüpteerimisvõtmed tuleks eraldi salvestada ja täiendavalt krüpteerida. *Antud teenus suletakse järk-järgult ning viiakse üle Onedrive teenuse peale |
O-kataloog (projektid) | Jah / 30 päeva | Ei | 25 GB | Jagatud ressurss ainult ülikooli sisestele kasutajatele | Ligipääs keskhaldusega arvutist | - | - | Võib mahutada mõningaid tundlikke (madala riskiga, pseudonüümiga või krüpteeritud) andmeid. | Pseudonüümiseerimis- või krüpteerimisvõtmed tuleks eraldi salvestada ja täiendavalt krüpteerida. |
Jah / 365 päeva | Jah | 200 GB | Personaalne | Ligipääs seadmetest, kus olemas Onedrive klient või ligipääs veebilehitseja kaudu. | UNI-ID konto omanikele ei ole mingit täiendavat tasu. | Andmeid säilitatakse kuni 400 päeva peale konto sulgemist. | Võib mahutada mõningaid tundlikke (madala riskiga, pseudonüümiga või krüpteeritud) andmeid. | Piiratud võimalus kustutatud faile taastada | |
Microsoft Sharepoint/Teams | Jah / 365 päeva | Jah | 200 GB | Jagatud ressurss ja võimalik jagada andmeid kolmandatele osapooltele | Ligipääs seadmetest, kus olemas Onedrive klient või ligipääs veebilehitseja kaudu. | UNI-ID konto omanikele ei ole mingit täiendavat tasu . |
| Võib mahutada mõningaid tundlikke (madala riskiga, pseudonüümiga või krüpteeritud) andmeid. | Piiratud võimalus kustutatud faile taastada Pseudonüümiseerimis- või krüpteerimisvõtmed tuleks eraldi salvestada ja täiendavalt krüpteerida. |
Atlassian Confluence | Automaatsed varukoopiad luuakse iga päev ja neid säilitatakse 30 päeva, et võimaldada andmete õigeaegset taastamist. Iga päev tehakse ka esmase RDS-i hetktõmmiseid. Atlassiani pilv ei toeta muudatuste tagasipööramiseks varuandmete kasutamist. | Jah | Ei ole piiratud | Jagatud ressurss ja võimalik jagada infot neile, kel olemas vastav litsents | Ligipääs veebilehitsjea kaudu | Vajalikud on litsentsid ja need tuleb soetada eraldiseisvalt | Andmete hoiustamisel ei ole piiranguid | Võib mahutada mõningaid tundlikke (madala riskiga, pseudonüümiga või krüpteeritud) andmeid. |
|
Virtuaalmasinat varundatakse iga päev | Rakenduse sees on failid versioneeritud |
|
| 20€/TB/aastas, alla 10€ arveid ei esita | Vähemalt 10 a |
| Sobib pigem väiksemamahuliste andmete pikemaks hoidmiseks, kui nendega ei töötata aktiivselt. | ||
HPC klastri jagatud salvestuspind /gpfs/mariana | /gpfs/mariana/hpchome varundatakse TÜ HPC linti, kui kasutaja kodukataloog on väiksem kui 500GB. |
| Vaikimisi 500GB harilik kodu + 2TB smbhome, viimast saab suurendada vastavalt vajadusele | Personaalne ja jagatud ressurss | SSH base.hpc.taltech.ee, SMB smb.hpc.taltech.ee
| 20€/TB/aastas, alla 10€ arveid ei esita | Säilitamine best-effort baasil | Ei sobi tundlikele või eriliigilistele andmetele | Sobib aktiivselt kasutatavatele andmetele, mida töödeldakse HPC keskuse klastris. |
OpenStack pilveteenuses olev salvestuspind | Virtuaalmasinad on varundatud |
|
| Virtuaalmasina kasutajatega piiratud ressurss | 20€/TB/aastas, alla 10€ arveid ei esita | Kuni virtuaalmasina kustutamiseni | Võib teatud tingimustel sobida tundlike andmete säilitamiseks |
| |
Microsoft Azure pilveteenuse salvestuspinnad (Block Blobs, Data Lake, Files, Queues, Page Blobs, Tables) | Sõltub konkreetsest valitud Azure teenusest ja seal olevatest valikutest | Sõltub konkreetsest valitud Azure teenusest ja seal olevatest valikutest | Sõltub konkreetsest valitud Azure teenusest ja seal olevatest valikutest | Sõltub konkreetsest valitud Azure teenusest ja seal olevatest valikutest | Sõltub konkreetsest valitud Azure teenusest ja seal olevatest valikutest | Sõltub valitud Azure teenustest ja seal pakutavatest valikutest. | Sõltub konkreetsest valitud Azure teenusest ja seal olevatest valikutest |
|
|
Overview of different options in English
Storage environment | Backup | Version control | Capacity | Personal or shared resource | Access to the resource | Cost | How long data will be stored | For sensitive data | Notes |
|---|---|---|---|---|---|---|---|---|---|
O-kataloog (personal)* | Yes /30 days | No | 25 GB | Personal | Access from a centrally managed computer | - | Data is retained for up to 400 days after account closure. | Can accommodate some sensitive (low-risk, pseudonymized or encrypted) data. | Pseudonymization or encryption keys should be stored separately and further encrypted. *This service will be gradually closed and transferred to the Onedrive service |
O-kataloog (projects) | Yes / 30 days | No | 25 GB | A shared resource for internal university users only | Access from a centrally managed computer | - | - | Can accommodate some sensitive (low-risk, pseudonymized or encrypted) data. | Pseudonymization or encryption keys should be stored separately and further encrypted. |
Yes / 365 days | Yes | 200 GB | Personal | Access from devices with OneDrive client or access through a web browser | There is no additional fee for UNI-ID account holders. | Data is retained for up to 400 days after account closure. | Can accommodate some sensitive (low-risk, pseudonymized or encrypted) data. | Limited possibility to recover deleted files. | |
Microsoft Sharepoint/Teams | Yes / 365 days | Yes | 200 GB | Shared resource and able to share data with third parties | Access from devices with OneDrive client or access through a web browser | There is no additional fee for UNI-ID account holders. |
| Can accommodate some sensitive (low-risk, pseudonymized or encrypted) data. | Limited possibility to recover deleted files. Pseudonymization or encryption keys should be stored separately and further encrypted. |
Atlassian Confluence | Automated backups are generated daily and retained for 30 days to allow for point-in-time data restoration. Snapshots of the primary RDS are also taken daily. Atlassian cloud sites don't support the use of backup data to roll back changes. | Yes | No limitations | A shared resource and it is possible to share information with those who have the appropriate license | Access via web browser | Licenses are required and must be purchased separately | There are no restrictions on data storage | Can accommodate some sensitive (low-risk, pseudonymized or encrypted) data. |
|
data.taltech.ee | The virtual machine is backed up daily. | Files within the application are versioned. |
|
| 20€/TB per year, invoices below 10€ are not issued. | At least 10 years. |
| This solution is more suitable for long-term storage of smaller-scale data when the data is not actively in use. | |
HPC cluster shared storage /gpfs/mariana | /gpfs/mariana/hpchome is backed up to the University of Tartu HPC tape if the user's home directory is smaller than 500GB. |
| By default, 500GB regular home + 2TB smbhome, the latter can be increased as needed. | Personal and shared resources. | SSH: base.hpc.taltech.ee, SMB: smb.hpc.taltech.ee | 20€/TB per year, invoices below 10€ are not issued. | Storage is provided on a best-effort basis. | Not suitable for sensitive or special-category data. | Suitable for actively used data processed in the HPC cluster. |
Storage in the OpenStack cloud service | Virtual machines are backed up. |
|
| Resources are limited to virtual machine users. | 20€/TB per year, invoices below 10€ are not issued. | Valid until the virtual machine is deleted. | May be suitable for storing sensitive data under certain conditions. |
| |
Microsoft Azure cloud service storage options (Block Blobs, Data Lake, Files, Queues, Page Blobs, Tables) | Depends on the specific Azure services selected and the options available there | Depends on the specific Azure services selected and the options available there | Depends on the specific Azure services selected and the options available there | Depends on the specific Azure services selected and the options available there | Depends on the specific Azure services selected and the options available there | Depends on the specific Azure services selected and the options available there. | Depends on the specific Azure services selected and the options available there |
|
|