Τρόπος υποβολής αρχείων IFDAT ============================= Οι μορφότυποι των εισερχόμενων αρχείων του IFDat είναι οι ακόλουθοι: i. Αρχεία μορφής ``.json``. Το αρχείο θα πρέπει να δομείται σύμφωνα με το :download:`IFDat JSON Schema `. #. Αρχεία μορφής ``.xlsx`` με βάση το :download:`υπόδειγμα <_static/structure/IFDAT_TEMPLATE.xlsx>`. Διαδικασία Επεξεργασίας Εισερχόμενου Αρχείου -------------------------------------------- 1. Σε περίπτωση που υποβληθούν ταυτόχρονα πάνω από ένα αρχεία η σειρά επεξαργασίας τους είναι τυχαία. #. Για κάθε εισερχόμενο αρχείο θα δημιουργείται ένα αρχείο επικύρωσης το οποίο θα λαμβάνει ο χρήστης που υπέβαλε το αρχείο. #. Σε περίπτωση που η επέκταση του αρχείου δεν είναι μία από τις .xlsx, .json εμφανίζεται κρίσιμο λάθος (wrong_extension), το αρχείο δεν φορτώνεται στη βάση και η διαδικασία επεξεργασίας σταματά. #. Εάν το αρχείο είναι μορφής xlsx ακολουθούνται τα παρακάτω βήματα: * Εάν δεν υπάρχει το φύλλο HEADER εμφάνιζεται κρίσιμο λάθος (no_header), το αρχείο δεν φορτώνεται στη βάση και η διαδικασία επεξεργασίας σταματά. * Εάν εμφανιστεί κάποιο άλλο λάθος στην επεξεργασία του φύλλου HEADER εμφάνιζεται κρίσιμο λάθος (corrupt_excel), το αρχείο δεν φορτώνεται στη βάση και η διαδικασία επεξεργασίας σταματά. * Σε περίπτωση που στα CONTENTS εμφανίζεται ότι κάποιο φύλλο περιέχει στοιχεία αλλά στο αντίστοιχο φύλλο το κελί Α4 είναι κενό, τότε εμφάνιζεται κρίσιμο λάθος (no_content), το αρχείο δεν φορτώνεται στη βάση και η διαδικασία επεξεργασίας σταματά. #. Εάν το αρχείο είναι μορφής json ακολουθούνται τα παρακάτω βήματα: * Σε περίπτωση που δεν μπορεί να φορτωθεί ως json τότε εμφάνιζεται κρίσιμο λάθος (corrupt_json), το αρχείο δεν φορτώνεται στη βάση και η διαδικασία επεξεργασίας σταματά. * Εάν δεν υπάρχει το κλειδί HEADER εμφάνιζεται κρίσιμο λάθος (no_header), το αρχείο δεν φορτώνεται στη βάση και η διαδικασία επεξεργασίας σταματά. #. Σε περίπτωση που το USERNAME στο HEADER του αρχείου είναι διαφορετικό σε σχέση με χρήστη που υπέβαλε το αρείο τότε εμφάνιζεται κρίσιμο λάθος (corrupt_json), το αρχείο δεν φορτώνεται στη βάση και η διαδικασία επεξεργασίας σταματά. #. Σε περίπτωση που το DOMAIN στο HEADER δεν είναι IFDat τότε εμφάνιζεται κρίσιμο λάθος (not_supported_domain), το αρχείο δεν φορτώνεται στη βάση και η διαδικασία επεξεργασίας σταματά. #. Σε περίπτωση που το αρχείο είναι xlsx μετατρέπεται σε μορφή json. Δηλαδή για κάθε καταχώρηση στο φύλλο CONTENTS διαβάζεται το αντίστοιχο φύλλο και μετατρέπεται σε json με βάση το IFDat json schema. Η ανάγνωση ενός πίνακα ολοκληρώνεται στη πρώτη σειρά που το κελί της στήλης Α είναι μη συμπληρωμένο. Σε περίπτωση λάθους κατά τη μετατροπή εμφάνιζεται κρίσιμο λάθος (conversion_error), το αρχείο δεν φορτώνεται στη βάση και η διαδικασία επεξεργασίας σταματά. #. Το json αρχείο ελέγχεται σύμφωνα με το IFDat JSON schema και σε περίπτωση λαθών, αυτά καταχωρούνται ως schema_errors, το αρχείο δεν φορτώνεται στη βάση και η διαδικασία επεξεργασίας σταματά. #. Για κάθε παρατήρηση ενός πίνακα ελέγχεται αν ο χρήστης έχει το δικαίωμα να δημιουργήσει την παρατήρηση. Εάν όχι καταχωρούνται στα κρίσιμα λάθη οι παρατηρήσεις για τις οποίες ο χρήστης δεν έχει το δικαίωμα να τις δημιουργήσει το αρχείο δεν φορτώνεται και η διαδικασία επεξεργασίας σταματά. #. Αν δεν έχουν υπάρξει λάθη μέχρι αυτό το σημείο τα περιεχόμενα του αρχείου εισέρχονται στη βάση δεδομένων και ο χρήστης λαμβάνει ΑΠΑ ότι το αρχείο επεξεργάστηκε επιτυχώς. Διαδικασία ελέγχου στοιχείων της βάσης -------------------------------------- Σε δεύτερη φάση αφού εισαχθούν τα στοιχεία στη βάση θα γίνονται οι έλεγχοι επικύρωσης συνολικά των στοιχείων (νέων και υφιστάμενων). Οι έλεγχοι επικύρωσης των στοιχείων της βάσης περιγράφονται στην :doc:`εδώ `. .. #. Τα εισαγόμενα στοιχεία ανά δομή δεδομένων μετατρέπονται σε πίνακες δομής .. βάσης δεδομένων όπου τα πεδία για τη πηγή των στοιχείων προκύπτουν από το .. HEADER. Σε περίπτωση που για μια δομή δεδομένων υπάρχουν ήδη στοιχεία από .. προηγούμενα προς επεξεργασία αρχεία τότε τα νέα στοιχεία συνενώνονται με τα .. προηγούμενα. .. .. #. Για κάθε πίνακα εάν δεν υπάρχει το STATUS ATTRIBUTE για κάθε μεταβλητή με .. τιμή τότε συμπληρώνεται αυτόματα η τιμή Α για το STATUS ATTRIBUTE εκτός εάν .. έχουν συμπληρωθεί οι ειδικές τιμές MINDATE=1678-01-01 ή '-' για μεταβλητές .. τύπου DATE ή non-DATE αντίστοιχα όπου συμπληρώνεται η ειδική τιμή '-' .. (not-set) για το αντίστοιχο χαρακτηριστικό. .. .. #. Εάν ο πίνακας περιλαμβάνει τη διάσταση VLD_FRM και η διάσταση VLD_FRM δεν .. έχει συμπληρωθεί για κάποια παρατήρηση τότε συμπληρώνεται αυτόματα το .. MINDATE που υποστηρίζει το backend. Για παράδειγμα στην Python το .. MINDATE=1678-01-01. .. .. #. Εάν ο πίνακας περιλαμβάνει τη διάσταση VLD_T και η διάσταση VLD_T δεν έχει .. συμπληρωθεί για κάποια παρατήρηση τότε συμπληρώνεται αυτόματα το MAXDATE .. που υποστηρίζει το backend. Για παράδειγμα στην Python το .. MAXDATE=2200-12-31. .. .. #. Πρώτα επεξεργάζονται και εισάγονται στη βάση οι "alias" πίνακες και ύστερα .. οι υπόλοιποι. Είναι προτιμότερο στοιχεία με συμπληρωμένους τους alias .. πίνακες να υποβάλλονται έως ξεχωριστό αρχείο και να μην συνδυάζονται με .. συμπληρωμένους κάποιους από τους υπόλοιπους πίνακες. Σε περίπτωση που .. γίνει συνδυασμός οι μη alias πίνακες δεν θα λαμβάνουν υπόψη τα νέα στοιχεία .. των "alias" πινάκων. Για τους μη alias πίνακες αντικαθίστανται οι .. αναγνωριστικοί κωδικοί που έχουν alias με το alias authoritative record. .. .. #. Για κάθε εισερχόμενο πίνακα επιλέγονται τα υφιστάμενα στοιχεία της πιο .. πρόσφατης έκδοσης για όλες τις πηγές για τις οντότητες που υποβάλλονται νέα .. στοιχεία. Εάν ο πίνακας στις διαστάσεις του περιλαμβάνει άνω του ενός .. είδος οντοτήτων επιλέγονται όλα τα στοιχεία για τις οντότητες του πρώτου .. είδους. Για παράδειγμα εάν στις διαστάσεις περιέχονται οι διαστάσεις LID, .. RID επιλέγεται το σύνολο της πληροφόρησης για την διάσταση LID. Η επιλογή .. μπορεί να γίνει είτε μέσω του API χρησιμοποιώντας τον προορισμό των πιο .. πρόσφατων στοιχείων ανά πηγή είτε κατευθείαν από τη βάση. .. .. #. Για τα επιλεγμένα υφιστάμενα στοιχεία για κάθε μεταβλητή όπου το STATUS .. είναι ίσο με '-' η τιμή της μεταβλητής αντικαθίσταται με τιμή None (κάποιο .. είδος None που δηλώνει ότι η μεταβλητή δεν είναι συμπληρωμένη). .. .. #. Δημιουργούνται τρία αντίγραφα του νέου εισερχόμενου πίνακα. Στο πρώτο .. αντίγραφο αντικαθίσταται η τιμή του πεδίου SRC_USR με την authoritative .. τιμή του SRC_USR. Στο δεύτερο αντίγραφο αντικαθίσταται η τιμή του .. SRC_ORG με την authoritative τιμή του SRC_ORG και στο τρίτο αντίγραφο .. αντικαθίσταται η τιμή τόσο του SRC_USR όσο και του SRC_ORG με τις .. authoritative τιμές. Οι authoritative τιμές του SRC_ORG και του SRC_USR .. μπορεί να είναι το '0' ή το ''. Τα τρία αντίγραφα προσθέτονται στο νέο .. εισερχόμενο πίνακα. .. .. #. Διπλότυπες εγγραφές με βάση τις διαστάσεις διαγράφονται και αυτή που .. παραμένει διατηρεί τις τελευταίες τιμές των μεταβλητών. Στις γενικές .. οδηγίες δίδονται παραδείγματα. .. .. #. Προσθέτονται στο νέο πίνακα ως κενά τα measures και τα attributes τα οποία .. δεν έχουν αναγγελθεί και είναι προαιρετικά σύμφωνα με το schema. .. .. #. Για τους πίνακες που περιέχουν στις διαστάσεις τους τα πεδία VLD_FRM και .. VLD_T οι νέοι και οι υφιστάμενοι πίνακες ζυγοσταθμίζονται έτσι ώστε να .. έχουν ενιαίες διαστάσεις και συμπληρώνονται τα κενά στις παρατηρήσεις. .. Περισσότερες πληροφορίες στις γενικές οδηγίες. .. .. #. Κενές τιμές στο νέο πίνακα καλύπτονται από μη κενές τιμές από τον .. υφιστάμενο και υπολογίζεται το νέο authoritative record. .. .. #. Στην περίπτωση που υπάρχουν αλλαγές σε σχέση με τον υφιστάμενο πίνακα .. φορτώνονται οι αλλαγές στη βάση. .. .. #. Αφού ολοκληρωθεί η επεξεργασία των στοιχείων για κάθε πίνακα του αρχείου .. τότε συμπληρώνεται η ένδειξη processed=True στο αρχείο επικύρωσης και τα .. στοιχεία της επικύρωσης φορτώνονται στη βάση επικύρωσης.