Przypadki użycia importu danych
Import danych przy użyciu istniejącego szablonu
- Wskaż plik danych wejściowych
- Wybierz istniejący szablon
- Załaduj dane wejściowe przy pomocy importera zdefiniowanego w szablonie. Importer wczytuje dane z pliku i przechowuje je w tabelarycznej postaci (TabularData) w pamięci ulotnej.
- Sprawdź poprawność danych w tabeli przy pomocy definicji semantyki danych zapisanej w szablonie
- Pokaż użytkownikowi wszystkie problemy (błędy i ostrzeżenia): brak danych, niezgodność typów danych, powtarzające się wiersze, etc.
- Pozwól użytkownikowi interaktywnie dokonać modyfikacji danych - uzupełnienia brakujących wartości, zignorowania błędów, usunięcia błędnych wierszy.
- Przekonwertuj ostateczny zbiór danych na model zgodny z definicją semantyki danych (np. model billingu)
- Zapisz dane w bazie danych lub innej formie persystencji.
Tworzenie nowego szablonu konwersji
Kolejne kroki:
- Wskaż przykładowy plik danych wejściowych.
- Nadaj nazwę oraz opis nowemu szablonowi
- Wybierz odpowiedni importer - plugin odpowiedzialny za załadowanie danych tabelarycznych (zakładamy, że wszystkie dane są reprezentowalne w ten sposób) z plików o różnych rozszerzeniach: xls, csv, txt, etc. Zadaniem każdego importera jest odczyt danych z pliku danych i ich załadowanie do struktury tabelarycznej. Opcjonalnie wybierz parametry importera (np. separator kolumn, etc).
- Wczytaj porcję danych przy pomocy importera
- Wybierz odpowiednią plugin definiujący semantykę danych. W tym momencie użytkownik decyduje o tym, czy ładowane dane są billingiem, wyciągiem z konta, etc.
- Zmapuj kolumny z definicji semantyki danych do konkretnych kolumn z wczytanego pliku.
- Zapisz tak zdefiniowany szablon.
