Paginacja przy importowaniu danych do ServiceNow za pomocą Data Source’a

Wprowadzenie

Obsługa obszernych zestawów danych z interfejsów API często wiąże się z wyzwaniami związanymi z ogromną ilością zwracanych informacji. Paginacja jest kluczową techniką zarządzania i wydajnego pobierania danych w takich przypadkach. Niniejszy artykuł zagłębia się w znaczenie paginacji w ServiceNow podczas pracy z obszernymi danymi zwracanymi za pośrednictwem zapytań REST.

Zrozumienie paginacji

Paginacja polega na dzieleniu dużych zbiorów danych na mniejsze, zarządzalne części lub strony. W interfejsach API REST technika ta ogranicza zwracane dane w ramach żądania poprzez określenie rozmiaru strony i przesunięcia. Metoda ta znacznie ułatwia pobieranie danych, poprawia wydajność i zmniejsza obciążenie zarówno serwera API, jak i aplikacji klienta.

Konfiguracja źródła danych

Jako przykład ilustracyjny, w tym artykule wykorzystano PokeAPI, dobrze znane źródło danych związanych z Pokemonami. Aby rozpocząć konfigurację źródła danych w ServiceNow, konieczne są pewne wymagane warunki wstępne:

1. Dostęp do instancji ServiceNow: Zalogowanie się do instancji ServiceNow.
2. Nawigacja do źródeł danych: Zlokalizowanie i dostęp do sekcji „Data Source” w ramach ServiceNow.
3. Dodanie nowego źródła danych: Utworzenie dedykowanego źródła danych dostosowanego do PokeAPI za pomocą typu Data Stream (IntegrationHub). Konfiguracja obejmuje przypisanie tabeli źródłowej i aliasu połączenia (connection alias). Następny fragment szczegółowo opisuje proces tworzenia Data Source.

Implementacja paginacji

Zarządzanie paginacją w ramach PokeAPI polega na regulowaniu rozmiaru strony i wartości przesunięcia podczas żądań API:

• Definiowanie rozmiaru strony i przesunięcia: Określenie idealnego rozmiaru strony dla wydajnego pobierania danych oraz zarządzanie kolejnymi stronami poprzez dostosowania przesunięcia.
• Konstruowanie wywołania interfejsu REST: Tworzenie niezbędnego wywołania interfejsu REST w ramach ServiceNow, konfiguracja parametrów takich jak limit i przesunięcie dla efektywnej paginacji.
• Obsługa odpowiedzi wielostronicowych: Implementacja logiki pozwalającej na pobieranie kolejnych stron danych oraz ich łączenie lub przetwarzanie w razie potrzeby.

Demo w ServiceNow

Poniżej znajdują się praktyczne kroki implementacji paginacji w Data Stream przy użyciu PokeAPI w ramach platformy ServiceNow:

Przygotowanie: Konfiguracja Data Source’a wymaga istnienia tabeli Import Set oraz aliasu połączenia (connection alias), a także utworzenia Data Stream’a we Flow Designer’ze lub bezpośrednio w Data Source (Data Stream musi być opublikowany, aby był dostępny do wyboru). Dane wejściowe dla Data Stream’a, takie jak limit, rozmiar, URL i filtry, można określić w ramach Data Source’a.
Konfiguracja Data Stream’a: W ramach konfiguracji Data Stream’a definiowane są parametry wejściowe (inputs), takie jak 'Limit’, w celu użycia wprowadzonych informacji w logice paginacji. Można skonfigurować wiele parametrów, tj. limit, rozmiar, URL i filtry, aby usprawnić proces.
Konfiguracja żądania: Ten krok obejmuje określenie metody do użycia (REST/SOAP/JDBC) oraz włączenie kroków paginacji i skryptów do efektywnego zarządzania dodatkową logiką.
Logika paginacji: Konfigurowanie logiki do określenia, czy istnieje następna strona. W tym przypadku obiekt 'next’ może zawierać URL do kolejnej strony, na którą zostanie wysłane kolejne zapytanie.
Paginacja: Tworzenie URL z parametrami paginacji, zapewniające precyzyjne pobieranie danych w kolejnych żądaniach.
Konfiguracja REST: Określenie aliasu połączenia (connection alias) i linku ustanowionego w poprzednim kroku, zapewniających płynną komunikację z interfejsem API.
Przetwarzanie odpowiedzi: Konfiguracja metodyki przetwarzania odpowiedzi.
Podział danych: Wskazanie formatu danych oraz ścieżki dostępu do obiektów. W naszym przypadku ścieżka wygląda następująco: /results
Konfiguracja parsera: Konfiguracja odpowiedzi, klucze pól muszą być zgodne z szablonem w odpowiedzi.
Konfiguracja rezultatów: Określenie struktury wyjściowej, zgodnie z kluczami używanymi w poprzednich krokach.
Testowanie: Dostępna jest opcja przetestowania ładowania danych, która jest ograniczona do 20 wpisów.
Wynik: Ostatecznie 1302 Pokemony zostały dodane do tabeli użytkownika przy użyciu Data Source’a.

Podsumowanie

Techniki paginacji, jak pokazano na przykładzie PokeAPI w ServiceNow, są niezbędne do wydajnego zarządzania obszernymi zestawami danych. Przyjmowanie metod paginacji umożliwia programistom optymalizowanie pobierania danych, wzmacnianie wydajności aplikacji i biegłe radzenie sobie z obszernymi zestawami danych w aplikacjach ServiceNow.