Czym wyróżniała się Ingestia?

Dedykowany system analityczny zaprojektowany w celu automatycznego monitorowania sprzedaży izainteresowania ofertami na platformie. Ingestia pobierała dane non stop, analizując miliony aktywnychaukcji, śledząc zarówno sprzedaż, jak i poziom zainteresowania użytkowników (liczbę wyświetleńaukcji).

Kluczowe funkcje:

• Nieprzerwane zbieranie danych o aukcjach internetowych.
• Śledzenie wyświetleń ofert w czasie trwania aukcji.
• Automatyczne monitorowanie zmian statusu aukcji (sprzedaż, zakończenie).
• Analiza wszystkich kategorii, z priorytetem na wybrane segmenty.
• Dynamiczna kolejka aukcji – optymalizacja pobierania danych.
• Tematyczna segmentacja danych dla lepszej wydajności.

Główne wyzwanie projektu

• Brak oficjalnego API portalu ogłoszeniowego w 2012 roku.
• Przetwarzanie milionów aktywnych ofert w warunkach ograniczonej pamięci.
• Zapewnienie ciągłości zbierania danych mimo zmian w strukturze strony Allegro.
• Optymalizacja pracy Excela dla dużych zbiorów danych.

JAK WYKORZYSTYWANO INGESTIĘ W PRAKTYCE

• Monitorowanie konkurencji i analiza cen w czasie rzeczywistym.
• Identyfikowanie najlepiej sprzedających się produktów w poszczególnych segmentach.
• Analiza popularności nowych ofert i szybkości sprzedaży.
• Podejmowanie decyzji inwestycyjnych  cenowych w oparciu o twarde dane rynkowe
• Wsparcie planowania kampanii sprzedażowych i marketingowych.

• Zbieranie danych non stop bez dostępu do API.
• Śledzenie nie tylko sprzedaży, ale też zainteresowania aukcjami (wyświetlenia ofert).
• Dynamiczna kolejka aukcji – optymalizacja na skalę milionów aktywnych rekordów.
• Skalowalne podejście: podział na segmenty tematyczne i dedykowane dashboardy.
• Praktyczne podejście: system tworzony z myślą o codziennym podejmowaniu decyzji handlowych.

Skalowalność i wyzwania techniczne:

• Ilość danych wymagała dzielenia ich na tematyczne segmenty.
• Każdy segment posiadał własną aplikację Excel połączoną z bazą przez ODBC.
• Pliki raportów osiągały rozmiary kilku gigabajtów.
• Ograniczenia pamięciowe Excela determinowały sposób pracy i organizacji danych.
• Optymalizacja wydajności poprzez podział danych i minimalizowanie nadmiarowych operacji.