Dedykowany system analityczny stworzony w 2012 roku w celu automatycznej analizy danych sprzedażowych z popularnej platformy aukcyjno-sprzedażowej
Dedykowany system analityczny zaprojektowany w celu automatycznego monitorowania sprzedaży izainteresowania ofertami na platformie. Ingestia pobierała dane non stop, analizując miliony aktywnychaukcji, śledząc zarówno sprzedaż, jak i poziom zainteresowania użytkowników (liczbę wyświetleńaukcji).
Kluczowe funkcje:
- Nieprzerwane zbieranie danych o aukcjach internetowych.
- Śledzenie wyświetleń ofert w czasie trwania aukcji.
- Automatyczne monitorowanie zmian statusu aukcji (sprzedaż, zakończenie).
- Analiza wszystkich kategorii, z priorytetem na wybrane segmenty.
- Dynamiczna kolejka aukcji – optymalizacja pobierania danych.
- Tematyczna segmentacja danych dla lepszej wydajności.
Główne wyzwanie projektu
- Brak oficjalnego API portalu ogłoszeniowego w 2012 roku.
- Przetwarzanie milionów aktywnych ofert w warunkach ograniczonej pamięci.
- Zapewnienie ciągłości zbierania danych mimo zmian w strukturze strony Allegro.
- Optymalizacja pracy Excela dla dużych zbiorów danych.
JAK WYKORZYSTYWANO INGESTIĘ W PRAKTYCE
- Monitorowanie konkurencji i analiza cen w czasie rzeczywistym.
- Identyfikowanie najlepiej sprzedających się produktów w poszczególnych segmentach.
- Analiza popularności nowych ofert i szybkości sprzedaży.
- Podejmowanie decyzji inwestycyjnych cenowych w oparciu o twarde dane rynkowe
- Wsparcie planowania kampanii sprzedażowych i marketingowych.
Czym wyróżniała się Ingestia?
- Zbieranie danych non stop bez dostępu do API.
- Śledzenie nie tylko sprzedaży, ale też zainteresowania aukcjami (wyświetlenia ofert).
- Dynamiczna kolejka aukcji – optymalizacja na skalę milionów aktywnych rekordów.
- Skalowalne podejście: podział na segmenty tematyczne i dedykowane dashboardy.
- Praktyczne podejście: system tworzony z myślą o codziennym podejmowaniu decyzji handlowych.
Skalowalność i wyzwania techniczne:
- Ilość danych wymagała dzielenia ich na tematyczne segmenty.
- Każdy segment posiadał własną aplikację Excel połączoną z bazą przez ODBC.
- Pliki raportów osiągały rozmiary kilku gigabajtów.
- Ograniczenia pamięciowe Excela determinowały sposób pracy i organizacji danych.
- Optymalizacja wydajności poprzez podział danych i minimalizowanie nadmiarowych operacji.
