Kilka lat temu we Wrocławiu działała Vozilla, wypożyczalnia samochodów elektrycznych na minuty. Zbankrutowała. Wiedziałem, że to nastąpi, bo od pierwszego dnia działalności śledziłem na bieżąco jej przychody. Oto tekst o algorytmicznym białym wywiadzie.

Na samym początku zastrzeżenie - była to działalność w pełni legalna. Nie miałem żadnego kreta wewnątrz organizacji, nie naruszałem żadnych przepisów. Byłem po prostu ciekawskim klientem potrafiącym z kąkutery.

Wypożyczenia w sieci Vozilla były realizowane przez aplikację na smartfony. W aplikacji użytkownik miał do dyspozycji mapę prezentującą lokalizację pojazdów dostępnych do wypożyczenia. Gdy ktoś inny wypożyczył auto, znikało ono z mapy. Gdy zakończył przejazd - auto pojawiało się.

Współrzędne wszystkich dostępnych pojazdów pochodziły z pliku w formacie JSON, który można było pobierać także spoza aplikacji. Nastawiłem więc automat, który pobierał i zapisywał ten plik co minutę. Przez rok, osiem miesięcy i 26 dni. To jakieś 900.000 plików.

Co można wyczytać z takiego zestawu? Spójrzmy na losy pojedynczego auta. Auto znika z mapy i kilkanaście/kilkadziesiąt później ponownie pojawia się z niższym stanem baterii? Właśnie zaobserwowaliśmy wypożyczenie! Możemy oszacować przychód wypożyczalni, nie przekroczy on czasu wypożyczenia pomnożonego przez stawkę minutową.

Auto znika na dłużej a stan baterii skokowo rośnie? Właśnie zaobserwowaliśmy jego ładowanie. Gdy ogarniemy spojrzeniem całą flotę, będziemy wiedzieć, ile osób zajmowało się zwożeniem aut do ładowania oraz ile energii elektrycznej zużywano podczas tego procesu. Wiadomo też, ile wynosi rynkowa cena leasingu jednego Nissana Leaf (Vozilla miała ich 190).

Mogłem oszacować górną granicę przychodów i dolną granicę kosztów. Niestety, ten biznes się nie spinał.

Do jakich wniosków dojdziesz i jakich obserwacji dokonasz, gdy przez wiele miesięcy gapisz się na mapę wypożyczalni elektryków? Na przykład takich, jak poniżej:

⇧ Sprawdziłem, jak temperatura otoczenia wpływa na zasięg w kilometrach raportowany przez samochody. Widać wyraźnie, że zimą jest on znacząco niższy

⇧ Określiłem średni dobowy czas wypożyczania w minutach na jedno auto floty (w pierwszych tygodniach była to setka aut, potem ich liczba rosła)

⇧ Godziny szczytu w wypożyczalni Vozilla

⇧ Rozkład czasu trwania pojedynczego wypożyczenia

⇧ Stan naładowania baterii samochodów wycofywanych do naładowania i przywracanych do wypożyczania

⇧ Sprawdzałem także, ile samochodów jest trwale unieruchomionych i to, czy wracają do służby.

Wnioski z pierwszych kilku miesięcy obserwacji trafiły do 40-stronicowego raportu [PDF] opublikowanego przez mojego ówczesnego pracodawcę, PGS Software, który sponsorował prace.

Na pytanie "jak" odpowiadam: skutecznie! Sprzedaż mojego flagowego Szkolenia z automatyzacji pobierania danych z internetu trwa tylko do piątku! Bardzo dużą część zgromadzonej tam wiedzy wyniosłem właśnie z wielotygodniowych prac nad raportem o Vozilli.

Zakres Szkolenia jest taki, jak na slajdach poniżej - skupiamy się na pozyskaniu danych ze źródeł internetowych oraz ogarnięciu strategii ich składowania i wstępnego przetworzenia.

⇩ Oto skrócony spis treści, jego rozwinięcie znajdziecie na stronie scrapowanie.pl. Poniżej zwrócę uwagę na kilka elementów, które stanowią o unikalności szkolenia i potwierdzają, że zawarłem tam mnóstwo wiedzy wynikającej z praktyki, nie teorii!

⇩ W rozdziale drugim nie próbuję udawać, że znam się na prawie, tylko przez 20 minut wypytuję o legalność scrapowania radcę prawnego Mirelę Perczak.

⇩ W rozdziale trzecim przypominam podstawy protokołu HTTP, ale wskazuję też że prosty timeout to tak naprawdę sześć lub siedem osobnych scenariuszy. Przy odpowiednio dużej skali doświadczysz każdej z tych sytuacji.

⇩ Czasem nie mogę się powstrzymać i przemycam trochę wiedzy niepotrzebnej, ale bardzo ciekawej!

⇩ Yo Dawg, lubisz format JSON? Możesz go lubić mniej, gdy się dowiesz, że pośród kilkudziesięciu parserów JSON nie ma dwóch jednakowo traktujących przypadki brzegowe

⇩ Przykładów pt. "ja tak zrobiłem i żałowałem" jest w szkoleniu więcej

⇩ No elo

⇩ Potraficie z głowy powiedzieć, jak działają prefiksy kluczy w S3 i jaki mają wpływ na wydajność operacji? Jeśli jest to dla ciebie "znana niewiadoma", poradzisz sobie. Jeśli jest to "nieznana niewiadoma", możesz nie rozumieć, dlaczego nagle chmura AWS jest tak wolna.

⇩ To prawie tak proste, jak rzucanie palenia. Oraz, jak zwykle, w teorii praktyka nie różni się od teorii.

⇩ Wspominałem, że są przykłady z życia...

⇩ ... oraz analiz na blogu Informatyk Zakładowy? Tutaj parsuję portal Albicla.

⇩ Nie waham się też odsyłać do najlepszych edukatorów jacy są!

Wracając do tematu - po przerobieniu Szkolenia z automatyzacji pobierania danych z internetu będziesz w stanie samodzielnie przeprowadzać operacje pobierania, organizacji, składowania i wstępnej obróbki dużych oraz małych zestawów danych.

Vozilla to tylko jeden przykład - scrapowałem też przez prawie dwa lata Traficara. Zgromadziłem milion plików i miliard punktów danych, przepuściłem przez algorytmy uczenia maszynowego i dowiedziałem się, jaki wpływ na utylizację floty ma sezonowa zmienność wynikająca z trendów długoterminowych, wakacji i świąt, dni tygodnia, czy pory dnia (w weekendy i dni robocze). Tę analizę możecie przeczytać po angielsku tutaj.

Jeśli Szkolenie cię zainteresowało, ale nie masz pewności, czy będzie ci odpowiadał styl narracji albo poziom zaawansowania - daję gwarancję satysfakcji! Przez dwa tygodnie od zakupu możesz dokonać bezwarunkowego zwrotu. Możesz nawet przerobić całe szkolenie! Jeśli dojdziesz do wniosku, że nie były to dobrze wydane pieniądze, wystarczy jeden mail a ja koryguję fakturę do zera i zwracam Ci całą kasę.

No i tak wygląda cały ten biały wywiad. Nieźle, nie? Wpatrujemy się w mapę a w efekcie wiemy, ilu pracowników wypożyczalni zajmuje się obsługą floty i ile przychodu przynosi każde auto. Jeśli chcesz tak umieć, to wiesz, gdzie kliknąć.

A sama Vozilla? Nigdy nie osiągnęła rentowności, gwoździem do trumny była pandemia COVID. Działalność wypożyczalni zakończyła się 30 kwietnia 2020.

Jeśli temat Szkolenia ze scrapowania nie interesuje cię, możesz wypisać się z maili na jego temat. Kliknij tutaj a nadal będziesz subskrybować newsletter Informatyka Zakładowego, ale nie dostaniesz więcej maili o tym szkoleniu - ani teraz, ani za rok.

Jeśli masz jakiekolwiek pytania, odpisz na tego maila!
Tomek Zieliński