Szkolenie z automatyzacji pobierania danych z internetu to nie tylko dziesięć godzin slajdów i gadającej główki. Są jeszcze materiały dodatkowe.

Zacznę od najnowszych. W edycji 2025 pojawił się rozdział o captchach i limitach ruchu, towarzyszy mu pięć aplikacji demonstracyjnych. Trzy pierwsze to najprostsza możliwa implementacja zasobu chronionego za pomocą reCaptchy v2, reCaptchy v3 oraz Cloudflare Turnstile. Uczestnicy mają możliwość zapoznania się z tym, jak działa takie zabezpieczenie, ale nie tylko! Dostępny jest także kod źródłowy oraz instrukcja samodzielnego deploymentu w darmowej usłudze Cloudflare Pages. W ciągu kilku minut możesz rozpocząć własne eksperymenty, np. psuć dostarczone mechanizmy ochrony i sprawdzać, czy to pozwoli na ich ominięcie.

Podobnie jest z dwiema aplikacjami do treningu przemykania poniżej limitów ruchu. Pierwsza wykorzystuje rate limitery Cloudflare, druga implementuje własne limity oparte o liczniki przechowywane w (indeksowanej numerem IP) składnicy klucz-wartość. Również tu można skorzystać z mojej kopii albo zdeployować dostępne źródła we własnej apce Cloudflare Pages.

Do materiałów dodatkowych należy obrazkowa instrukcja konstruowania najprostszego scrapera serverless działającego w chmurze AWS. Korzystamy z usług S3, Lambda, IAM, RDS oraz CloudWatch, by scrapować cyklicznie informacje pogodowe wybranego lotniska. Pierwsza część pozwala na konfigurację mechanizmu zapisującego dane do plików, część druga to opis wysyłania tych danych do bazy MySQL i budowy dashboardu opartego o Grafanę. Korzystamy jedynie z darmowych wersji wspomnianych usług.

wynikowy dashboard - jak widać zima nie rozpieszcza pilotów

Osoby zainteresowane przetwarzaniem i analizą danych znajdą w materiałach dodatkowych pliki z mojego scrapowania długoterminowego wypożyczalni Vozilla oraz Traficar - w wariancie surowym oraz oczyszczonym. Do tego dochodzi kilka drobiazgów, np. scrapery, zescrapowane dane źródłowe oraz skrypty R na bazie których powstało kilka artykułów na blogu Informatyk Zakładowy.

Przypomnienie dla przyszłych uczestników - gdy w przyszłości Szkolenie zostanie wzbogacone o nowe rozdziały czy zasoby, aktualizacja zawsze będzie darmowa dla wszystkich wcześniejszych klientów. Uczestnicy z pierwszej edycji z roku 2022 otrzymali już parę takich aktualizacji.

Na zakończenie refleksja - najczęstsze pytanie, które dostaję w mailach, brzmi: czy w ramach Szkolenia nauczę się narzędzia ABC albo techniki XYZ. Odpisuję oczywiście, jaki zakres tych zagadnień pojawia się w programie, ale czy spełni to oczekiwania pytającego? Czy ma bazę umiejętności, by na nich budować dalsze kompetencje? Tego nie mogę wiedzieć, ale na szczęście jest gwarancja satysfakcji - masz dwa tygodnie na sprawdzenie, czy Szkolenie ci odpowiada. Jeśli nie - wysyłasz jednego maila z informacją, że chcesz dostać zwrot kasy i... dostajesz zwrot kasy. Jeśli wahasz się , czy kupić szkolenie, po prostu je przymierz! Całe ryzyko jest po mojej stronie.

Jeśli temat Szkolenia ze scrapowania nie interesuje cię, możesz wypisać się z maili na jego temat. Kliknij tutaj a nadal będziesz subskrybować newsletter Informatyka Zakładowego, ale nie dostaniesz więcej maili o tym szkoleniu - ani teraz, ani za rok.

Jeśli masz jakiekolwiek pytania, odpisz na tego maila!
Tomek Zieliński