Software Craftsmanship Saturday vol. 23

1. Czy potrzebujemy jeszcze Data Scientistów? ‍

Mam wrażenie, że od czasu tak zwanej “Zimy AI”, wszyscy z niezdrową fascynacją przyglądają się rozwojowi tej dziedziny. Obserwatorzy obgryzają paznokcie, starając się zorientować “czy to już ten moment” i czy należy uciekać z tonącego statku. Dlatego też pewnie takim wiralem stał się tekst o nazwie “Wielka Stagnacja Machine Learning” – ludzie podawali go dalej bez lektury, a niektóre komentarze którymi rzeczone shary były opatrzone, wieszczyły apokaliptyczne wizje. Pokazuje to (po raz kolejny), że programiści też potrafią złapać się na clickbaitowy tytuł.

I to tyle jeśli chodzi o elitarność /r/programming

Mimo nieco prześmiewczego tonu mojej wypowiedzi sam w sobie jest naprawdę interesującą lekturą. Autor (nieco ironizując) skupia się na coraz to większej przepaści, oddzielającej świat akademickich badań uczenia maszynowego oraz tego, jak rzeczony Machine Learning jest używany w przemyśle. O ile patrząc z boku nie odrzuciłbym tak z miejsca badań podstawowych w tej dziedzinie, tak trudno nie przyznać autorowi w wielu miejscach racji. W dzisiejszych czasach to “przemysł” i BigTech wydają się pchać dziedzinę do przodu. Optymalizacja metod statystycznych w czasach gdy OpenAI przedstawia swoje Case Studies opisujące klaster ponad 7000 nodów uruchomionych na Kubernetesie dla wielu rzeczywiście może wydawać się być kwestią wtórną.

Memy w tekście są zaiste wyśmienite, Milordzie!

Fakt, że branża odchodzi od sprytnej analizy danych w kierunku po prostu “pasienia” się nimi udowadnia inny ciekawy raport z tego tygodnia: Ponad 70% więcej otwartych pozycji dla “Data Engineerów” w stosunku dla “Data Scientists”. Próbka badawcza jest tutaj dość specyficzna (firmy z Y Combinatora), ale jeśli przyjmiemy, że to właśnie nowe, innowacyjne startupy wyznaczają trendy, kierunek jest dosyć wyraźny.

Prywatna opinia na koniec: Biorąc pod uwagę to, co już w 2021 się wydarzyło, wolałbym nie oddawać pełnej kontroli nad kierunkiem w którym podąża sztuczna inteligencja wielkim korporacjom. Może i dobrze, że naukowcy w swoich białych „wieżach magów” szukają alternatyw nie wymagających do działania wszystkich danych świata. Dodatkowo, aż strach zapytać jaki ślad węglowy ma klaster 7500 maszyn grzejących się od przeliczania modeli MLowych.

Chociaż może jeśli dzięki temu będziemy dostawać porządne remastery gier, to może jednak ten cały klimat nie jest taki ważny .

Źródła:

Machine Learning: The Great Stagnation
We Don’t Need Data Scientists, We Need Data Engineers
Scaling Kubernetes to 7,500 Nodes
BioWare used AI upscaling to remaster Mass Effect’s original textures

2. Rozważania na temat „Cloudu” w kontekście zmiany prezesa Amazona ☁️

Z pewnością najgłośniejszą informacją szeroko pojętego “świata technologii” był fakt odejścia Jeffa Bezosa z pozycji CEO Amazona. Podejrzewam, że każdemu obiło się to o uszy (co tylko pokazuje jak istotną firmą stał się Amazon, że wiadomość o wymianie jej prezesa trafia nawet do igla eskimosów ❄️). Z branżowego punktu widzenia bardzo ciekawą reperkusją tych zmian kadrowych jest fakt, że jego następcą ogłoszony został Andy Jassy, obecna głowa Amazon Web Services. Biorąc pod uwagę jak bardzo dochodową częścią Amazonu stał się AWS ciężko się temu dziwić: Wyniki za rok 2020 nie pozostawiają złudzeń – prawie 14 miliardów dochodu (63% zysku całej firmy) robią wrażenie.

Jak widać Jeff ma dobre ręce w które może oddać firmę i zająć się wreszcie lotami w kosmos jak na multimiliardera w 2021 przystało.

Jest to szczególnie widoczne jeśli porównać to z wynikami Google. Ogłosiło ono, że Google Cloud może pochwalić się przychodami 13 miliardów dolarów, przy stracie operacyjnej wynoszącej bagatela 5,6 miliarda. Pokazuje to, że wszystkie pieniądze wygenerowane przez Google Cloud nie wystarczają żeby zrównać się z zyskiem AWSa. Żeby całą sytuację jeszcze trochę dobić, Google Cloud to nie tylko GCP, ale również popularny G Suite. Co prawda Sundar Pichai, CEO Alphabetu podkreśla że firma jest gotowa na tą inwestycję i ja mu raczej wierzę (w poprzednim roku przyniosła 54 miliardy przychodu), ale znając historię Google z zamykaniem swoich usług, trzy razy zastanowiłbym się przed inwestycją w GCP.

Nasz fotoreporter zdobył dla Was prywatne ujęcie z Investors Callu Alphabetu po ogłoszeniu wyników GCP

Dla „kompletności” dodam, że przychody Azure Microsoft w poprzednim kwartale to prawie 15 miliardów. Nie jestem w stanie dokopać się do informacji jaki jest zysk Chmury Microsoftu (i czy jakiś jest), ale sam Microsoft dalej drukuje pieniądze, rosnąc jak szalony.

A, i żeby nie było, że my tak tylko o w jednak technicznym podsumowaniu – CockroachDB opublikowało fantastyczny raport porównujący wyn
iki każdej z trzech największych chmur pod kątem SLA takich jak latencja czy wydajność procesorów. Bardzo polecamy.

Źródła:

3. Dlaczego Slack nie działał 4 stycznia i co ma z tym wspólnego AWS

A na koniec to co tygryski lubią najbardziej, czyli Post Mortemy

Na początku stycznia doszło do paraliżu wielu firm i organizacji, kiedy okazało się, że Slack przestał działać. Znam co prawda nie jednego programistę który z sytuacji był pewnie zadowolony, ale w świecie pracy zdalnej, fakt że główny firmowy komunikator przestaje działać nieco pracę deorganizuję.

Okazało się, że w samym Slacku wtedy też za wesoło nie było – cała awaria rozpoczęła się od tego, że po kilku początkowych alarmach doszło do pełnej “padaki” systemów monitoringu. Wyobrażam sobie, że działowi SRE nie było wtedy za bardzo do śmiechu.

Kiedy nie wiesz czy możesz podać tytuł filmu bez ryzyka, że algorytm Facebooka obetnie Ci zasięgi…

Dalszy ciąg jest równie ciekawy – okazało się, że przyczyną były problemy związane z “przesyconą” siecią Amazona, które to doprowadziły do dość nieoczekiwanych efektów. Jako, że jednym z czynników, na które nasłuchuje auto-scaling Slacka jest CPU, to w momencie gdy wątki wisiały na timeoutach sieci i CPU się nudziło… doszło do autoamtycznego zmniejszania ilości maszynek (autoskala to niebezpieczna zabawka). Całość “dobiły” automatyczne cronowe joby odpalane o pełnych godzinach. Doprowadziło do tego, że Slack po prostu sobie umarł.

Cały artykuł bardzo klarownie opisuje jak krok po kroku wyglądało zarówno wykrycie, jak i pracę nad naprawą awarii, a także jakie kroki powzięto w jej wyniku – zapraszamy do lektury.