Tym razem jest dość spójnie – każdy z poruszonych tematów zahacza o temat AI, każdy robi to jednak z trochę innej strony. Dowiecie się więc więcej o ograniczeniach modelu Codex od Copilota, przeczytacie o burzy związanej z NeuralHashem od Apple, a także dowiecie się, czym jest Dojo od Tesli.
1. Codex API udostępnione w prywatnej becie
Chyba GitHub Copilota ostro wszystkim się już wszystkim wynudził – po dwóch tygodniach szału (gdy efekt współpracy Microsoftu i OpenAI chciał wyskoczyć z lodówki każdego programisty) temat sobie trochę umarł. I choć spodziewam się, że jeszcze wróci, to zapewne potrzebuje jakiegoś mocniejszego kopniaka niż prywatna beta Codex – modelu napędzającego Copilota. Wydaje się, że news ten przeszedł dość mocno pod radarem społeczności.
Codex jest bezpośrednim potomkiem GPT-3, (jednego z najpopularniejszych modeli NLP), wyspecjalizowanym w generowaniu kodu źródłowego. Jak twierdzi OpenAI, najlepiej radzi sobie w Pythonie (nie znalazłem niestety tłumaczenia dlaczego, a przyznam – jest to dość ciekawe), ale cechuje się również biegłością w kilkunastu innych językach, w tym JavaScript, Go, Perl, PHP, Ruby, Swift i TypeScript. Oryginalny “papier” zawiera masę szczegółów technicznych, chętnie wybrałbym się na jakieś PapersWeLove analizujące te bebechy.
Codex ma jednak pewne ograniczenia, które bardzo dogłębnie zanalizowało TechTalks. Efektywność modelu jest bowiem nie jest wprost proporcjonalna do rozmiaru danych testowych. Przy 300 milionach parametrów Codex rozwiązał w statysfakcjonujący sposób 13,2% problemów. Osiągnięcie wyniku dwa razy lepszego (28,8% skuteczności) wymagało już modelu składającego się 12-miliardów przykładów testowych – to prawie 159 gigabajtów kodu źródłowego(!). Jak łatwo się więc domyśleć, może się okazać więc, że nawet dostarczenie całego dostępnego kodu źródlowego jaki wygenerowała ludzkość nie pozwoli nam na osiągnięcie jakości kodu komercyjnego. Psuje to nieco wizję świata, w którym Copilot zastąpi programistów.
Źródła
- OpenAI upgrades its natural language AI coder Codex and kicks off private beta
- [2107.03374] Evaluating Large Language Models Trained on Code
- OpenAI Codex shows the limits of large language models
Odkryj więcej treści IT dopasowanych do Ciebie
W aplikacji Vived znajdziesz artykuły moderowane przez developerów.
Zainstaluj teraz i czytaj tylko dobre teksty!
Zainstaluj teraz i czytaj tylko dobre teksty!
2. Czy wykrycie kolizji w NeuralHash to rzeczywiście coś groźnego? ️♂️
Z kolizją hashy jest jak z czarną wołgą – jest to legenda, którą programiści sobie opowiadają, ale raczej nikt nie widział jej w prawdziwym życiu. Nie wynika to oczywiście z tego, że takowe nie są możliwe do wygenerowania. Ba, jeśli spróbujemy samodzielnie stworzyć własną funkcje hashującą, na pewno zrobimy coś źle. Sprawa wygląda trochę jak z bezpieczeństwem – w 2021 roku nikt nie pisze takowych od zera. Jako branża bazujemy na istniejących, sprawdzonych rozwiązaniach, będąc pewnymi, że “ktoś” je sprawdził.
W ostatnim tygodniu funkcje hashujące były głośnym tematem, wywołały masę dyskusji i kontrowersji – stały się bowiem kolejnym orężem w walce o prywatność. Walce oczywiście z applowską inicjatywą mającą na celu skanowaniu lokalnych zdjęć na telefonach w celu wykrycia fotografii o sygnaturach identycznych z tymi, jaki znajdują się w zasobach organizacji chroniących dzieci przed przemocą seksualną. Temat opisywaliśmy już tydzień temu, jednak dyskusja na ten temat nie bardzo chce się skończyć – i w tym tygodniu mieliśmy do czynienia z kolejnym rozdziałem wspomnianej epopei.
Otóż podczas analiz sposobu działania algorytmu NeuralHash, używanego przez Apple, Cory Cornelius, pracujący jako Research Scientist w Intelu, odnalazł potencjalną “kolizję” hashy w wykrywanych obrazach. Jak łatwo się domyślać, podziałało to jak płachta na byka na wszystkich krytyków rozwiązania Apple – w końcu jeśli taka kolizja jest możliwa, możliwe są też “fałszywe pozytywy”. Oliwy do ognia dodał fakt, że po niecałej dobie od odkrycia na GitHubie pojawił się już generator rzeczonych kolizji. Ogólnie pokazuje to moc “społeczności”, zwłaszcza takiej w nienawiści do Apple wychowanej.
Czy mamy do czynienia z dużym blamażem ze strony firmy? No niekoniecznie. Apple tłumaczy, że analizowana wersja nie jest tą ostateczną. Dodatkowo, tematem zajął się Brad Dwyer, CTO Roboflow – firmy zajmującej się trenowaniem modeli rozpoznających konkretne obrazy. Popełnił on dwie bardzo interesujące publikacje. Pierwsza z nich udowadnia, że tak naprawdę wspomniane kolizje nie stanowią dla Apple problemu z praktycznego punktu widzenia. Druga idzie o krok dalej, uwidaczniając, że tego typu problemy są czymś naturalnym dla wszelkiej maści modeli, również najważniejszych, takich jak ImageNet.
Całość okazała się być burzą w szklance wody. Pewnie gdyby nie wykrycie w kontrowersyjnym modelu, kwestia kolizji hashy nie utrzymywałaby się przez cały tydzień na nagłówkach agregatorów.
Sami podczas dyskusji w zespole mamy sporo wątpliwości na temat działań Apple i jesteśmy świadomi ryzyk z nim związanych. Czego jednak bardzo nie lubimy to nierzetelności i przekręcania faktów, nawet w słusznej sprawie. A na ten moment ciężko jest technologii Apple za wiele zarzucić. Nie raz wytykaliśmy tej firmie hipokryzje, jednak tym razem wszystko wydaje się legitnie – przynajmniej z inżynierskiego punktu widzenia.
Źródła
- Apple Defends Its Anti-Child Abuse Imagery Tech After Claims of 'Hash Collisions’
- Mitigating the Collision of Apple’s CSAM NeuralHash
- ImageNet contains naturally occurring NeuralHash collisions
- Working Collision? · Issue #1 · AsuharietYgvar/AppleNeuralHash2ONNX · GitHub
- anishathalye/neural-hash-collider: Preimage attack against NeuralHash
Odkryj więcej treści IT dopasowanych do Ciebie
W aplikacji Vived znajdziesz artykuły moderowane przez developerów.
Zainstaluj teraz i czytaj tylko dobre teksty!
Zainstaluj teraz i czytaj tylko dobre teksty!
3. Tesla AI Day zapowiada Tesla Bota oraz Dojo – najszybszy superkomputer na świecie
Tesla nieco z zaskoczenia, bez szerszych zapowiedzi, przeprowadziła Tesla AI Day – jego “shadowdrop” nagrania ukazał się czwartkowej nocy na YouTube. W ponad trzygodzinnym pokazie firma przedstawiła swoje najnowsze osiągnięcia w dziedzinie AI. Całość wydarzenia miała charakter głównie rekrutacyjny – Tesla jak każda firma tech potrzebuje najlepszych inżynierów, a tych najłatwiej przyciągnąć pokazując im szałowe projekty. Efekt się powiódł – teraz wszyscy podniecają się Muskowym robotem (nie powiem, jest imponujący), a my, jak ostatnie nerdy, wyłuskamy sobie z zapowiedzi trochę technicznych detali.
Zaczynając od robota, ten obsługiwany jest przez system Autopilot z Tesli (ten sam autopilot, który obecnie jest audytowany przez regulatorów w USA z powodu powodowania wypadków drogowych – ałć). Tesla Bot mierzy 172 centymetrów i waży tylko 57 kilogramów. Sam Elon stwierdził, że jest to dla niego bardzo ważne – Sztuczna Inteligencja w końcu miała nas wszystkich zabić. Dlatego dając jej humanoidalne ciało, inżynierowie zadbali o to, aby każdy był w stanie takowego robota powalić i obezwładnić.
Jednak wydaje się, że głównym daniem było ujawnienie przez Teslę detali swojego nowego superkomputera.
Dojo, bo tak się nazywa, służy do tworzenia modeli do rozpoznawania różnych przedmiotów z danych wideo gromadzonych przez kamery wewnątrz pojazdów Tesli, zbierane na potrzeby wspomnianego Autopilota. Trening modeli wymaga intensywnej pracy obliczeniowej, więc Dojo napędzany jest przez nowopowstałe procesory D1. Powstały w 7-nanometrowy proces produkcyjnym, a ich moc obliczeniowa to aż 362 teraflopsy. Tesla twierdzi, że jest to najszybszy istniejący procesor na świecie. Dla porównania, Xbox Series X posiada 12 teraflopsów -aczkolwiek jest to porównywanie “jabłek do pomarańczy”, ponieważ jednostka Xboxa to CPU ogólnego użytku, a D1 ma bardzo wąski zakres zastosowań co ułatwia osiąganie chorych prędkości. Dokładną analizę nowego procesora możecie znaleźć tutaj. Dojo zaś trafi do użycia w przyszłym roku.
Cóż, wyścig na procesory między największymi graczami trwa. Ciekawie jest znowu obserwować czasy, gdy nie tylko software, ale także hardware odgrywa coraz większe znaczenie dla wszystkich rynkowych graczy. Tesla nie podała jednak, czy zamierza licencjonować swoje procesory innym podmiotom, czy najszybszy komputer na świecie będzie stanowił przewagę konkurencyjną. Może to właśnie dzięki Dojo nastąpi zapowiedziana kolonizacja księżyca.
Źródła
- US investigates Autopilot after 11 Teslas crashed into emergency vehicles
- Tesla details Dojo supercomputer, reveals Dojo D1 chip and training tile module
- Top four highlights of Elon Musk’s Tesla AI Day
Pamiętajcie, żeby spróbować Vived, jeśli chcesz otrzymywać tego typu treści spersonalizowane pod Ciebie!
Odkryj więcej świetnych treści!
- Rozsądna ilość treści
- Tylko wysoka jakość
- Pełne dopasowanie do Twoich potrzeb!
