Jak pół sekundy uratowało świat przed zagładą?

Summary

The video script narrates a sophisticated attack on open-source software, specifically the xz compression tool, which led to a backdoor in SSH servers. It details the patient and methodical infiltration by a user named Jia Tan, who exploited the trust in the open-source community to insert malicious code. The script discusses the discovery of the vulnerability, its implications, and the response from the community, highlighting the importance of vigilance in software development and the potential risks of relying on unverified code.

Takeaways

• 🌐 The script discusses the potential for taking over the world with patience, skills, and deep pockets, but emphasizes the importance of luck in preventing a catastrophe.
• 💻 It highlights the reliance on servers for internet usage, many of which run on Linux and similar systems, and the use of SSH (Secure Shell) for secure remote access.
• 🔍 The potential vulnerability of openSSH is mentioned, where malicious code could be inserted into its source code to gain unauthorized access to millions of devices.
• 🕵️‍♂️ The script describes the difficulty of executing such an attack due to the scrutiny openSSH receives, with thousands of eyes checking what goes into production.
• 📦 It introduces the concept of a supply chain attack, which can compromise systems without altering the source code of openSSH, as seen in the case of the xz compression tool.
• 🗓️ The story of a vulnerability in openSSH related to the Debian user's discovery in 2015 is recounted, which led to a bug that wasn't visible during system startup.
• 👨‍💻 The role of Lasse Collin as the primary maintainer of xz is discussed, along with the impact of his personal issues on the project and the subsequent involvement of Jia Tan.
• 🐴 The script details a sophisticated attack involving the introduction of malicious code into the xz package, which was then stealthily included in the compilation process of Debian packages.
• 🔑 The attack's mechanism is explained, where a specially crafted public key could trigger a backdoor in the SSH service, allowing unauthorized access if the key matched a specific pattern.
• 🕊️ The aftermath of the attack includes the quick response from the community to isolate and remove the infected versions of xz, and the assignment of a CVE identifier CVE2024-3094.
• 🕵️‍♀️ The script speculates on the identity of Jia Tan, suggesting that the level of sophistication points towards a state-sponsored operation rather than an individual actor.

Q & A

What is the main topic discussed in the script?

The script discusses a complex security breach involving the open-source project xz, which led to a backdoor being introduced into many Linux systems through a supply chain attack.

What is SSH and why is it important for internet servers?

SSH, or Secure Shell, is a protocol used for secure remote access to servers. It is important for internet servers because it allows administrators to manage servers remotely while ensuring the security of the connection.

What is the significance of openSSH in the context of this script?

OpenSSH is an implementation of the SSH protocol that is widely used on Linux and other servers. The script suggests that a vulnerability in openSSH could potentially be exploited to gain unauthorized access to millions of internet-connected devices.

What is a supply chain attack and how was it used in this case?

A supply chain attack is a type of cyber attack where the security of a system is compromised by manipulating the software supply chain. In this case, the attack involved introducing malicious code into the xz compression tool, which is used during the packaging process of openSSH, thereby affecting many Linux systems.

Who is Lasse Collin and what is his role in the xz project?

Lasse Collin is the primary maintainer of the xz compression tool, which is a popular open-source project. He has been largely responsible for its development and maintenance, making him a key figure in the security breach discussed in the script.

What role did Jia Tan play in the security breach?

Jia Tan, using the GitHub account JiaT75, infiltrated the xz project by gaining the trust of Lasse Collin and eventually becoming a co-maintainer. Jia is suspected of introducing the malicious code that led to the security breach.

What was the impact of the security breach on the open-source community?

The security breach highlighted the vulnerability of relying on a single maintainer for critical open-source projects and raised concerns about the security of the software supply chain. It also prompted a call for better support and vetting processes within the open-source community.

What is CVE2024-3094 and how was it related to the security breach?

CVE2024-3094 is the identifier for the vulnerability that was exploited in the security breach. It was assigned to the specific flaw in the xz package that allowed the backdoor to be introduced.

What was the half-second delay observed by Andres Freund and how was it connected to the security breach?

Andres Freund, a Microsoft employee, noticed a half-second delay in SSH login attempts on his Debian Sid system. This unusual behavior led him to investigate and ultimately discover the backdoor in the xz package, which was actively delaying the SSH authentication process.

What actions were taken by the Linux distributions in response to the security breach?

In response to the security breach, most Linux distributions quickly removed the infected versions of xz from their repositories and enforced the installation of older, unaffected versions during system updates to protect their users.

What is the broader implication of this security breach for the use of open-source software in critical systems?

The breach underscores the need for robust security practices in open-source projects, especially those that are widely used in critical systems. It suggests that more rigorous vetting, community engagement, and possibly financial support are necessary to ensure the security and sustainability of such projects.

Outlines

00:00

😲 The Perils of OpenSSH and Supply Chain Attacks

This paragraph discusses the potential for taking over the world with patience, skills, and deep pockets, but also the importance of luck in avoiding disaster. It delves into the necessity of servers for internet usage and the common use of Linux and similar systems. The script explains the role of SSH (Secure Shell) for remote access and the prevalence of openSSH, which could be a tempting target for malicious actors. The paragraph highlights the difficulty of infiltrating such critical software due to the scrutiny it receives, but then introduces the concept of supply chain attacks, which can compromise software without altering its source code. The story of a vulnerability found in the Debian user's openSSH service is used to illustrate how such an attack could unfold, affecting thousands of security professionals and system administrators globally.

05:03

🕵️‍♂️ The Deceptive World of Open Source Software and Security

The narrative continues with the tale of the xz compression tool, widely used in open-source software, and its maintainer Lasse Collin. It describes how Jia Tan, a new contributor, gains trust and eventually takes over the project, introducing a subtle change that goes unnoticed. This change is later revealed to be a backdoor in the xz package, which could affect millions of devices. The paragraph details the gradual shift of control from Lasse to Jia, the introduction of a seemingly insignificant fix, and the eventual discovery of the backdoor by Andres Freund, a Microsoft employee, who noticed unusual behavior in his Debian Sid installation. The discovery sparks a crisis in the open-source community, with GitHub suspending accounts and blocking access to repositories, complicating the analysis and response to the security breach.

10:10

🔒 Unraveling the xz Backdoor: A Closer Look at the Attack

This section provides a deeper analysis of the xz backdoor attack, explaining the technical details of how the malicious code was introduced and operated. It describes the obfuscation techniques used to disguise the attack and how the build process for the xz package was manipulated to include the backdoor. The paragraph explains the use of test files that were secretly binary executables, which were transformed into a functioning part of the code during the package build process. It also details how the backdoor was integrated into the xz package without altering the openSSH source code, and how the attack was nearly successful had it not been for the vigilance of community members and the slight delay in SSH login times that tipped off researchers.

15:16

🕵️‍♀️ The Mysterious Jia Tan: Unmasking the Culprit Behind the Attack

The paragraph delves into the investigation surrounding Jia Tan, the individual behind the xz backdoor attack. It discusses the clues and evidence gathered by the community, including GitHub activity, IRC logs, and email addresses. The analysis suggests that Jia Tan operated with a high level of operational security, avoiding common mistakes that would typically reveal their identity. The paragraph also explores the possibility that Jia Tan may not be a single individual but rather a well-coordinated effort by a state-sponsored group, given the sophistication and duration of the operation. It highlights the challenges in attributing responsibility for such attacks and the complexities involved in tracing the activities of the perpetrator.

20:19

🌐 The Impact on Open Source and the Importance of Vigilance

The final paragraph reflects on the broader implications of the xz backdoor attack for the open-source community and the businesses that rely on it. It discusses the paradox of companies benefiting from open-source projects without providing financial support, and the potential risks of depending on small, specialized libraries maintained by individual enthusiasts. The paragraph also touches on the dangers of using experimental software in production environments and the increased awareness that such attacks can bring to the community. It concludes by highlighting the importance of careful code audits and the need for caution when integrating third-party libraries into software projects.

Keywords

💡OpenSSH

OpenSSH is an open-source version of the SSH connectivity protocol, which is widely used for secure remote access to servers. In the video's context, it is highlighted as a critical component of internet infrastructure that, if compromised, could have severe security implications. The script discusses the potential vulnerability in OpenSSH due to a supply chain attack on its dependencies.

💡Supply Chain Attack

A supply chain attack is a type of cyber attack where the security of a system is compromised by targeting the software supply chain. In the video, this concept is central to the narrative of how an attacker infiltrated the xz compression tool, which is a dependency for OpenSSH, to gain unauthorized access to numerous devices.

💡CVE2024-3094

CVE2024-3094 is a unique identifier for a specific security vulnerability. In the video, it is assigned to the vulnerability found in the xz compression tool that was exploited in the supply chain attack. This CVE number is used to track and manage information about the vulnerability.

💡Backdoor

A backdoor in computing is a method of bypassing the normal authentication process of a computer system. The video describes how the attacker inserted a backdoor into the xz compression tool, which was then used to gain unauthorized access to systems using the compromised OpenSSH.

💡Liblzma

Liblzma is a library that provides compression and decompression using the LZMA algorithm, which is part of the xz package. The script explains how a vulnerability in liblzma was exploited in the supply chain attack, affecting the functionality of OpenSSH.

💡Systemd

Systemd is a system and service manager for Linux operating systems. In the video, it is mentioned as the demon that OpenSSH communicates with to notify about its service status. The compromised liblzma library is loaded by OpenSSH because of its dependency on systemd, which in turn loads the vulnerable code.

💡SSH Key

An SSH key is a pair of cryptographic keys used for authenticating to an SSH server. The video explains how the attacker used a specially prepared SSH key to trigger the backdoor in the compromised OpenSSH, allowing unauthorized access to the system.

💡ED488

ED488 is a cryptographic algorithm mentioned in the video as being used to encrypt the SSH key in a different way than the standard RSA. The script describes how the attacker's SSH key, encrypted with ED488, was used to exploit the vulnerability in OpenSSH.

💡Honeypot

A honeypot in cybersecurity is a decoy system set up to attract and trap attackers. The video mentions the creation of a honeypot to detect attempts to exploit the discovered vulnerability, illustrating the proactive measures taken by the community to monitor and mitigate the attack.

💡Open Source

Open source refers to software whose source code is available for modification and enhancement by anyone. The video discusses the importance of supporting open-source projects, as they form the backbone of many critical systems, and the potential risks when they are not adequately maintained or funded.

💡Security Audit

A security audit is a systematic examination of a system's security measures and policies. The script mentions the upcoming security audit and cleanup of the GitHub repositories affected by the attack, emphasizing the importance of reviewing and verifying the integrity of the software supply chain.

Highlights

The concept of taking over the world with patience, skills, and deep pockets is humorously introduced.

The necessity of servers for internet usage and their frequent operation under Linux distributions is discussed.

SSH (Secure Shell) is highlighted as a crucial protocol for remote server access.

The potential vulnerability of openSSH to malicious actors seeking unauthorized access is considered.

The difficulty of infiltrating openSSH due to the scrutiny of thousands of eyes is noted.

A supply chain attack method is introduced as an alternative to directly tampering with openSSH's source code.

The story of a Debian user discovering a bug in openSSH's communication with systemd in 2015 is recounted.

The role of Lasse Collin and the xz compression tool in the openSSH package building process is explained.

The rise of Jia Tan as a contributor to the xz project and eventual maintainer is detailed.

Suspicions about Lasse's neglect of the xz project and the community's response are explored.

The discovery of a backdoor in the xz package through a subtle change in the oss-fuzz tool is revealed.

The impact of the backdoor on millions of devices and the response from the open-source community is discussed.

The technical details of how the backdoor operates and its integration into the xz package is explained.

The discovery of the half-second delay in SSH logins that led to the detection of the backdoor is highlighted.

The potential use of the backdoor for unauthorized access to systems is examined.

The broader implications for open-source projects and the need for community vigilance is emphasized.

The response of various Linux distributions to the vulnerability and the removal of infected xz versions is noted.

The investigation into Jia Tan's identity and the potential state-sponsored nature of the attack is presented.

The importance of not using production environments for testing and the risks associated with it are discussed.

Transcripts

Cześć!

Jak przejąć władzę nad światem?

Cóż, być może wystarczą lata cierpliwości,

olbrzymie umiejętności i bardzo głębokie kieszenie.

Ale przede wszystkim trzeba nie mieć pecha.

Bo to w sumie właśnie łut szczęścia uratował nas wszystkich przed katastrofą.

O co chodzi?

Aby korzystać z internetu, jaki znamy, potrzebujemy serwerów.

Sporo serwerów.

Te najczęściej działają pod kontrolą różnej maści Linuksów i im podobnych.

A kiedy trzeba mieć do nich zdalny dostęp, bez czego ani rusz,

wykorzystuje się protokół SSH, czyli secure shell.

Jego implementacja, openSSH, działa na praktycznie każdym linuksowym i nie tylko serwerze.

Nic dziwnego.

Pozwala na zdalny, a zarazem naprawdę całkiem bezpieczny dostęp.

Potencjalnie więc openSSH mogłoby być bardzo łakomym kąskiem dla kogoś o złych zamiarach,

chcącego uzyskać nieautoryzowany dostęp do tysięcy czy nawet milionów urządzeń podłączonych do Internetu.

Wystarczyłoby przecież w jakiś sprytny sposób

dodać do kodu źródłowego openSSH kilka swoich linijek i tylko czekać,

aż jakaś kolejna aktualizacja wypchnie je na urządzenia na całym świecie.

Pomysł może i genialny, ale z wykonaniem zdecydowanie trudniej.

No bo na tak istotne oprogramowanie patrzą tysiące oczu, pieczołowicie sprawdzając, co trafia na produkcję.

Szansa, że uda się prześlizgnąć jest więc naprawdę bliska zeru.

Jak się jednak okazuje,

istnieją sposoby, aby solidnie namieszać, wcale nie dotykając kodu źródłowego openSSH,

a stosując tak popularny ostatnimi czasy atak na supply chain.

W jaki sposób zepsuto minioną Wielkanoc tysiącom bezpieczników i administratorów systemów na całym globie,

mnie zresztą też?

Usiądźcie wygodnie, czas na opowieść.

Zapraszam!

Dawno, dawno temu, czyli jakoś na początku 2015 roku, pewien użytkownik Debiana zauważył,

że kiedy podczas uruchamiania systemu usługa openSSH nie wystartuje z powodu jakiegoś błędu,

to wcale nie widać tego faktu i wygląda na to, że wszystko poszło zgodnie z planem.

Problem leżał na linii komunikacji openSSH z demonem odpowiedzialnym

m.in. za uruchomienie systemu operacyjnego, czyli systemd.

Powstała więc łatka, która miała to zachowanie naprawić.

Jednak okazało się to wcale nie tak trywialnym zadaniem, jak początkowo sądzono.

Aby poprawka została dołączona w procesie budowania pakietu gotowego do instalacji,

potrzebne było skorzystanie z jakiegoś programu do kompresji danych.

Wybór padł na algorytm lzma będący częścią linuksowego pakietu xz.

To dość popularne narzędzie stworzone i utrzymywane w dużej mierze przez jedną osobę, Lasse Collina.

Popularność xz urosła z czasem do bardzo wysokiego poziomu,

bo aż ciężko sobie wyobrazić, ile oprogramowania na całym świecie jest dziś od niego zależnych.

Sprawiło to, że chcąc nie chcąc Lasse stał się poniekąd za działanie tego oprogramowania częściowo odpowiedzialny,

bo cokolwiek popsutego w xz tak naprawdę może mieć wpływ na miliony urządzeń na całym świecie.

Co warto jednak w tym miejscu podkreślić,

serwer openSSH sam w sobie nie wymaga do instalacji pakietu xz,

jednak sposób, w który jest on dostarczany na systemy użytkowników Debiana już tej paczki potrzebuje.

W październiku 2021 roku, w sumie znikąd,

do dziesiątek milionów użytkowników GitHuba dołącza Jia Tan, korzystając z loginu JiaT75.

Sugeruje jakieś drobne poprawki w różnych projektach, aby po roku zainteresować się pakietem xz.

Szybko zaczyna istotnie wspierać głównodowodzącego do tej pory projektem Lasse.

Tworząc choćby testy, co jest żmudnym zadaniem, którego nikt nigdy nie chce się podjąć.

Mija niecały rok, gdy w okolicach czerwca 2022 roku zaczynają pojawiać się w stosunku do Lasse zarzuty,

że zaniedbuje tak istotny przecież projekt.

Padają one z klawiatur kont, które w sumie nie za wiele innego na GitHubie zrobiły.

Lasse w odpowiedzi informuje o swoich osobistych problemach, w tym mentalnych,

które uniemożliwiają mu poświęcanie na rozwój xz więcej czasu.

Zresztą warto pamiętać, że to projekt otwartoźródłowy, za który nikt mu nie płaci złamanego centa,

a robi to tylko z własnej, nieprzymuszonej woli,

więc jakiekolwiek wymagania w tej kwestii są dość niedorzeczne.

Niestety, zamiast zrozumienia i wsparcia spotyka się głównie z dalszymi zarzutami

i obwinianiem go o duszenie projektu oraz sugestiami, żeby przekazał go komuś innemu.

Lasse odpowiada, że Jia ostatnio sporo mu pomaga i być może jest to jakieś rozwiązanie w przyszłości.

Zresztą Jia w wątku broni Lasse tłumacząc, że jest to projekt hobbystyczny.

Dokładnie jak w metodzie na dobrego i złego policjanta.

W końcu po jakimś czasie następuje zmiana na stanowisku głównego lidera xz, bo rolę tę przejmuje Jia.

Na początku 2023 roku konto JiaT75 zatwierdza samo po raz pierwszy zmiany w projekcie,

a w marcu adres do kontaktu w sprawie repozytorium zostaje zmieniony z pierwotnego, należącego do Lasse na maila Jia.

W tym miejscu pojawia się jeszcze jedno konto pod imieniem i nazwiskiem Hans Jansen,

które wprowadza jedną poprawkę i nic więcej.

Jia ją akceptuję.

Mało znaczący fakt, który jednak będzie dość istotny później.

W czerwcu Jia zgłasza bardzo drobną poprawkę do narzędzia oss-fuzz autorstwa Google,

służącego do testowania otwartego oprogramowania.

Rzekomym powodem są problemy z kompatybilnością, po wprowadzeniu wcześniejszych zmian w xz.

Poprawka zostaje bez zastrzeżeń zaakceptowana.

W lutym bieżącego roku Jia informuje utrzymujących oss-fuzz,

że adres projektu xz uległ zmianie, bo doszła do niego dodatkowa subdomena.

Adres nie prowadzi już jak dotychczas do hostingu w Finlandii, ale prosto do repozytorium na GitHubie.

Osoba Lasse coraz bardziej znika ze świadomości, a Jia w międzyczasie rośnie w siłę w ramach xz.

Pojawiają się kolejne poprawki oraz wypuszczane są kolejne wersje xz.

Zaczyna się też sugerowanie utrzymującym paczki w poszczególnych dystrybucjach Linuksów,

aby szybko, jak najprędzej wrzucali aktualizacje do swoich testowych gałęzi.

Jednym z nalegających jest...Hans Jansen.

Ten od jednej, jedynej poprawki.

Wtórują mu inne konta, które w sumie nie robiły do tej pory nic innego, albo zostały dopiero co utworzone.

Jest 29 marca.

Wielkanocny piątek.

Osobiście nie mogę się doczekać, kiedy moją krew zastąpi ekstrakt z sałatki jarzynowej,

jednak okazuje się, że to tylko cisza przed burzą.

Z samego rana na grupie dyskusyjnej oss-security na openwallu pojawia się wiadomość zaniepokojonego Andresa Freunda,

pracownika Microsoftu rozwijającego PostgreSQLa.

Twierdzi on, że w ostatnich tygodniach zaobserwował jakieś dziwne zachowania swojej instalacji Debiana Sid,

czyli w wersji testowej.

Zdalne logowanie poprzez serwer SSH zajmowało zdecydowanie więcej czasu niż zwykle i nie dawało mu to spokoju.

Więcej o ile? – zapytacie.

Ano jakieś 500 milisekund, czyli pół sekundy.

Tak, pół sekundy opóźnienia spędzało Andresowi sen z powiek, tak bardzo,

że postanowił poświęcić na rozwikłanie tej zagadki dobrych parę tygodni.

Andres szybko zdementował jednak przypisywane mu nadludzkie zdolności,

bo to nie jego chronograf w głowie wykazał różnice, a po prostu akurat przeprowadzał testy w tej sprawie.

Jego uwagę przykuł fakt, że nieudane próby logowania z podaniem złych danych

powodowały znaczny wzrost zużycia procesora, co nie miało na pierwszy rzut oka większego sensu.

No i tu zaczęło się łączenie kropek.

Źródłem problemu jego zdaniem miała być biblioteka liblzma, czyli część pakietu xz.

Głębsza diagnoza jednak mroziła krew w żyłach.

Zdaniem Andresa produkcyjny pakiet xz stał się koniem trojańskim.

Początkowo sądził, że dotyczy to jedynie repozytorium Debiana, jednak szybko okazało się to sporym niedoszacowaniem,

bo chodziło o większość dystrybucji.

Co ciekawe, problem występował tylko w prekompilowanych paczkach.

W programie kompilowanym ze źródła wszystko działało jak należy.

Dlaczego?

Ponieważ złośliwy kod dodawany był w bardzo sprytny sposób

poprzez skrypty na etapie automatycznej kompilacji do formatu deb lub rpm.

W dodatku wszystko było bardzo, ale to bardzo dobrze ukryte udając prowadzenie testów w taki sposób,

że na pierwszy rzut oka nie było tam niczego niepokojącego.

Andres postawił też tezę, że nie jest to po prostu wykorzystanie czyjegoś zaufanego konta, aby coś na szybko wstrzyknąć,

a metodyczne od paru tygodni zachowanie i jest to po prostu jego zwieńczenie.

Wiadomość ta gruchnęła jak grom z jasnego nieba, w dodatku w idealnym wręcz momencie.

Łączę się w bólu z wszystkimi administratorami, którzy w całym tym zamieszaniu zresztą tak jak ja,

próbowali łapać wszelkie ochłapy informacji, aby ustalić, czy ich systemy również mogły potencjalnie zostać zaatakowane.

Całej sytuacji wcale nie pomógł GitHub.

Zawiesili oni co prawda szybko konto JiaT75, ale też zablokowali dostęp do repozytorium xz,

więc aby dokonać analizy kodu trzeba było uciekać się do lokalnych kopii albo forków projektu.

Niestety zbanowali też konto Lasse, choć w tej sytuacji wydawał się on osobą,

która mogła o sprawie wiedzieć najwięcej i najbardziej pomóc w rozwiązaniu tego palącego problemu.

No ale nie dziwne, że w całym tym ferworze, dopiero później zaczęto weryfikować jego intencje.

Konto Lasse zostało na szczęście szybko odblokowane i ruszył on na pomoc i gdzie tylko mógł,

zaczął wycofywać wprowadzone przez Jia zmiany oraz informował na bieżąco społeczność o swoich odkryciach.

Podatności przypisano oczywiście odpowiedni numer CVE2024-3094 i jest to podatność 10 na 10.

Szybko ustalono, że zawierają ją tylko dwie wersje xz – 5.6.0 oraz 5.6.1 podpisane cyfrowo przez Jia.

Wcześniejsze wersje podpisane przez Lasse nie zawierały złośliwego kodu.

Kiedy już kurz opadnie, ma ukazać się wersja 5.8.0, która odetnie projekt od przeszłości.

Większość dystrybucji szybko usunęła ze swoich repozytoriów zainfekowane wersje xz

wymuszając tym samym instalację starszej wersji w momencie, kiedy ich użytkownicy przeprowadzą aktualizację.

Tylko co właściwie wykombinował ten cały Jia?

Ten atak to majstersztyk, ale wytłumaczenie w pełni jak został przeprowadzony nie jest wcale proste.

Zainteresowanych szczególnie zachęcam do sprawdzenia bloga Gynvaela Coldwinda oraz innych źródeł,

do których linki znajdziecie w opisie.

Ja postaram się o szybkie streszczenie i z góry przepraszam za ewentualne uproszczenia.

Cały łańcuch, który prowadzi do finalnego zaatakowania gotowej paczki xz złośliwym kodem ma kilka etapów.

Każdy z nich jest na swój sposób obfuskowany, aby nie budzić podejrzeń na pierwszy rzut oka.

Jia dodał do repozytorium dwa niewielkie binarne pliki, które wyglądały po prostu jak pliki wykorzystywane do testów.

A to pewnie ostatnie miejsce, w które ktokolwiek z deweloperów by zaglądał, bo i po co?

Wiadomo, potrzebna sprawa, ale nuda straszna, lepiej zająć się czymś innym.

Podczas budowania gotowego pakietu przeznaczonego do szerokiej dystrybucji,

dwie dodane do skryptów konfiguracyjnych linijki kodu, sięgają po te rzekome testowe pliki, rozpakowują je,

a potem zamieniają ze sobą dwie pary znaków, tak samo jak funkcją znajdź i zamień.

W ten sposób coś, co wyglądało wcześniej jak nieistotny bełkot, staje się nagle działającym fragmentem kodu.

Drugi z plików testowych też jest filtrowany i modyfikowany w inny sposób, jednak w tym samym celu.

Złożenie tego w całość tworzy skompresowany plik, który wystarczy po prostu rozpakować.

Klocki zaczynają sukcesywnie trafiać na swoje miejsce.

Następnym krokiem jest przygotowanie na tej podstawie pliku zawierającego kod maszynowy,

który niepostrzeżenie integrowany jest w trakcie kompilacji programu.

Miesza się tu kod źródłowy, kod maszynowy korzysta szeroko z grepa, awka, kompresji i dekompresji.

Ogólnie naprawdę wyrafinowana sprawa.

Et voila. Gotowe.

Właśnie do xz trafiła jakaś magiczna funkcja, której nie znajdziemy nigdzie w kodzie źródłowym,

a jest zwyczajnym backdoorem.

Ba! Jia przygotował nawet mechanizm, który pozwalałby na dalszy rozwój możliwości tego konia trojańskiego,

dodając po prostu następne pliki testowe, aby nie wzbudzać podejrzeń.

Na drodze do próby przejęcia władzy nad światem,

pierwsza wersja zawierająca dodatki okazała się generować błędy przy kompilacji,

co wraz z pomocą innych specjalistów zostało szybko naprawione w kolejnej, szybko wypuszczonej wersji xz.

I nikt nie zauważył, że coś jest bardzo nie-tak,

aż do czasu, gdy Andres nie zwrócił uwagi na półsekundowe opóźnienie przy logowaniu.

Dodajmy – zwrócił w ostatnim momencie, bo gdyby minęło parę dni albo tygodni,

luka ta rozeszłaby się pewnie szeroko po całym świecie.

Tylko na co tak właściwie pozwalała?

Po przeprowadzeniu procesu inżynierii wstecznej przez społeczność dowiedzieliśmy się, co chciano osiągnąć.

No bo co xz odpowiedzialne za kompresowanie danych ma w ogóle z logowaniem przez SSH wspólnego?

No bezpośrednio to niby nic, ale – uwaga – będzie grubo.

Żeby system operacyjny w ogóle wiedział, że usługa SSH działa, to musi ona o sobie dać znać demonowi systemd.

Korzysta więc z funkcji sd_notify, która zawarta jest w bibliotece libsystemd.

Żeby móc to zrobić, openSSH musi załadować ją do pamięci.

Ta biblioteka zależna jest od innej biblioteki – liblzma, a więc siłą rzeczy ją też trzeba wczytać.

A to ona właśnie jest częścią zainfekowanego pakietu xz.

Wiemy już więc jak się tam znalazła, ale teraz jak to wykorzystać?

Łącząc się do serwera SSH przesyłamy swój klucz publiczny,

aby się niejako przedstawić i potwierdzić, kim właściwie jesteśmy.

W miejsce tego klucza atakujący wstawia specjalnie spreparowany łańcuch znaków,

który też jest kluczem, ale zaszyfrowanym w inny sposób z wykorzystaniem mechanizmu ED488, a nie RSA.

Funkcja, która ma za zadanie ten klucz sprawdzić, została po prostu podmieniona, aby robiła coś więcej.

Zamiast po prostu sprawdzić poprawność klucza, najpierw próbuje porównać go z posiadanym wzorcem.

Jeżeli to porównanie się zgadza, to znaczy, że do drzwi puka atakujący.

Jeżeli jednak się nie zgadza, to po prostu wykonuje się dalej tak jak pierwotnie miała

i sprawdza poprawność danych uwierzytelniania.

Proces ten jest praktycznie niewidoczny dla końcowego użytkownika,

ale jak widzicie do sprawdzania klucza dochodzi w tym przypadku dwukrotnie, co trwa nieco dłużej.

A więc nieco prościej – złośliwy kod wykonywany był praktycznie natychmiast po połączeniu do serwera,

jeszcze przed przeprowadzeniem procesu uwierzytelniania.

Sprawdzano, czy ktoś, kto puka do drzwi, dysponuje odpowiednim, sekretnym kluczem.

Jeżeli nie, po prostu uwierzytelniano się tak jak zwykle, nie budząc podejrzeń.

Jeżeli jednak ktoś był w posiadaniu klucza, to wpuszczano go do środka,

aby wygodnie rozsiadł się w fotelu i czuł jak u siebie w domu.

Nic innego nie było potrzebne, żeby przejąć setki, a może i miliony urządzeń na całym świecie.

To dodatkowe sprawdzenie trwało te magiczne pół sekundy i położyło cały latami pieczołowicie przygotowywany atak.

Tylko kto za tym wszystkim stoi?

Kim właściwie jest sprawca całego tego zamieszania, Jia Tan?

Mamy w tej sprawie sporo poszlak, do których analizy ruszyli ochoczo OSINTowcy z Twixxera.

Wgląd w to dają nam choćby narzędzia GitHuba, pozwalające prześledzić historię wprowadzanych zmian.

Ale nie tylko.

Jia łączył się do IRCa projektu xz.

Połączenie nawiązywał za każdym razem przez VPN prowadzący przez Singapur.

Adres mailowy Jia nie występuje nigdzie poza GitHubem, wliczając w to wycieki baz użytkowników.

Biorąc pod uwagę czas trwania takiej operacji, ciężko uznać to za normalne zachowanie.

Wskazuje raczej na kogoś, kto nie tylko chciał pozostać anonimowy, ale też doskonale wiedział, jak to zrobić.

Zdecydowanie lepiej niż zwykły użytkownik internetu, bo tacy zawsze popełniają jakieś opsecowe błędy.

A tu ich nie ma.

Grzebanie w logach GitHuba pozwoliło odkryć,

że adres mailowy z którego korzystał Jia został raz użyty w połączeniu z drugim imieniem Cheong.

Nie znam mandaryńskiego, ale źródła, które znalazłem

wskazują, że takie połączenie w takiej transkrypcji na łaciński alfabet nie jest możliwe.

Sugeruje się więc, że to po prostu przypadkowy zlepek imion użyty przez kogoś, kto o Chinach nie ma zbyt wiele pojęcia,

ale chce, aby wszyscy wokół bez zastanowienia wskazali oczywistego według nich sprawcę.

Jednym ze sposobów na sprawdzenie lokalizacji Jia jest analiza godzin, w których był aktywny.

Ktoś używający tego konta, owszem – korzystał z urządzenia z ustawioną strefą czasową

wskazującą na Chiny albo przynajmniej kraje na tych południkach.

Jednak jego aktywność pozwala też wysnuć tezę, że znajdował się we wschodniej Europie lub np. Izraelu czy Iranie.

Mogą to potwierdzać zmiany wprowadzone do repozytorium z wykorzystaniem innej strefy czasowej niż chińska,

w bardzo krótkich, niemożliwych fizycznie do realizacji odstępach.

Kolejną wskazówką jest praca w święta, w które ktoś z Chin raczej miałby wolne,

za to brak aktywności choćby w Nowy Rok czy Boże Narodzenie.

Ukrywanie się przez dwa lata, aby coś takiego zrobić ciężko nazwać hobby.

Trzeba w tym czasie mieć co jeść.

W dodatku do przeprowadzenia tak wyrafinowanego ataku potrzeba naprawdę ogromnej wiedzy.

Mając takie umiejętności można w krótkim czasie zarobić pieniądze,

które pozwolą przejść na emeryturę przed 40-tką w jakimś kraju, gdzie nigdy nie ma brzydkiej pogody.

I to bez ryzyka trafienia do aresztu.

To wszystko pozwala sądzić, że nie był to ktoś przypadkowy.

Ba, pewnie nie była to nawet jedna osoba.

Wszystko wskazuje na bardzo pieczołowicie zaplanowaną, spektakularną akcję,

prowadzoną latami przez na przykład wywiad jakiegoś państwa.

Społeczność zebrana wokół otwartoźródłowych projektów szybko wskazała prawdziwego winnego całego zamieszania.

Oberwało się wszystkim firmom pasożytniczo korzystającym ze zdobyczy wolnego oprogramowania.

Te często opierają swoje wielomiliardowe biznesy o jakąś małą bibliotekę

rozwijaną po godzinach przez jakiegoś jednego pasjonata, bez żadnych finansowych korzyści z tego płynących.

Nie mają więc prawa niczego w zamian wymagać.

A już w szczególności tego, że jakiś przypadkowy Anczej pracując z czeluści swojej piwnicy,

sam jeden dzielnie stawi czoła latami szkolonym szpiegom ze służb wywiadu jakiegoś mocarstwa.

Pojawiła się zresztą w internecie masa memów,

nabijających się z tego, że przecież projekty open source nawoływały do ich szerszego finansowego wsparcia,

więc w sumie nie powinno się narzekać, że zainteresował się nimi w końcu ktoś,

kto jest w stanie płacić rozwijającym je programistom.

Ale dobra, żarty na bok, bo nie jest to cała prawda.

Wiele firm, szczególnie tych największych, wspiera otwarte oprogramowanie.

Często zresztą delegując do jego rozwoju swoich etatowych pracowników czy trzymając nad nimi mecenat.

Problemem często jest też po prostu wypalenie,

szczególnie w przypadku jakichś bardzo wyspecjalizowanych małych bibliotek.

No bo co w nich można ciekawego i kreatywnego dodawać?

Łata się jakieś drobne błędy, a zapał z czasem opada.

I jak w końcu znajdzie się ktoś, kto chce przejąć taki zapomniany projekt, a w dodatku ma na to jakiś interesujący pomysł,

to po prostu łatwo temu przyklasnąć, myśląc, że robi się to dla dobra wszystkich.

Jeżeli lubisz być na bieżąco z technologią,

to pewnie kusi Cię korzystanie z testowych albo nawet eksperymentalnych gałęzi oprogramowania.

O ile gwarantuje to dostęp do najnowszych funkcji.

To przysparza też więcej siwych włosów na głowie albo powoduje ich sukcesywne utratę.

Bo nie tylko coś częściej może nie działać, ale też nie jest wystarczająco dobrze przetestowane,

co w skrajnych przypadkach może prowadzić do takich właśnie sytuacji.

A z dużą dozą pewności można stwierdzić, że był to najpoważniejszy atak na otwartoźródłowy projekt w historii.

Choćby dlatego lepiej nie testuj na produkcji.

Czy to jedyny taki przypadek?

Cóż, z jednej strony widzimy, że przeprowadzenie takiej operacji w tej skali jest możliwe.

Z drugiej, szerokie próby ingerowania w różne projekty mogą paradoksalnie zwiększyć czujność

i utrudnić przeprowadzenie z sukcesem takiej operacji w przyszłości.

A więc – jak zwykle –  jeden rabin powie tak, drugi rabin powie nie.

Pierwszą teorię potwierdzać jednak może fakt,

że w podobny sposób próbowano ostatnio wpływać na deweloperów F-Droida,

największego repozytorium wolnych i otwartoźródłowych aplikacji dla Androida.

Chciano wymusić na nich, aby dokonali zmian w kodzie swojego projektu,

które mogły wprowadzić bokiem podatność kategorii SQL injection.

Cała sprawa miała miejsce jakieś trzy lata temu i o szczegółach możecie przeczytać na 404media.

Link oczywiście znajdziecie w opisie pod filmem.

Konto Jia wprowadziło jakieś 6 tysięcy zmian na GitHubie do 7 różnych projektów,

więc audyt i nieuchronnie nadciągające po nim sprzątanie tego bałaganu zajmie pewnie długie tygodnie.

Ale co to jest dla pasjonatów?

Powstał już nawet honeypot, który ma nasłuchiwać, czy ktoś próbuje wykorzystać lukę.

Ale błagam, nie rób tego w domu.

A jeżeli jesteś programistą, nie dołączaj do swojego oprogramowania na ślepo zamkniętych bibliotek.

Nigdy nie wiesz, co może siedzieć w ich wnętrzu.

I to już wszystko na dziś.

Tymczasem dziękuję za Waszą uwagę i do zobaczenia!