Microsoft, Apple, Red Hat i Canonical na starcie

Jeff Jones, autor kontrowersyjnego raportu na temat bezpieczeństwa Internet Explorera i Firefoksa, postanowił porównać systemy operacyjne. Tym razem nie brał pod uwagę jedynie liczby luk, ale również, m.in. średni czas jaki upłynął od momentu ich publicznego ujawnienia do opublikowania łaty.

Jones badał systemy Microsoftu, Red Hata, Apple'a oraz Ubuntu.

Podczas tworzenia raportu pracownik Microsoftu wziął pod uwagę dane z pierwszego półrocza bieżącego roku. Podstawowe wnioski, które z niego wypływają są następujące:

- w tym czasie producenci systemów operacyjnych (Microsoft, Apple, Red Hat i Canonical) załatali 585 błędów. Spośród nich aż 26,8% występowało w więcej niż jednym systemie, ale tylko 8 załatano tego samego dnia.
- najszybciej błędy łatał Microsoft. Średnio każda z luk doczekała się poprawki po 24,22 dniach od momentu publicznego ujawnienia dziury. Kolejny z producentów potrzebował aż 72 dni.
- najmniej błędów znaleziono w Windows Vista (21), a drugi w kolejności był Windows XP (26).

Jones brał pod uwagę Windows Vistę, Windows XP SP 2, Mac OS X Leopard, Red Hat Enterprise Linux 5 oraz Ubuntu 6.06 LTS.

Spośród wszystkich znalezionych błędów aż 31% występowało tylko i wyłącznie w systemie Red Hata, 30% dotyczyło produktu Apple'a, 10% systemów Microsoftu i 9% Ubuntu.

Ponadto 157 luk wystąpiło w więcej niż jednym systemie. Osiemnaście z nich dotyczyło jednocześnie produktów Apple'a, Red Hata i Ubuntu. Spośród nich Ubuntu jako pierwsze załatało 8 luk, a Apple jako ostatnie - 11 niedociągnięć. Średnio pomiędzy publikacją poprawki przez pierwszego z twórców OS-a, a ostatniego mijało w tym przypadku 73 dni.

Dziewiętnaście dziur dotyczyło produktów Apple'a i Red Hata. Red Hat jako pierwszy załatał 58% luk, pomiędzy pierwszym, a ostatnim łataniem mijało średnio 30 dni.

W pierwszej połowie bieżącego roku 10 błędów wystąpiło wspólnie w systemach Apple'a i w Ubuntu. Firma Canonical, twórca Ubuntu, jako pierwsza dostarczyła poprawki do 60% luk. Pomiędzy pierwszym pojawieniem się poprawki, a ostatnim mijało średnio 39,6 dnia.

Mieliśmy też do czynienia z 72 błędami występującymi w produktach Red Hata i Canonical. Red Hat jako pierwszy załatał 66,6% z nich, a różnica pomiędzy pierwszą a ostatnią łatą dla danego błędu wynosiła 28,5 dnia.

W badanym okresie Red Hat miał do czynienia z 292 błędami, Ubuntu ze 153, Apple z 222, a Microsoft z 58.

Sytuacja nieco się zmienia, gdy z dystrybucji Linuksa odrzucimy poprawki, które opublikowano dla komponentów opcjonalnych oraz Open Office'a i niektórych komponentów graficznych. Wyrzucił narzędzia takie jak OpenOffice, Evolution czy Thunderbird oraz Gimp, ImageMagic i podobne. Po takim "odchudzeniu" dystrybucji Linuksa okazało się, że najwięcej błędów wystąpiło w systemie Apple'a. Kolejnym pod względem liczby błędów był Red Hat, a następnie Ubuntu. Najlepiej wciąż prezentowały się systemy Microsoftu.

Jones obliczył też średnią ważoną, dzięki czemu obliczył na ile poważne były poszczególne luki. Do swoich wyliczeń posłużył się wartościami Vulnerability Workload Index opracowanymi przez Narodowy Instytut Standardów i Technologii. Zgodnie z nim jedna "groźna" usterka ma taką wagę jak 5 "średnio groźnych" i jak 20 "mało groźnych".

Z obliczeń wynika, że najpoważniejsze błędy dotykały systemu Red Hata. Waga wykrytych w nim dziur została obliczona na 121,5. Na kolejnym miejscu uplasowało się Apple (96,5), następnie Ubuntu (75,8), a najmniej poważne były w sumie błędy w systemach Microsoftu (53,2).

Bardzo ważnym wskaźnikiem bezpieczeństwa jest czas, jaki upływa od momentu ujawnienia informacji o dziurze do chwili pojawienia się łaty. Z obliczeń Jonesa wynika, że najdłużej, bo średnio aż 105 dni trzeba było czekać na łaty Red Hata. Nie najlepiej spisywał się też Apple, który publikował poprawki po niemal 98 dniach (97,95), kolejne miejsce przypadło Ubuntu (72 dni), a najszybciej poprawki udostępniał Microsoft (24,22).

Jest to średnia dla wszystkich luk, co, jak zauważa Jones, może zaburzać obraz w przypadku, gdy twórca OS-u skupia się przede wszystkim na łataniu poważnych luk. Wówczas bowiem pozostawia te mniej groźne na boku i one negatywnie wpływają na średnią. Wobec tego Jones policzył też średnią, biorąc pod uwagę ryzyko stwarzane przez poszczególne dziury.

W takim przypadku okazało się, że najgorzej wypadł Apple, który na załatanie luki potrzebował średnio 82,03 dnia. Red Hatowi opublikowanie poprawek zajmowało 62,8 doby, a na poprawki dla Ubuntu trzeba było czekać 50,75 dnia. Microsoft publikował swoje łaty po 25,22 doby.

Z raportu Jonesa dowiadujemy się też, że aż 89,7% luk zostało załatanych przez Microsoft w ciągu 1 dnia od momentu ich ujawnienia. W przypadku najpoważniejszych dziur odsetek ten wzrósł do 90,3%. Najdłużej niezałatana dziura w systemach Microsoftu czekała na poprawkę przez 495 dni. Była to luka w Microsoft Speech API. NIST oceniał ją na "poważną", natomiast Microsoft na "średnio poważną" dla desktopów i "mało poważną" dla serwerów.

W przypadku systemu Apple'a jedynie 17% luk doczekało się poprawki w ciągu 1 dnia od upublicznienia informacji o nich. Odsetek ten nie zmienił się w odniesieniu do luk poważnych, a najdłuższy czas oczekiwania na poprawkę wyniósł 1001 dni dla mało groźnej luki w Mac OS X Tiger.

Red Hat w ciągu pierwszych 24 godzin od ujawnienia opublikował poprawki dla 38% luk ogólnie i dla 60% groźnych. Na jedną z poprawek, dotyczącą mało groźnej luki w jądrach 2.4 i 2.6 trzeba było czekać aż 1292 dni.

W przypadku Ubuntu doczekaliśmy się 23,5% poprawek w ciągu pierwszego dnia, a dla luk groźnych odsetek ten wyniósł 20,7%. Mało groźna dziura w jądrze doczekała się poprawek po 623 dniach.

Na zakończenie swojego raportu Jones podkreśla, że nie ma on za zadanie mierzenia bezpieczeństwa systemów operacyjnych, gdyż tego nie da się w prosty sposób zmierzyć. Ten report to analiza błędów, która dostarcza pewnych danych związanych z lukami i może posłużyć jako część większej analizy dotyczącej bezpieczeństwa - pisze Jones.

Ze szczegółami raportu możemy zapoznać się na blogu Jeffa Jonesa (PDF).

Windows Vista Windows XP Mac OS X Leopard Red Hat Enterprise Linux Ubuntu Canonical Microsoft Apple