Ważna para cech to jeszcze nie interakcja

W modelu predykcyjnym dwie cechy mogą razem otrzymać wysoką ocenę z dwóch różnych powodów. Pierwszy to ich rzeczywiste współdziałanie, w którym wpływ jednej cechy zmienia się zależnie od wartości drugiej. Drugi to sytuacja, w której każda z nich osobno pomaga przewidywać wynik, a model korzysta z obu informacji.

Różnicę dobrze pokazuje składnik odpowiadający iloczynowi dwóch zmiennych, na przykład x_1x_2. W takim przypadku zmiana x_1 może mieć inny skutek przy małej i dużej wartości x_2. Tego efektu nie da się opisać jako zwykłej sumy dwóch oddzielnych wpływów. Właśnie taki składnik, którego nie wyjaśnia suma efektów marginalnych, Diamond nazywa nieaddytywną interakcją.

Sama wysoka ważność pary cech nie wystarcza, aby ją wykryć. Jeżeli wiek i ciśnienie tętnicze niezależnie pomagają modelowi przewidywać wynik, ich wspólna ocena może być wysoka nawet wtedy, gdy wpływ wieku nie zależy od ciśnienia. Metoda Diamond została zaprojektowana po to, aby oddzielić tę zwykłą ważność od współdziałania.

Dlaczego samo wyszukiwanie interakcji łatwo prowadzi na manowce

Im więcej cech zawiera zbiór danych, tym więcej można utworzyć ich par. Przy 30 cechach liczba możliwych par jest już znaczna, a w większych zbiorach rośnie szybko. Jeśli model ocenia każdą parę, część wysokich wyników pojawi się przypadkiem, nawet gdy w danych nie ma odpowiadającego im współdziałania.

Diamond formułuje wybór interakcji jako problem kontroli false discovery rate (FDR), czyli oczekiwanego odsetka fałszywie zgłoszonych interakcji wśród wszystkich interakcji wybranych przez procedurę. Przy docelowym poziomie q=0{,}2 chodzi o ograniczenie tego odsetka średnio do założonego progu w badanym schemacie selekcji.

FDR nie mówi, że każda pojedyncza zgłoszona para ma 80-procentową szansę być prawdziwa. Jest własnością całej listy odkryć. Nie mierzy też siły biologicznego mechanizmu i nie dowodzi, że jedna cecha przyczynowo zmienia działanie drugiej. Chroni przed określonym rodzajem błędu statystycznego, czyli przed nadmiarem fałszywych trafień wśród wybranych wyników.

Knockoffy jako wewnętrzny punkt odniesienia

Do kontroli fałszywych odkryć Diamond wykorzystuje model-X knockoffs. Procedura tworzy dla każdej cechy sztuczny odpowiednik, zwany knockoffem. Taka zmienna ma naśladować zależności oryginalnej cechy z pozostałymi cechami, ale po uwzględnieniu cech oryginalnych nie powinna wnosić dodatkowej informacji o przewidywanej odpowiedzi.

Knockoff nie jest więc po prostu niezależną, losową kolumną. Niezależna kolumna miałaby inną strukturę korelacji niż dane i mogłaby być łatwo rozpoznana przez model. Przydatny knockoff powinien przypominać oryginał pod względem relacji z resztą zbioru, zachowując jednocześnie status zmiennej kontrolnej względem odpowiedzi.

Model porównuje następnie wyniki uzyskane dla rzeczywistych cech i ich sztucznych odpowiedników. Jeżeli dana para cech wygląda na ważną, ale podobnie wypadają także odpowiadające jej układy knockoffów, część tego wyniku może być przypadkowa. Knockoffy dostarczają wtedy wewnętrznego punktu odniesienia dla procedury selekcji.

Formalna gwarancja FDR zależy od odpowiednich własności tej konstrukcji. Jakość knockoffów ma znaczenie, ponieważ porównanie działa tylko wtedy, gdy sztuczne zmienne właściwie odtwarzają istotną strukturę zależności danych.

Distillation oddziela interakcję od zwykłej ważności

Samo porównanie ważności oryginalnych cech i knockoffów może jednak nie wystarczyć. Standardowa miara interakcji może mieszać właściwy efekt nieaddytywny z efektami marginalnymi, czyli z tym, że pojedyncze cechy są ważne dla predykcji. Może też inaczej zachowywać się dla par złożonych wyłącznie z cech oryginalnych i dla par zawierających knockoffy.

W tym miejscu pojawia się non-additivity distillation. Diamond najpierw rozdziela składniki odpowiadające efektom marginalnym oraz niezależnym od odpowiedzi biasom związanym z cechami. Następnie zachowuje składnik zależny od odpowiedzi i nieaddytywny. W uproszczeniu procedura próbuje wydobyć z oceny pary tę część, która wynika z odejścia od addytywnego sumowania efektów.

To przygotowanie jest potrzebne do użycia knockoffów jako punktu kontrolnego. Jeśli interakcje rzeczywiste i knockoffowe mają różne rozkłady wyników już z powodu konstrukcji miary, ich porównanie może generować fałszywe odkrycia. Distillation ma zmniejszać tę różnicę, aby sztuczne pary pełniły funkcję użytecznego negatywnego odniesienia.

W badaniu bez tej procedury kontrola FDR w testowanych ustawieniach nie była poprawna. Wynik ten pokazuje, że w Diamond sposób obliczania ważności jest częścią mechanizmu kontroli błędu, a nie wyłącznie dodatkiem ułatwiającym interpretację modelu.

Co pokazały symulacje

Autorzy sprawdzili metodę najpierw w kontrolowanych symulacjach, w których znana była prawdziwa struktura interakcji. W głównym teście wykorzystali dziesięć funkcji generujących dane, 20 000 obserwacji oraz 30 cech losowanych z rozkładu jednostajnego U(0,1). Pierwszych 10 cech niosło sygnał, a pozostałe 20 pełniło rolę szumu. Dane podzielono po równo na zbiór treningowy i testowy, a każdy eksperyment powtórzono 20 razy z różnymi ziarnami losowości.

Scenariusze obejmowały różne rzędy, siły i nieliniowości interakcji. Ponieważ głównym celem pracy było wyszukiwanie par cech, interakcje wyższego rzędu rozkładano w symulacjach na pary, aby uzyskać znany punkt odniesienia. Wyniki raportowano przy docelowym poziomie FDR q=0{,}2.

W badanych konfiguracjach Diamond kontrolował FDR dla różnych klas modeli i wykrywał istotne interakcje nieaddytywne. Po pominięciu distillation kontrola się załamywała. Podobny problem występował w trzech porównywanych podejściach bazowych, opartych między innymi na permutacyjnych wartościach p oraz procedurach Benjamini-Hochberga i Benjamini-Yekutieliego.

Wysoka moc albo wysokie AUROC nie wystarczają do oceny takiej metody. Model może dobrze rozróżniać przypadki, a jednocześnie tworzyć listę interakcji z nadmiarem fałszywych pozycji. W przekazanym materiale nie ma pełnych wartości mocy, AUROC ani liczby wykrytych interakcji, dlatego nie można porównywać tych wielkości liczbowo.

Metoda działa z różnymi modelami, ale nie niezależnie od ich jakości

Diamond zaprojektowano jako metodę współpracującą z szeroką klasą modeli predykcyjnych. W testach wykorzystano między innymi wielowarstwowe perceptrony, FT-Transformer, sieci KAN, LightGBM, XGBoost oraz modele faktoryzacyjne. Dzięki temu procedura nie jest przypisana do jednej architektury.

W symulacjach porównywano także kilka sposobów generowania knockoffów, w tym KnockoffsDiagnostics, KnockoffGAN, Deep knockoffs i VAE knockoffs, oraz różne miary ważności interakcji. W badanych konfiguracjach uzyskiwano porównywalną kontrolę FDR i podobną jakość selekcji.

Autorzy sprawdzili również, co dzieje się przy celowo niepoprawnych knockoffach. Tworzyli je przez niezależne permutowanie każdej cechy między obserwacjami. W tym konkretnym ustawieniu kontrola FDR nadal się utrzymywała, ale spadała moc, czyli zdolność do odnajdywania rzeczywistych interakcji.

Ten eksperyment pokazuje empiryczną odporność w określonych warunkach. Nie usuwa teoretycznego warunku, że knockoffy powinny właściwie odwzorowywać strukturę zależności cech. Na wynik wpływa również dopasowanie modelu i użyta miara ważności. Szeroka kompatybilność Diamond oznacza możliwość zastosowania procedury do wielu modeli, a nie gwarancję, że każdy z nich poprawnie odzwierciedli interesujące nas zależności.

Próba na danych biomedycznych: użyteczna lista hipotez, nie diagnoza mechanizmu

Jednym z testów na danych rzeczywistych był zbiór 442 pacjentów z cukrzycą. Każdego pacjenta opisano 10 standaryzowanymi cechami bazowymi, wśród których znalazły się między innymi wiek, płeć, wskaźnik masy ciała (BMI), średnie ciśnienie tętnicze oraz sześć pomiarów surowicy. Celem modelu była ilościowa miara progresji choroby po roku.

Autorzy porównali kilka klas modeli, a następnie za pomocą pięciokrotnej walidacji krzyżowej wybrali model o najlepszym wyniku predykcyjnym. Interpretację i wyszukiwanie interakcji powtarzano 20 razy z różnymi ziarnami losowości. Taki schemat pozwalał sprawdzić, czy procedura może działać na danych biomedycznych o rzeczywistej strukturze, w której cechy są ze sobą powiązane.

Wynik tego testu należy odczytywać metodologicznie. Wykryta przez Diamond para oznacza nieaddytywną zależność wykorzystywaną przez dopasowany model do przewidywania progresji. Sama analiza nie potwierdza, że cechy tworzą mechanizm patofizjologiczny. Nie pokazuje też skuteczności diagnostycznej ani przydatności do podejmowania decyzji klinicznych.

Dane obserwacyjne mogą zawierać zakłócenia, błędy pomiaru i zależności wynikające z doboru próby. Dlatego lista interakcji z tego przykładu może wskazywać hipotezy warte dalszego sprawdzenia, ale nie zastępuje badań biologicznych ani klinicznych.

Co naprawdę wynika z odkrycia interakcji

Diamond wykrywa statystyczną, nieaddytywną zależność wykorzystywaną przez model. Kontrola FDR ogranicza udział fałszywych odkryć w wybranej liście przy założeniach procedury. Żaden z tych wyników nie oznacza automatycznie, że jedna cecha biologicznie zmienia działanie drugiej.

Interpretacja zależy od jakości danych i modelu. Korelacje między cechami, zmienne zakłócające, selekcja próby oraz błędy pomiaru mogą wpływać na ocenę interakcji. Wynik może też nie przenieść się na inną populację lub inny system kliniczny. Gwarancja FDR wymaga właściwej konstrukcji knockoffów, a czułość zależy od tego, jak dobrze model uchwycił zależności potrzebne do predykcji.

Kontrola fałszywych odkryć może być konserwatywna. Ograniczenie liczby błędnych wskazań może odbywać się kosztem mocy, czyli pomijania części rzeczywistych interakcji. To ważny kompromis, ponieważ brak interakcji na liście nie dowodzi, że w danych nie ma żadnego współdziałania.

Praca koncentruje się przede wszystkim na parach cech. W układach biologicznych znaczenie może mieć jednocześnie kilka genów, cech klinicznych lub czynników środowiskowych. Liczba możliwych kombinacji szybko rośnie, gdy przechodzi się do interakcji wyższego rzędu, a rozłożenie takiego układu na pary nie musi opisywać całego mechanizmu.

W tym zakresie Diamond może pomóc uporządkować hipotezy do dalszej walidacji biologicznej lub klinicznej. Wynik działania metody wskazuje, które pary warto sprawdzać dokładniej. Sam nie wykonuje tego sprawdzenia.