Feature Extraction in Regression and Classification with Structured Predictors (PDF)

Eine typische Aufgabe bei der statistischen Modellierung ist die Selektion von Variablen. In der vorliegenden Arbeit wird jedoch nicht nur Variablenselektion sondern vielmehr Feature Extraction näher untersucht. Feature Extraction geht über bloße Variablenselektion hinaus, in dem Sinne, dass nicht einfach Variablen ausgewählt sondern bestimmte Merkmale erfasst werden sollen, die je nach Art der betrachteten Daten unterschiedlich sein können.
In dieser Dissertationsschrift werden Variablen mit einer speziellen Struktur betrachtet, wobei diese Größen als Prädiktoren in Regressions- oder Klassifikationsproblemen dienen sollen. Den ersten untersuchten Datentyp stellen hochdimensionale signalartige (metrische) Kovariablen dar. Ein typisches Beispiel für diese Art von Daten sind funktionale Prädiktoren in der Signalregression, die zwar nur an (einer Vielzahl von) einzelnen Messpunkten erfasst werden können, aber dennoch als Realisationen (mehr oder weniger) glatter Kurven angesehen werden sollten. Hier kann Feature Extraction als die ‚Identifikation der relevanten Teile des Signals’ definiert werden. Zu diesem Zweck wird in der vorliegenden Arbeit ein Boosting-Verfahren entwickelt, welches auch auf Protein-Massenspektren wie sie in der Proteomik vorkommen angewandt werden kann. Mit Hilfe von Simulationsstudien sowie an Hand realer Daten kann gezeigt werden, dass das vorgestellte Verfahren eine äußerst konkurrenzfähige Alternative zu bestehenden Verfahren darstellt.
Kategoriale Kovariablen sind eine weitere hochinteressante Art von speziell strukturierten Prädiktoren. Kategoriale Kovariablen werden in der Regel dummy-kodiert und resultieren folglich in Gruppen von Dummy-Variablen. Haben die betrachteten Größen allerdings ordinales Skalenniveau, wird diese Ordnung der Kategorien bei der Modellierung oftmals ignoriert, oder aber es werden (fälschlicherweise) Methoden angewandt, die eigentlich für Variablen mit metrischem Niveau gedacht sind. In dieser Arbeit werden nun penalisierte Likelihood-Ansätze vorgeschlagen, die ordinales Skalenniveau in den unabhängigen Größen über eine Differenzen-Penalty auf benachbarten Dummy-Koeffizienten berücksichtigen. Neben dem Aspekt der Variablenselektion wird auch die Identifikation relevanter Differenzen zwischen Kategorien sowohl ordinal als auch nominal skalierter Prädiktoren betrachtet und es
werden geeignete L1-Regularisierungstechniken vorgestellt. Die Verfahren werden dabei sowohl aus einem praktischen als auch einem theoretischen Blickwinkel heraus untersucht. Es wird gezeigt, dass die vorgestellten Methoden sinnvoll einsetzbar sind und auch im Vergleich mit alternativen Ansätzen sehr gut abschneiden. Darüber hinaus werden auch kategoriale (potentiell) Effekt-modifizierende Faktoren in Modellen mit variierenden Koeffizienten betrachtet.
Zu guter Letzt werden Ansätze zur nonparametrischen Feature Extraction unter Verwendung von Nearest-Neighbor-Verfahren vorgestellt. Das Abschneiden des in diesem Zusammenhang vorgeschlagenen Nearest-Neighbor-Ensembles ist dabei äußerst vielversprechend.