T384 LOCATIF - Local Aspects of Time-Frequency analysis
 
Project
Abstract
Scientists/Scholars
Project Publications
Further Activities
Cooperations
Final Report

Final Report English

Time-frequency analysis strives to obtain time-localized information about the frequency-content of a given signal of interest. Typical signals of interest are speech or music signals, images and video clips. For all these signals, the simultaneous understanding of time- and frequency features is essential. However, due to fundamental limitations related to Heisenberg’s uncertainty principle, the precision in time- and frequency measurement can not be made arbitrarily fine. Therefore, in many situations, an adaptive analysis, guided by the properties of the signal or signals under consideration may be required. The investigations conducted within the research project Locatif lead to considerable progress in the understanding of time-frequency dependent adaptivity. The new results and developments have already been fruitfully applied in audio processing applications and applications in communication technology, in particular the novel technique of UWB communications. Existence and properties of adaptive representations were at the core of Locatif. One may think of the nature of adaptivity as follows: the Heisenberg uncertainty principle does not allow us to measure signal properties with arbitrary precision in both time and frequency. Rather, we have to think of a small disk spread out in time and frequency, over which we can average the signals properties. However, given the nature of existing analysis methods, we are able to squeeze the disk, to obtain an ellipse which allows more precision in either direction - with the drawback of losing precision, or resolution, in the other direction. While this fundamental trade-off can not be beaten, adaptivity allows choosing the shape of the ellipse according to the requirements of the analysed signal. Mathematically, it was important to establish their existence of adaptive representations under certain assumptions. Two complementary concepts have been introduced: firstly, nonstationary Gabor frames, which allow for adaptivity in either time or frequency and allow for a straight-forward implementation including reconstruction from the representation coefficient; secondly, quilted Gabor frames, which make adaptation in both time and frequency possible by adapting the analysis windows according to an arbitrary partition in time-frequency. The efficient implementation of quilted frames, feasible in real-life applications, is still under development. In signal processing, the possibility of reconstruction from the analysis result is always a major concern. Mathematically, reconstruction can be understood as the conservation of signal energy or information: no information should be lost and the energy contained in the signal should not grow in an uncontrolled manner. In this context, some fundamental progress was achieved during the project: it was proved that the sequence norm of time-frequency localized signal parts is equivalent to the norm of the original signal, for an important class of functions spaces (modulation spaces). More recently, it could furthermore be shown, that the characterization of modulation spaces can even be obtained by replacing the continuous localization operators by finite-dimensional approximations. As a consequence, we can always find multi-window Gabor frames in adaptation to a prescribed partition of the time-frequency plane. An additional important application of time-frequency analysis, namely the modification of analysis coefficients with subsequent reconstruction was studied in the framework of time-frequency or Gabor multipliers. Here, we investigated the influence of the parameters involved in analysis and reconstruction, in particular, the density of sampling in time and frequency and the shape and number of reconstruction windows. Finally, an interesting and recent theoretical result concerns the basic shape that can be assumed by the eigenfunctions of a time-frequency multiplier. While it has been known for several years, that the shape of the localization area determines the nature of the resulting eigenfunctions, we were able to show that, vice-versa, the shape of the localization area can be deduced from the eigenfunctions, under certain conditions.

 

Final Report German

In der Zeit-Frequenz Analyse wird versucht, Informationen über die Frequenzen, die zu einem bestimmten Zeitpunkt in einem Signal vorkommen, zu erhalten. Signale, die typischerweise einer Zeit-Frequenz Analyse unterzogen werden sind Audiosignale, Bilder oder Videos. In all diesen Fällen ist es erwünscht, Frequenz- und Zeitinformation simultan erfassen zu können, was durch die Heisenberg’sche Unschärferelation natürlichen Grenzen bezüglich der Messgenauigkeit unterliegt. In vielen Situationen kann daher eine adaptive Signaldarstellung, unter Berücksichtigung der Eigenschaften eines konkreten Signals, erstrebenswert sein. In der Entwicklung Zeit-frequenz-abhängiger Adaptivität konnten im Forschungsprojekt Locatif wichtige neue Ergebnisse erzielt werden. Die Ergebnisse finden bereits Anwendung im Bereich der Musiksignalverarbeitung, und versprechen potentiell entscheidende Verbesserungen z.B. im der Nachrichtentechnik (UWB-Datenübertragung). Existenz und Eigenschaften adaptiver Darstellungen bilden das zentrale Thema von Locatif. Das Problem der Adaptivität im Zeit-Frequenz-Sinn kann folgendermaßen verstanden werden: Da die Heisenberg’sche Unschärferelation beliebig genaues Messen in Zeit- und Frequenzrichtung verbiete, muss man sich den Analysevorgang als Mittelung über einen kleinen, etwa kreisförmigen Bereich in der Zeit-Frequenz-Ebene vorstellen. Man muss sich allerdings nicht auf kreisförmige Mittelung beschränken; klassische Analysemethoden erlauben das „Verformen“ des Mittelungsbereiches zu einer Ellipsenform. So kann die Präzision der Messung in eine Richtung verbessert werden, jedoch auf Kosten der Präzision in die andere Richtung. Während in klassischen Analysemethoden die Form der einmal gewählten Ellipse fix bleibt, erlauben adaptive Darstellungen die Anpassung an lokale Signaleigenschaften. Mathematisch gesehen ist es wichtig, die Existenz solcher adaptiven Darstellungen unter konkreten Bedingungen zu etablieren. In Locatif wurden zwei komplementäre Strategien untersucht: nicht-stationäre Gabor frames, und „quilted“ (geflickte) Gabor frames. Während erstere Adaptivität in Zeit oder Frequenz erlauben und bereits mit effizienter Implementierung ausgestattet sind, führen quilted frames zu Anpassung in beliebiger Richtung. In der Signalverarbeitung ist die Rekonstruktion der Signale aus den Analyseergebnissen von großer Bedeutung. Mathematisch gesprochen bedeutet Rekonstruierbarkeit, dass im Analyseprozess keine Information verloren werden darf, was im Allgemeinen in form einer Norm-Äquivalenz ausgedrückt wird. Es konnte gezeigt werden, dass die diskrete Norm einer Folge von Zeit-Frequenz lokalisierten Signalkomponenten äquivalent zur Norm des ursprünglichen Signals bezüglich verschiedener Funktionenräume ist. Weiters gelang es zu zeigen, dass die Lokalisierung, die a priori durch Operatoren mit unendlichem Rang gegeben ist, durch endlich-dimensionale Approximationen ersetzt werden kann. Daraus folgt unmittelbar die Existenz von „multi-window Gabor frames“, deren Fenster an eine beliebige Partition (Aufteilung) angepasst sind. Eine weitere wichtige Anwendung der Zeit-Frequenz-Analyse ist die Modifikation von Analysekoeffizienten mit anschließender Rekonstruktion. Man kann sich diesen Vorgang als zeitvariantes Filtern vorstellen; mathematisch wird er als Zeit-Frequenz-Multiplier beschrieben. In diesem Zusammenhang wurde der Einfluss der Parameter, die in Analyse und Synthese von Bedeutung sind, insbesondere der Abtastraten in Zeit und Frequenz, untersucht, sowie die Anzahl der Synthesefenster die für brauchbare diskrete Darstellungen nötig sind. Zu guter Letzt sei ein interessantes Resultat bezüglich zeitvarianter Filter (Zeit-Frequenz-Multiplier) erwähnt: während es schon bekannt war, dass unter gewissen Voraussetzungen die Eigenfunktionen der Filter genau beschrieben werden können, wurde nun als neues Resultat die Umkehrung dieser Beobachtung bewiesen: unter gewissen Voraussetzungen kann dir Form des Filters aus den Eigenfunktionen bestimmt werden.

 
 
 

With support from
FWFDer Wissenschaftsfonds