Некоторые методы статистического обнаружения и оценивания сигналов в астрономии

 Б.Е. Жиляев

Многие методы обработки сигналов оказываются неэффективными при наблюдениях слабых звезд в условиях дефицита квантов. Излагаются новейшие техники статистического обнаружения и оценивания сигналов в разреженных потоках квантов.

******************

Many techniques fail to work in the condition of light quantum deficiency, in particular, on short time scale or if we observe faint stars. Modern techniques make possible the detection of events comparable to the limit of the counting statistic. Detection and evaluation the signal in sparse quantum fluxes is presented using modern statistical approaches.

Киев, 2005

Содержание

• Обнаружение сигналов в разреженных пуассоновских потоках квантов с использованием критериев на основе энтропии

• Фурье и вейвлет спектральный анализ

Detection of Signal in Sparse Poissonian Streams of Quanta Detection of Signal in Sparse Poissonian Streams of Quanta Using Entropy - Based CriteriaUsing Entropy - Based Criteria

• Definition

• Simulation

• Empirical quantilies for entropy function

• Deterministic signal

• Sinusoidal signal with random phase

• Chaotic signal

See UHF&Entropy.doc

ЭнтропияЭнтропияВ физике

где ∆Г, E – число квантовых состояний подсистемы в интервале энергий ∆ E (микроканонический ансамбль), w(E) – распределение вероятностей энергии. Таким образом, энтропию можно определить как среднее значение логарифма функции распределения энергии подсистемы.

В теории информации

pi ≥ 0 – вероятность какого-либо испытания (опыта). Энтропия равна нулю, когда

одно из pi равно единице, т.е. исход опыта достоверен. Энтропия достигает

максимума, когда все исходы равновероятны.

Microsoft Equation 3.0

n

nnn wwEwEwS ln)(ln)(ln)ln(

n

iii

n

iiin ppppppHH

12

121 )(log)/1(log),...(

Entropy is a common concept in many fields, mainly in signal processing.

Classical entropy-based criteria describe information-related properties for an accurate representation of a given signal.

The entropy E must be an additive cost function () such that E(0) = 0.

The following example lists different entropy criteria, many others are available and can be easily integrated.

In the following expressions, s is the signal and (si)i the

coefficients of s in an orthonormal basis.

() cost function - функция стоимости

• The (nonnormalized) Shannon entropy

where s is the signal and (si)i the coefficients of s in an

orthonormal basis.

• The threshold entropy

E4(si) = 1 if |si| > p and 0 elsewhere, so

E4(s) = #{i such that |si| > p}

is the number of time instants when the signal is greater than a threshold p.

Microsoft Equation 3.0

i

iiiii sssEsssE )(log)(1);(log)(1 2222

Распределение Пуассона

Распределение Пуассона - дискретное распределение с одним параметром. Параметр является средним и дисперсией распределения.

ex

xfx

!),(

Гистограмма – результат моделирования Пуассоновского

распределения с интенсивностью = 0.1 (1000 испытаний).

Красные кружки – теоретическое распределение с той же

интенсивностью.

Sparse Poissonian stream:

( Poissonian intensity = .1 , i.e. 90% of “zeros” in average )

L=1000; Lambda = .1*(1+cos (2*pi/50*(1:L)));

for i =1:L; v(i) = poissrnd(Lambda(i),1,1); end;

Sparse signal modulated by harmonic.

****************************************************

L=1000; Lambda0 = .1;

for i =1:L; v0(i) = poissrnd(Lambda0,1,1);end;

Sparse signal of the same mean intensity without modulation (No signal)

Codes: MATLAB

Однако, хотя мы имеем разреженный модулированный поток квантов гармонический сигнал детектируется методами

спектрального анализа

Визуально ни кривые блеска, ни гармонический сигнал не распознаются

Signal No signal

Simulation

(quantile estimator - оценка квантилей)

No signal: A=0; signal amplitude = 0; 100 trialsfor j=1:100; L=1000; v = zeros(1,L); Lamb = .1*(1+A*cos(2*pi/50*(1:L)));

for i =1:L;v(i)=poissrnd(Lamb(i),1,1);end;V=[V;v];e = entropy(v,'shannon');E=[E;e];end;

The same with a signal: A=1mean(E) = -29.55 ; No signal (top)

mean(E) = -45.36 ; With signal (bottom)

The signal reduces entropy

COMMENTS: Есть обнаружение

примерно в 25% случаев

(при значении энтропии Шеннона < ~ 60)

Необходим более строгий критерий

Simulation of the Shannon entropy:

Poisson intensity = 0.1 per sampling time

The number of measurements N = 100000

Three trials in hundreds, no signal

n = 100; N = 100000; Lambda = .1;

for j=1: n; v = poissrnd(Lambda,1,N); e = wentropy(v,'shannon'); E = [E;e]; end;

done triply : E1, E2, E3 – three arrays shown in the above Figure

mean([E1 E2 E3]) : -2798 -2811 -2828 – the mean values of arrays

std([E1 E2 E3]): 149 139 139 – their standard deviations, abs values

std([E1 E2 E3])./mean([E1 E2 E3]) : -0.053 -0.049 -0.049 – relative values

Когда теоретическая функция распределения (ф.р.) какой-либо случайной величины не известна ее можно заменить эмпирической ф.р., полученной в результате моделирования. Ф.р. позволяет вычислять квантили – такие значения случайной величины, когда отклонения можно считать не случайными.

Empirical quantilies for the entropy function

quantile: квантиль порядка p, 0 < p <1; F(Kp) ≤ p,

F(X) - функция распределения (в нашем случае – энтропии)

[NX,X]=hist(-E1,x); % histogram, x = 2400:50:3300; (MATLAB codes)

bar(X,NX/sum(NX)) % density of probability (normalized histogram)

F1=cumsum(NX/sum(NX)); % integral probability distribution

X(find(F1 >= 0.95)) % answer = 3050, 3100, 3150, …3300

K0.95 = 3050 – the 95% empirical quantile for the entropy function Shown are the individual and averaged integral probability distributions for the Shannon entropy function resulted from three simulation trials.

The empirical quantilies:

3050 – 95%

3150 – 99%

Now we shall take an harmonic signalA=1; N=100000; vs=zeros(1,N); Lambda = .1*(1+A*cos(2*pi/50*(1:N)));

for i =1:N;vs(i)=poissrnd(Lambda(i),1,1);end;e = wentropy(vs,'shannon');% with signal

3 trials: e1 = 4585 ; e2 = 4608 ; e3 = 4158

THUS, e1, e2, e3 > 3150 – DETECTION PRESENTS!

The same, A = 0.5: e1= 3179, e2 = 3436, e3 = 3184 > 3150

Thus, detection is present

(marginally detected at 99% confidence; A=0.5; N=100000)

sum(vs) = 10032 (quanta)

Вывод: зарегистрировав всего лишь 10000 квантов в 100000 измерений, можно с вероятностью 99% обнаружить гармонический сигнал с глубиной модуляции, равной ½ , используя функцию энтропии Шеннона.

Codes: MATLAB

An algorithm for the threshold entropy function 1)      Let mean intensity per sampling time dt is equal to LAMBDA ( ).

2)      Let N is the number of measurements.

3)   Then the measured value of threshold entropy function ENTROPY_T may be defined as ENTROPY_T = sum(x > THRESHOLD), where x are the counting in a series of measurements. Let THRESHOLD = 1 for sparse fluxes of quanta.

4) The mean theoretical value ENTROPY_TT = (1-poisscdf(THRESHOLD, LAMBDA))*N, where poisscdf - Poisson cumulative distribution function.

floor n наименьшее целое число, не превосходящее n.

5)      The two-sigma value corresponding to the 95% confidence level is defined as

ENTROPY_TT + 2*sqrt(ENTROPY_TT).

Let a signal S = Lambda*(1+A*cos(2*pi/P*(1:N)+rand(1,N)*2*pi)), where A, P are the amplitude and period of a harmonic signal with random phase (uniformly distributed on the interval 0, 2*pi).

The empirical quantile for ‘threshold‘ entropy function

n=100; N=100000; Lambda = .1

for j = 1: n; v = poissrnd (Lambda,1,N); V = [V; sum(v>1)]; end;

min(V) = 421; max(V) = 520

Итак, по результатам моделирования для заданных N и Lambda :

K0.95 = 510 – 95% эмпирический квантиль

K0.99 = 520 – 99% эмпирический квантиль

A sinusoidal signal with random phase

A = …; N = 100000; n = 3 (three times repeating)

for j =1 : n; L=.1*(1+A*cos(2*pi/50*(1:N)+rand(1,N)*2*pi));

for i = 1 : N; vsp(i) = poissrnd (L(i),1,1); end;

e = wentropy(vsp,'threshold',1);E=[E;e]; end; % (MATLAB Codes)

A = 1.0; E = 705 666 661; DETECTS WITH CERTAINTY (99% = 520)

A = 0.5; E = 469 527 535 ; DETECTS MARGINALLY (99% = 520)

A = 0.25; E = 486 501 497 ; THERE IS NO DETECTION (95% = 510)

For certain detection of a signal with small amplitude A

we must increase N – the number of measurements

Further amplitude decreases with ½ power of N (Почему?)

Now we shall take a chaotic signalA=1; N=100000; Lambda = .1*(1+A*cos(2*pi/50*(1:N)));

L = eralash(Lambda); (Destroyed harmonic signal)

for i =1: N; vs (i) = poissrnd (L(i),1,1); end; E = wentropy(vs,'shannon');

3 trials: E = 3998, 4544, 4043 > 3150

where 3150 – the 99% empirical quantile

THUS, DETECTION PRESENTS!

Lambda (top) and L (bottom) signals

COMMENT

• FFT detects harmonic modulation easily (left Fig)

• Chaotic signal reveals the Shannon entropy detector

  

1. Естественные источники излучения (пуассоновские и гауссовские потоки квантов) характеризуются минимальным информационным содержанием (только первым и вторым статистическими моментами – средним значением и дисперсией) и, следовательно, максимальной энтропией. Любое информационное сообщение или полезный сигнал уменьшают энтропию потока квантов. Измеряя энтропию, можно обнаружить сигнал.

2. Можно сконструировать различные обнаружители сигналов, например, основанные на энтропии Шеннона, энергетических, пороговых или определенных пользователем функциях энтропии.

3. Классические энтропийные критерии сравнительно просто описывают информационные свойства стационарных случайных и периодических сигналов.

4. Пороговый статистический обнаружитель может измерять энтропию потока данных и выдавать сообщение о наличии полезного сигнала. Таким образом происходит статистическое обнаружение сигнала.

5. Последующий детальный статистический анализ направлен на оценивание амплитудно-частотных характеристик обнаруженного сигнала.

Резюме

Detection and Evaluation of Signals

Фурье и вейвлет спектральный анализНаличие в любых измерениях ошибок, случайных по своей природе, требует применения статистических методов при обработке данных. Ни один статистический вывод не может быть достоверным. Вероятностная природа статистических выводов приводит к тому, что можно отвергнуть верную гипотезу (ошибка 1-го рода) и принять ложную гипотезу (ошибка 2-го рода). Это плата за ту неопределенность, которую вносят в нашу жизнь шумы измерений.

«Искусство предположений» - так вначале называл то, что со временем стало теорией

вероятности и математической статистикой, ее основатель Даниил Бернулли.

Фурье спектр

Спектр Фурье по своему физическому смыслу пропорционален корреляции сигнала с монохромной волной на заданной частоте (в случае комплексного представления волны спектр - комплексная величина). Поскольку монохромная волна не локализована в координатном пространстве, то при интегрировании по пространственной координате остается зависимость спектра только от частоты (переход от координатного представления сигнала к частотному представлению).

Сигнал f(t) можно разложить в ряд Фурье:

Фурье спектр

Прямое и обратное преобразование Фурье (Discrete Fourier Transform, DFT) позволяют оперировать с сигналом х как во временной, так и в частотной области. Оба представления сигнала равноправны и связаны взаимно однозначным соответствием.

Microsoft Equation 3.0

Рассмотрим гармонический сигнал

)/2sin()sin()/2cos()cos(

)/2cos(

00

0

TltaTlta

Tltaxt

Его спектр на частотах n = ± l будет равен

2

202 a

X n

В случае нормального «белого шума» с дисперсией 2

отношение сигнал / шум в спектре мощности имеет вид

21,22

20

2

NaQ

Где - распределение хи-квадрат с двумя степенями свободы, - процентная точка распределения хи-квадрат. При = 0.995 критическое значение отношения сигнал / шум в спектре мощности на уровне доверительной вероятности 99.5% будет равно Q = 10.60.

Естественно возникает вопрос о выборе доверительной вероятности. Можно предложить следующее правило:

Если выбрать величину = 1 – 2 / N, то в среднем один шумовой пик будет иметь величину больше, чем .

Такой уровень доверительной вероятности можно называть “one noise peak level”. Можно установить “one tenth/hundredth…level”. Это будет означать, что только в одном случае из 10/100 пик в спектре может быть шумовым. Итак, вероятность пика может быть оценена.

21,2

21,2

Вейвлет спектр

В вейвлет анализе рассматривается свертка сигнала с пространственно ограниченной волной, поэтому вейвлет спектр - двумерная величина, зависящая от двух координат (обычно временных величин): протяженности ограниченной волны и несущей частоты волны (ее периода). Поскольку частота строго определена только для монохромной волна (бесконечной протяженности), то говорят не о периоде несущей частоты, а о шкале, или эквивалентном Фурье-периоде.

Базисные вейвлет функции

4 различных базисных вейвлета: Морли, Поля и производные гауссианы 2-го и 6-го порядка во временной области.

Эти функции имеют нулевое среднее и локализованы как во временной, так и в частотной области. Функции имеют действительную и мнимую части, или амплитуду и фазу. Они определяют вейвлет спектр мощности .

Узкие функции дают хорошее разрешение по времени, широкие – по частоте.

2),( baC

Фурье и вейвлет спектры используются далее для анализа

быстрой гамма вспышки. Данные получены на борту космического

аппарата BATSE под номером 00207.

• Sample plot of time-tagged event data, BATSE trigger number 00207 binned to 2.5-millisecond resolution. Four channels from 20 to 300 keV.

A flare itself has an apparent duration of about 30 milliseconds.

Two lower Figures show the power spectral density estimate of the photon flux in an energy channel 20-50 keV using a periodogram with a rectangular and a Tukey window, respectively. The power spectra indicate clearly an oscillation feature at 175 Hz during the outburst phase. The upper dashed line is the 99 % confidence spectrum.

• Sample plot of time-tagged event data BATSE trigger number 00207 (left plot).

• The wavelet power spectra. Fourier period vs. time (right plot).

• Good algorithm what sees more than eye.

• Harmonic at ~ 175 Hz in the Fourier power spectrum.

• Fourier period of ~ 1/175 = 0.006 sec in the wavelet power spectrum.

• Good coincidence between the Fourier and wavelet .

Microsoft Equation 3.0

Как и в случае Фурье спектров можно найти уровень доверительной вероятности и для вейвлет спектра. Для белых шумов локальный вейвлет спектр имеет распределение

21,22

2),(

baC

Отсюда легко установить, например, 99.5% границу для пиков в вейвлет спектрах. Так квантиль для хи-квадрат распределения с двумя степенями свободы будет равен

K1-α = - 2 ln (1- α)

Его значение для доверительной вероятности 99.5% равно 10.6.

Белые контуры соответствуют 95% доверительной вероятности на вейвлет спектрах. Одновременные вспышки колебаний в трех спектральных каналах доказывают их реальность.

Резюме

Статистические обнаружители сигналов, основанные на энтропии Шеннона или других функциях энтропии способны выдавать сообщение о наличии полезного сигнала. Энтропийные критерии могут измерять энтропию потока данных в реальном времени и оценивать информационные свойства стационарных случайных и периодических сигналов.

Классический анализ Фурье – непревзойденный инструмент для обнаружения стационарных сигналов во временных рядах данных, оценивания их амплитудных и частотных характеристик.

Вейвлет анализ – мощный инструмент для анализа временных рядов, содержащих вариации на многих временных масштабах или демонстрирующих изменения в мощности сигналов.

ПриложениеПриложениеСВЧ колебания во вспышке СВЧ колебания во вспышке BATSE 00207BATSE 00207

Помимо гармоники 175 Гц спектральный анализ позволяет выявить в гамма вспышке СВЧ колебания в диапазоне сотен килогерц. Эти колебания детектируются только в районе максимума вспышки и наблюдаются в течение примерно двадцати миллисекунд. Природа столь высокочастотных колебаний остается полностью неясной.

СВЧ колебания невозможно увидеть глазом, поскольку из-за дефицита квантов нельзя построить кривую блеска. Однако для спектрального анализа разреженные потоки квантов не являются помехой. Время регистрации квантов определяется с точностью около 1 микросекунды. Это позволяет детектировать переменность в диапазоне частот до 500 килогерц.

СВЧ колебания во вспышке СВЧ колебания во вспышке BATSE 00207BATSE 00207

(Пример микросекундной астрофизики)

СВЧ колебания детектируются в каналах 20-50 и 100-300 keV. Фурье спектры, слаженные с применением прямоугольного окна и окна Тьюки, демонстрируют колебания на частотах около 190 и 310 Кгц.

Данный пример показывает, что фактически достаточно всего несколько сотен квантов, чтобы обнаружить СВЧ переменность методами быстрой фотометрии.

Моделирование СВЧ переменностиМоделирование СВЧ переменностиA=10; N=1e5; Lambda = 0.0061 *(1+A*cos(2*pi/10.52*1:N)).^2 +A*cos(2*pi/6.46*(1:N)).^2);

for i =1:N; v5(i) = poissrnd (Lambda(i),1,1); end; % SIGNAL Ampl. = 10, Freq. = 190 & 310 kHz

Моделирование позволяет сделать вывод, что разреженный модулированный поток квантов со средней интенсивностью, равной наблюдаемой (всего 0.006 квантов за время выборки сигнала), демонстрирует колебания с частотой 190 и 310 Кгц (левый Рис.). Правый Рис. - шумовой, сигнал в выборке отсутствует.

Gamma-ray burst models proposed are compact mergers and massive stellar collapses.

Numerical simulation of the coalescence of two equal mass black holes.

About 1% of the total mass energy will emerge as gravitational waves and gamma-rays during the final stages of the collision (ring-down phase) lasting

some milliseconds only.

Gravitational Radiation from Gamma-Ray Burst ProgenitorsGravitational Radiation from Gamma-Ray Burst Progenitors

Black hole – neutron star scenario: thin lines and curve: 3 and 1.4 M☼; thick lines and curve: 12 and

1.4 M☼.

In-spiral (solid line), merger (dashed dotted line) and ring-down (spike).

Collapsar: blob merger (dashed dotted line) and ring-down (solid spike).

S. Kobayashi and P. Mezaros, arXiv:astro-ph/0210211 v2 11 Feb 2003

Мы можем заключить, что гармоника 175 Гц во время вспышки BATSE 00207 могла возникнуть в процессе коалесценции черной дыры и нейтронной звезды.