Kompresja polega na znajdowaniu nadmiarowości w danych i ich usuwaniu. Ponieważ wydaje się, że nie jesteś w stanie powiedzieć nam zbyt wiele o swoich rzeczywistych zestawach danych, ta odpowiedź będzie musiała być bardzo ogólna.

Rozumiem, że dane „potencjostatu” są ciągłe, ogólnie zmieniają się powoli, ale mogą wykazywać niewielkie odchylenia od próbki do próbki. Dobrym sposobem na zakodowanie tego w 15-minutowych (450 przykładowych) blokach byłoby dopasowanie pierwszego, drugiego lub trzeciego rzędu (lub więcej, w zależności od ogólnej natury danych) wielomian do bloku danych, aby uchwycić jego ogólny kształt. ¹

Blok zostałby następnie zakodowany jako parametry tego wielomianu (być może cztery liczby 16-bitowe) plus indywidualne odchylenia próbki od tego wielomianu, które przypuszczalnie mogą być znacznie mniejsze - być może 450 liczb 3- lub 4-bitowych , co daje łącznie 1414 lub 1864 bitów zamiast oryginalnych 7200 bitów - współczynnik kompresji w przybliżeniu 4 lub 5 do 1.

Jeśli okaże się, że nie możesz użyć stałej szerokości dla przykładowych delt, rozważ użycie kodowania Huffmana do ich przedstawienia - małe wartości dają krótkie kody, podczas gdy przypuszczalnie rzadsze duże wartości dają dłuższe kody . Nadal powinieneś być w stanie uzyskać współczynnik kompresji około 3 do 1, znowu w zależności od danych.

¹ Jeśli okaże się, że dane mają składnik cykliczny, bardziej przydatne może być zastosowanie autoregresji lub analizy Fouriera do identyfikacji kluczowych składowych okresowych (częstotliwości, fazy i amplitudy), a następnie zapisz delty poszczególnych próbek z funkcji zdefiniowanej przez te parametry.

Twoje dane będą prawdopodobnie składać się z dwóch składników:

• Niska prędkość zmian rzeczywistego napięcia
• Losowe odchylenie spowodowane szumem ADC

Jest prawdopodobne, że losowe odchylenie przedstawi większość entropii danych. Możesz to zmniejszyć przez nadpróbkowanie: na przykład pobranie 4 próbek na raz i podzielenie wyniku przez 4 zmniejszyłoby szum o połowę.

Nie ma szeroko popularnego formatu kompresji bezstratnej kompresji próbek ADC. Czasami używany jest bezpłatny bezstratny kodek audio, ale jest on dość obciążony obliczeniowo i może nie być odpowiedni dla twojego systemu. Typowe bezstratne formaty kompresji, takie jak DEFLATE i LZ4, zajmują mniej zasobów obliczeniowych, ale współczynnik kompresji nie będzie zbyt dobry, chyba że dodasz niestandardowe kroki przetwarzania wstępnego. Dlatego najlepiej byłoby zaprojektować własny schemat kompresji.

Ogólna struktura metod kompresji zwykle składa się z dwóch części:

1. Przetwarzanie wstępne w celu poprawy ściśliwości: na przykład pobranie różnicy dwóch kolejnych wartości lub zastosowanie predykcji wielomianowej.
2. Kodowanie entropii do reprezentowania każdego symbolu z najmniejszą potrzebną liczbą bitów. Jedną z powszechnych metod jest kody Huffmana, wykorzystujące tabele stałe lub dynamiczne.

Jednym z niestandardowych formatów, których użyłem z powodzeniem, jest obliczenie różnicy między kolejnymi próbkami i zakodowanie różnicy za pomocą kodowania gamma Elias. Ma tę zaletę, że jest prosty w implementacji i pozwala na kodowanie mniej niż 1 bajta na próbkę dla wolno zmieniających się sygnałów.

Najlepsze kodowanie będzie w dużej mierze zależeć od dystrybucji próbek. Powiedziałeś nam, że delty są w większości dość małe, co oznacza, że ​​pierwszym krokiem będzie prawie na pewno kodowanie delta (przekształcenie każdej wartości w jej różnicę w stosunku do poprzedniej wartości).

Kolejnym ograniczeniem będzie system, w którym wykonujesz kodowanie - powiedziałeś, że jest „osadzony”, ale obejmuje to całkiem szeroki zakres możliwości. Powiedziałeś również, że karty SD są poza zakresem i że buforujesz tylko 450 próbek naraz w pamięci RAM, co sugeruje naprawdę bardzo mały system. W takim przypadku optymalizacja pod kątem prostoty i oszczędzania procesora / pamięci RAM wydaje się odpowiednia.

Jeśli najczęstszą wartością delta jest dokładnie 0 - to znaczy, że partie próbek są takie same jak poprzednia próbka - prawdopodobnie dobrym pomysłem jest najpierw „zakodowanie długości serii” te serie wartości 0. (Tj. Po prostu zapisywanie, ile było ich w rzędzie.)

Reszta zależy dalej od tego, jak wygląda rozkład wartości. Zakładam dla celów ćwiczeń, że prawie wszystkie są w zakresie -64 < x < 63 (tj. 7-bitowa liczba całkowita ze znakiem). Zakładam również, że najłatwiej jest pracować z bajtami, a nie bitami (co prawdopodobnie jest prawdą, jeśli np. Piszesz C) - jeśli to nie jest prawda, zobacz sam dół odpowiedzi dla schematu bitowego. Bardzo proste kodowanie bajtowe mogłoby wyglądać mniej więcej tak:

0b0xxxxxxx - wartość literału (delta) reprezentowana jako 7-bitowa liczba całkowita ze znakiem w części „xxxxxxx”. (Wartości od -64 do 63.)

0b10xxxxxx - ciąg zer (delt) o długości reprezentowanej przez "xxxxxx" (6 bitów bez znaku może wyrazić do 63, a jeśli potrzebujemy więcej, możemy po prostu dodać kolejny wpis.)

0b110xxxxx 0byyyyyyyy - wartość literału (delta) reprezentowana jako 13-bitowa liczba całkowita ze znakiem w części „xxxxxyyyyyyyy”.

0b11111111 0bxxxxxxxx 0byyyyyyyy - wartość literału (delta) reprezentowana jako 16-bitowa liczba całkowita ze znakiem. Jest to bardzo nieefektywne kodowanie (oczywiście), ponieważ zamienia 16-bitową wartość na 3-bajtową reprezentację. To niepotrzebnie marnuje miejsce, aby utrzymać wyrównanie bajtów wyjściowych. Ten schemat ma sens tylko wtedy, gdy tak duże delty są bardzo rzadkie. (Każdy nietrywialny schemat kompresji będzie miał pewne dane wejściowe, dla których wynikowe wyjście jest faktycznie większe; to jest twierdzenie teorii informacji.)

(Powyższy schemat jest nieco inspirowany kodowaniem UTF-8 w Unicode.)

W przeciwieństwie do kodów Huffmana (wymienionych w innej odpowiedzi), zakładany rozkład wartości jest ustalany z góry. Jest to zaleta, ponieważ sprawia, że ​​wszystko jest proste i pozwala uniknąć dodawania narzutu na początku każdego bloku sampli; to wada, ponieważ bardziej adaptacyjny schemat nie wymagałby ręcznego dostrajania dystrybucji.

Jeśli delty znacznie mniejsze niż -64 do 63 są powszechne, lepsze kodowanie bajtowe niż powyższe będzie wymagało przetworzenia więcej niż jednej próbki na raz, aby uzyskać kompresję lepszą niż 2: 1 (to znaczy więcej niż jedna próbka na bajt wyjściowy.)

Jeśli kodowanie bitowe jest w porządku, znacznie prostszy do opisania schemat jest następujący: nadal najpierw kodowanie delta, a następnie kodowanie w następujący sposób. Po bitu 0 następuje dodatnia liczba całkowita o zmiennej długości, kodująca liczbę następnych zer; po bitu 1 następuje bit znaku, a następnie dodatnia liczba całkowita o zmiennej długości, razem kodując następną wartość (delta). Dodatnie liczby całkowite o zmiennej długości mogą być zakodowane przy użyciu jednego z kodów z https://en.wikipedia.org/wiki/Universal_code_(data_compression), takiego jak jeden z kodów Eliasa. (To, które kodowanie jest najlepsze, znowu będzie zależeć od dystrybucji danych, ale prawdopodobnie każde z nich będzie świetne).

Aby rozwinąć pomysł Dave'a, innym sposobem na przechowywanie 15-minutowego fragmentu, jeśli wartość zmienia się powoli w czasie, jest przechowywanie tylko zmian.

Zacząłbyś od pełnej 16-bitowej liczby, a następnie określasz, ile bitów potrzebujesz, aby zapisać największą zmianę między dwoma próbkami.Na przykład, jeśli największa zmiana przechodzi z 1050 do 1013, różnica wynosi -37 lub 1011011 w układzie dwójkowym komplementarnym.To zajmuje 7 bajtów na próbkę zamiast 16.

Nie zapisuj danych co dwie sekundy

Zapisuj dane tylko wtedy, gdy zmiana przekracza określony próg, i dołącz sygnaturę czasową.

Zarówno w przypadku danych, jak i sygnatury czasowej można rejestrować delty (różnicę w stosunku do poprzedniej próbki) z mniejszą liczbą bitów i używać pełnej szerokości tylko wtedy, gdy zmiana przekracza szerokość zdefiniowaną dla delt.

Na dwa sposoby:

1. Utwórz własny schemat kompresji.Zacznij prosto: na przykład, jeśli kilka próbek z rzędu ma tę samą wartość, użyj kodowania RLL.Udoskonalenie programu może wymagać wysiłku badawczo-rozwojowego.Odpowiedzi Dave'a Tweeda i Glenna Willena sugerują dobre podejście.

2. Wybierz istniejący schemat.Zgodnie z odpowiedzią jpa, FLAC natychmiast przychodzi na myśl (chociaż ma na celu częstotliwość próbkowania dźwięku).Jeśli masz dość mocny procesor i znajdziesz łatwą w użyciu bibliotekę oprogramowania, praca zostanie wykonana znacznie mniejszym wysiłkiem.

Jeśli nie interesuje Cię szum o wysokiej częstotliwości, filtr dolnoprzepustowy przed kompresją prawdopodobnie pomoże w obu przypadkach w poprawieniu współczynnika kompresji.