De grote geluidmeetapptest

Door Carel Ostendorf, 28 juni 2013

In de mei 2012 editie van Geluidnieuws stond een eerste uitgebreide test van geluid metende apps voor de iPhone. In het totaal werden toen 12 apps aan een vergelijking onderworpen. In de loop van de tijd heb ik de nodige vragen over de test ontvangen en ook verzoeken om andere apps te testen vooral voor andere type besturingssystemen zoals Android en Windows. Inmiddels zijn we ruim een jaar verder, heeft Apple zijn besturingssysteem al 2 keer aangepast en heeft ook een aantal nieuwe geluidmeetapps de weg naar de telefoon weten te vinden. Hoog tijd dus voor een nieuwe test.

 In deze nieuwe test aandacht voor:

  • 10 gratis apps voor de iPhone getest op een iPhone 5 met nieuwe, vernieuwde en oude apps
  • 10 gratis apps voor Android, getest op een HTC Incredible
  • 7 gratis apps voor Windows, getest op een Nokia Lumia 710

Daarnaast is specifiek gekeken naar de reproduceerbaarheid van het geluidniveau van het muziekfragment (een vraag die ik heb ontvangen) en is meer aandacht besteed aan de haalbare nauwkeurigheid van een app.

De meetopstelling

De test bestaat uit een vergelijkende geluidmeting waarbij een klasse 1 geluidmeter (B&K 2260 met microfoon 4189) als referentie is gebruikt. Het gemeten geluidniveau met de combinatie van app en telefoon is steeds vergeleken met het gemeten geluidniveau van de 2260. Als parameter is het A-gewogen energetisch gemiddelde geluidniveau (LAeq) gekozen waarbij gelijktijdig met elke app en telefoon één van de vijf geluidfragmenten is gemeten:
 

1.     Roze ruis met een geluidniveau van circa 80 dB(A)

2.     Roze ruis met een geluidniveau van circa 100 dB(A)

3.     Een 80 Hz sinustoon met een geluidniveau van circa 81 dB(A)

4.     Een 4000 Hz sinustoon met een geluidniveau van circa 93 dB(A)

5.     Een stukje popmuziek met een geluidniveau van circa 93 dB(A)

De fragmenten komen overeen met de fragmenten uit de test van 2012 alleen is het geluidniveau met circa 5 dB(A) omhoog gebracht omdat we ook wilden kijken naar de prestaties van de apps bij de hogere geluidniveaus.

De fragmenten werden vanuit een laptop via een LEM versterker en LEM monitorbox (K3, 12 inch speaker) ten gehore gebracht. Deze luidspreker stond op de grond met de conus in een schuin vlak omhoog wijzend en heeft een frequentiebereik van 40 Hz tot circa 18 kHz.

De afstand tussen de microfoon en de luidspreker bedroeg 1 meter en de hoogte van de microfoon boven de betonnen vloer bedroeg 1,06 meter. Zowel de referentiemicrofoon als de microfoon van de telefoon wezen in de directe richting van de luidspreker. Er is gekozen voor een vrij korte afstand om zoveel mogelijk in het directe geluidveld te kunnen meten en verstoring van het geluidveld als gevolg van mensen in de ruimte vlakbij de meetopstelling te voorkomen. De uitvoerders van de test bevonden zich dan ook op minimaal 1 meter afstand achter de referentiemicrofoon die met een microfoonkabel was verbonden met de 2260. Omdat het door deze afstand soms moeilijk was om de app af te lezen en de microfoon uit de telefoon niet via een kabel verlengd kan worden, was ook een webcam geïnstalleerd waarmee het beeld van de telefoon kon worden gevolgd zodat het geluidniveau “op afstand” kon worden afgelezen.

Het muziekfragment

Een vraag die op de vorige test is binnengekomen, gaat over het muziekfragment. De vragensteller betoogde dat de variatie in het geluidniveau voor dit fragment veel groter zou zijn dan de variatie bij de andere fragmenten en dat daarom relatief grote afwijkingen bij de door de apps gemeten muziekfragmenten zouden zijn opgetreden.

De geluidfragmenten duren circa 15 seconden en zijn (behoudens het muziekfragment) constant van geluidniveau. Voor het muziekfragment kan een verschil in gemiddeld geluidniveau ontstaan als op verschillende momenten de meting wordt gestart of gestopt. Figuur 1 geeft het verloop van het LAeq per seconde voor het muziekfragment. In deze meting was het gemiddelde geluidniveau lager dan bij de uiteindelijke test.

 

Figuur 1: verloop LAeq per seconde voor het muziekfragment (Pavarana - Flying with thoughts)
 

In figuur 2 is een vergelijking gemaakt voor de geluidmetingen van het muziekfragment met de referentie geluidmeter. Voor de eerste en tweede meetdag  is per app-meting het gemiddelde geluidniveau voor het muziekfragment weergegeven. De metingen op de verschillende dagen zijn door twee verschillende mensen uitgevoerd.

 


Figuur 2: verloop LAeq muziekfragment voor 22 verschillende metingen

Uit figuur 2 volgt dat behoudens de 4e meting op dag 2 de spreiding in het gemiddelde geluidniveau respectievelijk 1,2 en 1,1 dB(A) bedraagt. De 4e meting bleek niet correct te zijn uitgevoerd want de meting was pas een aantal seconden na de start van het geluidfragment gestart. Zo werd de relatief stille periode aan het begin van het fragment niet meegenomen in de meting en een te hoog geluidniveau gemeten.

De metingen laten zien dat de spreiding in het geluidniveau van het stukje muziek in de ordegrootte van 1 dB(A) ligt. Een veel grotere afwijking in de meting met de app is dus niet terug te leiden op de variaties in de meting van het geluidniveau van het muziekfragment.

De vergelijkende meting

De referentiemicrofoon en de microfoon van de telefoon kunnen niet gelijktijdig op dezelfde positie zijn. Dit betekent dat er altijd een (klein) verschil in geluidniveau kan optreden, zeker bij een frequentie van 4000 Hz met een relatief korte golflengte. Bovendien zal de telefoon zelf ook voor een verstoring van het geluidveld zorgen. Daarom is eerst de ordegrootte van deze factoren bepaald voordat met de vergelijking van de apps is begonnen.

Figuur 3 geeft het verschil in geluidniveau tussen de referentiemicrofoon en een tweede microfoon van een klasse 1 geluidmeter (B&K 2250 met microfoon 4189) waarbij de referentiemicrofoon steeds op dezelfde positie stond en de microfoon van de 2250 op verschillende posities rondom de referentiemicrofoon.

 


Figuur 3: verschil in geluidniveau bij verschillende microfoonposities

Op basis van figuur 3 bleek het verschil in geluidniveau voor de meetposities het kleinst bij een afstand van 5 cm met de referentiemicrofoon aan de linkerkant (kijkend in de richting van de luidspreker). De afstand van 5 cm komt ongeveer overeen met de afstand tussen de referentiemicrofoon en de microfoon van de Nokia en de HTC.

 Figuur 4 geeft het resultaat voor het geluidniveau van de referentiemicrofoon waarbij de telefoon op verschillende posities rond de referentiemicrofoon is geplaatst.

 


Figuur 4: invloed telefoon op geluidniveau referentiemicrofoon

De invloed van de telefoon op het geluidniveau varieert afhankelijk van de positie. Het grootste verschil treedt op bij de 4 kHz toon met de telefoon aan de linkerkant van de referentiemicrofoon en bedraagt 1,7 dB(A). Voor de andere fragmenten is het verschil kleiner en bedraagt maximaal 1 dB(A).  De positie met de minste invloed is die met de telefoon direct rechts van de referentiemicrofoon . Deze positie sluit goed aan bij de bevindingen uit figuur 3.

Op basis van de resultaten uit de figuren 2 t/m 4 bedraagt de variatie in het gemeten geluidniveau voor de verschillende fragmenten:

-        Ruis 80 dB(A): 0,2 dB(A)

-        Ruis 100 dB(A): 0,2 dB(A)

-        80 Hz toon: 0,5 dB(A)

-        4 kHz toon: 0,4 dB(A)

-        Muziek 93 dB(A): 2 dB(A)

De combinatie van telefoon en app die met deze nauwkeurigheid het geluid weet te meten, presteert dan net zo goed als een klasse 1 geluidmeter.

 Vergelijking apps voor de iPhone

Tabel 1 geeft een overzicht van de 10 apps die zijn getest. Voor de test is gebruik gemaakt van een iPhone 5 voorzien van iOs 6. De telefoon was niet voorzien van enige vorm van beschermend omhulsel. Alle apps zijn getest zoals ze uit de app store komen. Er is geen extra kalibratie uitgevoerd omdat de meeste gebruikers dit zelf ook niet kunnen uitvoeren.

Nieuw ten opzichte van de test uit 2012 zijn de apps MusicSafeCheck (nog in ontwikkeling), NoiseTube en FNV decibel. De overige apps zijn in 2012 ook al getest. Sommige apps zijn wel geupdatet sinds 2012. De datum van de geteste versie is opgenomen bij de app omschrijving.

 Tabel 1: overzicht apps iPhone

 

Naam app

Afbeelding

Opmerking

Naam app

Afbeelding

Opmerking

dB Volume

 

A-weging

Tijdweging slow

Aflezen ± 1 dB

20 mei 2013

MetalMed dB

 

Weging onduidelijk

Middeling onduidelijk

Aflezen ± 1 dB

29 november 2012

Decibel 10

 

Weging onduidelijk

Middeling onduidelijk

Geen instellingen mogelijk

Geen kalibratie

Aflezen ± 1 dB

15 april 2013

FNV decibel

 

iPhone schermafdruk 1

Weging onduidelijk

Vaste middeling

Geen instellingen

Aflezen ± 1 dB

8 april 2013

Decibelite

 

Weging onduidelijk

Middeling onduidelijk

Geen instellingen mogelijk

Aflezen ± 1 dB

SafeNoise

 

A-weging

Meet Leq

Kalibratie mogelijk

Geen instellingen

Aflezen ± 0,1 dB

2 juni 2013

 

Decibel Ultra

 

C-weging

Tijdmiddeling 125 ms

Kalibratie mogelijk

Aflezen ± 1 dB

11 maart 2012

NoiseTube

 

iPhone Screenshot 3

A-weging

Meet Leq

Kalibratie mogelijk na inloggen

Geen instellingen

Aflezen ± 0,01 dB

25 april 2013

Music

Safe

Check

 

Nog in ontwikkeling

A-weging

Meet Leq

Kalibratie mogelijk

Geen instellingen

Aflezen ± 0,1 dB

Oorveilig

 

Beperkte instellingen

A-gewogen

Vaste middeling 10 seconden

Aflezen ± 1 dB

April 2013

Figuur 5 laat de gemiddelde resultaten voor de 10 apps zien. Per app is het verschil in geluidniveau tussen de app en de referentie weergegeven. Een negatief verschil wil zeggen dat de app een te laag geluidniveau aanwijst. Een positief verschil duidt op een te hoog geluidniveau ten opzichte van de referentie.

 


Figuur 5: resultaat verschil geluidniveau iPhone app en referentie

Figuur 5 maakt duidelijk dat er nog steeds grote verschillen zitten tussen de apps, net als in 2012. Veel apps geven een te laag geluidniveau aan en ook dat is overeenkomstig de test uit 2012. Per app zijn er ook opvallende verschillen. De app dB Volume gaf in 2012 bij 80 Hz ongeveer 9 dB te weinig aan maar in 2013 7 dB teveel. De overige fragmenten zitten bij deze app keurig binnen de 2 dB verschil. Dat kleine verschil geldt ook voor SafeNoise en het nog uit te komen MusicSafeCheck. Alleen bij de 80 Hz toon is het verschil net iets meer dan 2 dB. De overige fragmenten vallen binnen de 2 dB verschilwaarde.

De app MetalMed zat in 2012 rond de 8 dB te hoog en zet deze lijn in 2013 door. Ook Decibellite meet overeenkomstig de test uit 2012 over het algemeen een te hoog geluidniveau waarbij de afwijking in het 80 dB(A) bereik met ruim 14 dB toch wel erg groot is. De app Noisetube laat veel te lage waarden zien. De makers van de app hebben inmiddels een controle uitgevoerd en vastgesteld dat er een fout in de kalibratiewaarden zat. Na herstel presteert de app (volgens de makers) veel beter maar de vernieuwde versie is nog niet verkrijgbaar in de appstore. Ook de app van de FNV geeft veel te lage geluidniveaus. De FNV is bezig te onderzoeken welke mogelijkheden er zijn om de meetprestatie van de app te verbeteren.

Vergelijking apps voor Windows (Nokia Lumia)

Tabel 2 geeft het overzicht van de geteste Windows apps. De Lumia heeft zijn microfoon aan de schermkant van de telefoon. Voor een loodrechte inval van het geluid zou de telefoon dus rechtop moeten worden gehouden met het scherm van de gebruiker af. Dat zal een gebruiker niet snel doen. Daarom is de test, net als bij de iPhone, uitgevoerd met een horizontaal gehouden telefoon met de onderzijde gericht op de luidspreker.

 Tabel 2: overzicht apps Windows

Naam app

Afbeelding

Opmerking

Naam app

Afbeelding

Opmerking

Cyberx Decibel Meter

 

Weging onduidelijk

Middeling

Geen instellingen

Geen kalibratie

Aflezen ± 1 dB

15 mei 2012

Decibel Meter Free

 

Weging onduidelijk

Middeling onduidelijk

Geen kalibratie

Geen instellingen

Aflezen ± 0,01 dB

25 september 2012

Decibel Meter

 

Weging onduidelijk

Middeling

Meettijd instelbaar

Geen kalibratie

Aflezen ± 0,1 dB

7 maart 2012

Decibel Meter

 

Weging onduidelijk

Middeling onduidelijk

Geen instellingen

Geen kalibratie

Aflezen ± 1 dB

31 oktober 2012

Decibel Meter

 

Weging onduidelijk

Middeling onduidelijk

Geen instellingen mogelijk

Geen kalibratie

Aflezen ± 0,01 dB

21 maart 2013

Noise Meter

 

Weging onduidelijk

Middeling 10 sec

Geen kalibratie Geen instellingen

Aflezen ± 0,1 dB

9 december 2011

 

NoiseLevO

 

 

Weging onduidelijk

Geen middeling

Geen instellingen

Geen kalibratie

Aflezen ± 1 dB

Versie 2012 (gratis)

 

 

 

 

Soberheid is de eerste indruk die de geluidmeetapps voor Windows achterlaten. In vergelijking met de apps voor de iPhone zijn de ontwerpen eenvoudig en valt er meestal niets in te stellen. Veel fantasie hebben de makers ook niet bij het vinden van een benaming voor hun app. Sommige apps geven naast het geluidniveau ook nog een soort schaal aan waaruit de gebruiker af kan leiden hoe het geluidniveau moet worden geïnterpreteerd. Met de app Noise Meter kan bovendien de koppeling worden gemaakt tussen het geluidniveau en de locatie van de meting. Figuur 6 geeft de resultaten voor de vergelijkende metingen. Ook nu is het verschil tussen de app en het referentiegeluidniveau in de grafiek weergegeven.


Figuur 6: verschil geluidniveau Windows app en referentie

De eigenaar van deze Nokia 710 kan beter een echte geluidmeter kopen dan zijn telefoon hiervoor te gebruiken. De apps zijn redelijk consistent in hun afwijkingen. Over het algemeen geven ze een (veel) te laag geluidniveau aan behalve bij de toon van 80 Hz. Daar zijn ze iets te enthousiast. De slechte prestaties bij de 4 kHz toon doet vermoeden dat de hard- of software hier voor een algemene begrenzing zorgt. Kennelijk is geen van de app makers er in geslaagd deze begrenzing te omzeilen. Ten opzichte van de iPhone is de kwaliteit van de apps duidelijk minder.

Vergelijking apps voor Android (HTC)

Het besturingssysteem Android wordt op heel veel typen telefoons toegepast. De resultaten van de test zijn natuurlijk afhankelijk van het type telefoon. Daarom zegt het absolute verschil in geluidniveau niet zoveel over de kwaliteit van de app maar kan op basis van de onderlinge vergelijking wel iets gezegd worden over de meetprestaties van de app.

De test is uitgevoerd met een HTC Incredible en de apps zijn bij de eerste meetsessie niet apart gekalibreerd (mocht deze mogelijkheid zich voordoen in de app) maar gebruikt zoals ze uit de app store komen. Tabel 3 geeft het overzicht van de gebruikte apps.

Tabel 3: overzicht apps Android

Naam app

Afbeelding

Opmerking

Naam app

Afbeelding

Opmerking

Sound Meter

 

Weging onduidelijk

Middeling onduidelijk

Geen instellingen

Geen kalibratie

Aflezen ± 1 dB

 

DeciBel

 

A-weging

Middeling 15 seconden

Kalibratie mogelijk

Aflezen ± 0,1 dB

 

Miido Noise meter

 

Weging onduidelijk

Middeling onduidelijk

Aflezen ± 0,1 dB

 

Soundmeter lite

 

Weging onduidelijk

Middeling onduidelijk

Kalibratie mogelijk

Aflezen ± 1 dB

 

Sound Meter

 

Weging onduidelijk

Middeling

Geen kalibratie

Aflezen ± 1 dB

FNV Decibel

 

Weging onduidelijk

Middeling vast

Geen kalibratie mogelijk

Aflezen ± 1 dB

 

Decibel Meter

 

Weging onduidelijk

Middeling onduidelijk

Kalibratie mogelijk

Instellingen mogelijk

Aflezen ± 1 dB

 

Noise Meter

 

Weging onduidelijk

Middeling Leq

Kalibratie mogelijk

Aflezen ± 0,1 dB

 

Soundmeter

 

Weging onduidelijk

Middeling onduidelijk

Kalibratie mogelijk

Aflezen ± 1 dB

 

DecibelOmeter

 

Weging onduidelijk

Middeling onduidelijk

Geen kalibratie mogelijk

Aflezen ± 0,1 dB

 Figuur 7 geeft een overzicht van de meetresultaten voor de Android apps.


Figuur 7: meetresultaat voor Android apps

De Android apps op deze HTC laten allemaal een te lage waarde zien. Ook hier lijken begrenzingen een belangrijke rol te spelen in het resultaat. Bij 4 kHz presteren veel apps opvallend slechter ten opzichte van de andere geluidfragmenten. De app Soundmeter doet het nog relatief goed ten opzichte van de andere apps.

Veel apps bezitten de mogelijkheid tot kalibratie. De kalibratie bestaat uit een correctie met een vast geluidniveau.  Daarom is een nieuwe meting uitgevoerd met enkel de gekalibreerde apps. Figuur 8 laat het resultaat zien. De app Soundmeter kan ook gekalibreerd worden maar een correctie voor de meting van 4 kHz betekent een verslechtering voor de overige fragmenten. De app kan voor deze telefoon dus beter met de default instelling worden gebruikt.


Figuur 8: resultaat voor Android apps op HTC Incredible na kalibratie

De kalibratie levert een sterke verbetering op van het meetresultaat. Nog steeds blijven echter de begrenzingen van de hard- en/of software zichtbaar. Het fragment van 4 kHz scoort nog steeds grote afwijkingen bij de meeste apps en ook het 80 Hz signaal geeft problemen. De overige fragmenten worden goed gemeten. De apps Decibel Meter en deciBel meten de ruisfragmenten en muziek zelfs met een nauwkeurigheid binnen 1 dB.

Slotwoord

Als geluidmeter doet de iPhone het nog het best. De gebruikte Android telefoon is na kalibratie ook heel bruikbaar hoewel niet alle soorten geluid even goed zullen worden gemeten. Windows en de Nokia Lumia 710 is een ongelukkige combinatie. Wellicht dat andere Windows toestellen beter presteren.

Dankwoord

Veel dank aan Pim Knops, Pim Ostendorf (beiden TU Eindhoven) en Timo Dekker (Hogeschool Zuyd) voor het uitvoeren van de geluidmetingen, het gebruik van hun telefoons en het verzamelen van de benodigde informatie.