Tagarchief: gebruik onderzoeksresultaten

Lezen, beoordelen en in de praktijk gebruiken van wetenschappelijke literatuur

Inleiding

Voor de onderbouwing van het handelen van masseurs is wetenschappelijk onderzoek van groot belang. Voor masseurs is het belangrijk dat zij weten waar ze wetenschappelijk onderzoek kunnen vinden, hoe ze het kunnen lezen, hoe de kwaliteit van het onderzoek te beoordelen en de resultaten te interpreteren en verantwoord te gebruiken.

Het spreekt voor zich dat de massageprofessional onderzoeksresultaten in de communicatie met klanten en andere zorgverleners zorgvuldig gebruikt.

Dit artikel wil de massageprofessional hiervoor handvatten bieden.  We gaan in op de verschillende soorten studie designs voor verschillende soorten onderzoek. De designs verschillen in opzet en in de kwaliteit van het wetenschappelijk bewijs dat ze kunnen leveren.
Ook gaan we in op hoe een artikel het beste gelezen kan worden en hoe de resultaten geïnterpreteerd en in de praktijk gebruikt kunnen worden .

Het vinden van wetenschappelijke artikelen

Wetenschappelijke artikelen zijn vaak lastig te vinden en niet altijd toegankelijk. Een aantal goede bronnen zijn Google Scholar, Pubmed en de Cochrane library.

     

Studie designs

Studies kunnen veel verschillende designs hebben. Er bestaat een hiërarchie voor het bewijs van resultaten van verschillende studie designs (zie afbeelding). De studie designs zijn gerangschikt op basis van het risico op bias (een of meerdere factoren die de uitkomst van een onderzoek kunnen beïnvloeden en een objectieve interpretatie in de weg staan).

EBM Pyramid and EBM Page Generator

Onderaan de piramide staan achtergrond informatie en opiniestukken. Deze stukken bevatten algemene informatie of de mening van een expert over zijn vakgebied. Deze soorten artikelen bevatten geen wetenschappelijk bewijs.

Hierboven staan de casusbeschrijvingen, de case series en het patiënt-controle onderzoek. Een casusbeschrijving beschrijft het verloop van een ziekte en de behandeling van een of enkele patiënten. Een case serie bevat patiënten met dezelfde blootstelling aan een risicofactor en dezelfde uitkomst, of alleen dezelfde uitkomst. In deze studies worden geen groepen met elkaar vergeleken (Mathes & Pieper 2017). In een case serie kan bepaald worden hoe vaak mensen met een bepaalde uitkomst blootgesteld zijn aan een risicofactor (Dekkers et al. 2012 ).
In een patiënt-controle onderzoek wordt er een groep patiënten met een bepaalde uitkomst en een groep mensen zonder die uitkomst geselecteerd. Hierna wordt er terug gekeken in de tijd naar de blootstelling aan risicofactoren (Lewallen & Courtright 1998). Langdurige statische houdingen tijdens computergebruik zijn een risicofactor voor nekpijn (Szeto et al. 2005). In een case serie worden er deelnemers met de uitkomst, nekpijn, geselecteerd en wordt er gekeken naar hun blootstelling aan de risicofactor, langdurig computergebruik. Op deze manier kan onderzocht worden hoeveel mensen met de uitkomst, nekpijn, blootgesteld zijn aan de risicofactor, langdurig computergebruik. In een patiënt-controle onderzoek worden deelnemers met nekpijn en deelnemers zonder nekpijn geselecteerd. Hierna wordt er gekeken naar hun blootstelling aan de risicofactor, langdurig computergebruik. Op deze manier kan onderzocht worden of langdurig computergebruik vaker voorkomt bij mensen met nekpijn.
Een casusbeschrijving heeft een hoog risico op bias, omdat het slechts de beschrijving van een of enkele patiënten betreft. Een patiënt-controle onderzoek heeft ook een hoog risico op bias, bijvoorbeeld door niet willekeurige selectie van deelnemers (selectie bias) en het terugkijken in de tijd (recall bias). Als er terug in de tijd gekeken moet worden naar een blootstelling kan het zijn dat iemand zich dit verkeerd herinnert of het vergeten is, wat de uitkomst van het onderzoek beïnvloedt. Dat noemen we recall bias.
Een case series geeft hooguit een indicatie van de blootstelling aan een risicofactor, maar levert geen bewijs voor een causaal verband tussen blootstelling en uitkomst.
De studie designs in deze laag worden niet beschouwd als wetenschappelijk bewijs van hoge kwaliteit.

De volgende laag bestaat uit cohort studies . Een cohort is een groep mensen die geselecteerd wordt. Vaak heeft dit cohort iets gemeen, zoals blootstelling aan een risicofactor. Een cohort zonder de uitkomst wordt geselecteerd. Het cohort wordt gevolgd totdat de uitkomst plaatsvindt (Song & Chung 2010).
In een cohort studie onderzochten Harkness et al. (2003) de risicofactoren voor lage rugpijn bij nieuwe werknemers. Bij 1186 werknemers met verschillende soorten werk werden mogelijke risicofactoren voor lage rugpijn gemeten, zoals zwaar tillen en stress. Na 1 jaar en na 2 jaar werd gekeken wie er lage rugpijn hadden gekregen. Aan de hand daarvan werden uiteindelijk de risicofactoren voor het krijgen van lage rugpijn vastgesteld. Pijn op een andere plek dan de rug, een warme werkomgeving en eentonig werk bleken risicofactoren te zijn voor het krijgen van lage rugpijn (Harkness et al. 2003).
Omdat de blootstelling aan een risicofactor in een cohort studie wordt bepaald voordat de uitkomst bekend kan er in een cohort studie beter een verband gevonden worden tussen blootstelling en uitkomst dan met de studie designs in de vorige laag. Cohort studies kunnen vooruit kijken of terug kijken. Bij de eerste wordt er nu een cohort bepaald en worden deze gevolgd in de toekomst, bij de tweede wordt er nu op basis van blootstelling aan een risicofactor een cohort bepaald en wordt uitkomst bepaald aan de hand van eerder gemeten data (Song & Chung 2010). Een nadeel is dat er geen controle meer is over het meten van de uitkomst data.

Hierboven staan de Randomized controlled trials, die worden beschouwd als het beste design voor een individuele studie. In dit design wordt het effect van een interventie of behandeling vergeleken met een controle groep (Kabisch et al. 2011). De deelnemers worden willekeurig verdeeld over de groepen, om confounding en selectie bias uit te sluiten. Ook blinderen, waardoor de onderzoeker niet weet in welke groep een patiënt zit wanneer het effect gemeten wordt, verkleint het risico op bias. Ideaal gezien worden zowel de onderzoeker als de patiënt geblindeerd, maar voor patiënten is dit niet altijd mogelijk (Kabisch et al. 2011).

De volgende laag zijn de “critically appraised individual articles”. Deze artikelen bevatten een korte beschrijving en evaluatie van een individuele studie (Evidence-Based Practice Research 2017).

Hierna volgen de “critically appraised topics”. Een CAT is een korte samenvatting van het beschikbare wetenschappelijke bewijs met betrekking tot een onderzoeksvraag (Fetters et al. 2004).

Bovenaan de piramide tenslotte staan de systematische reviews. In een systematische review worden met een duidelijke en reproduceerbare zoekstrategie alle potentieel relevante onderzoeken over een bepaald onderwerp gezocht (Offringa & de Craen 1999). Ook wordt de kwaliteit van de onderzoeken beoordeeld (Khan et al. 2003). Systematische reviews kunnen een meta-analysis bevatten. Een meta-analyse is een statistische procedure om de resultaten van verschillende studies over het zelfde onderwerp te combineren. Het doel is om een gecombineerd resultaat te vinden van deze studies (Egger et al. 1997). Niet alle systematische reviews bevatten een meta-analyse (Haidich 2010).

Het lezen van een wetenschappelijk artikel

Een wetenschappelijk artikel bestaat uit een introductie, een methoden en materialen sectie, een resultaten sectie, een discussie en een conclusie. Ook heeft elk artikel een titel en een abstract, een korte samenvatting van het artikel bovenaan het artikel (Subramanyam 2013).

De titel van een wetenschappelijk artikel bevat vaak al veel informatie. Een goede titel bevat het onderwerp van het artikel en de studie design (Durbin 2009). Het onderwerp van het artikel kan de lezer doen besluiten verder te lezen, terwijl de studie design iets zegt over de kwaliteit van een artikel.

Een abstract is een samenvatting van de gehele studie. Vaak worden de introductie, de methoden, de resultaten en de conclusies apart genoemd. Een abstract geeft een algemeen beeld van de hele inhoud van een artikel (Hudson-Barr 2004).

Na het lezen van de titel en de abstract bepaalt iemand of hij het hele artikel wil lezen (Subramanyam 2013).

De introductie van een artikel bevat achtergrondinformatie over het onderwerp en een verantwoording voor deze studie. Vaak wordt de bekende literatuur besproken en aangegeven waar er nog kennis ontbreekt, en hoe die gebreken tot deze studie hebben geleid (Subramanyam 2013).

De methoden en materialen sectie bevat informatie over de procedures en de instrumenten die gebruikt zijn en de metingen die gedaan zijn. Ook worden hier de inclusie- en exclusiecriteria van deelnemers beschreven (Hudson-Barr 2004; Subramanyam 2013). Deze sectie bevat meestal niet alle details, maar wel genoeg om een duidelijk beeld te schetsen hoe de studie is uitgevoerd (Subramanyam 2013).

In de resultaten sectie worden details gegeven over de verzamelde data. Dit kan in tabellen, grafieken, figuren en in de tekst. Statistisch significante en niet significante resultaten moeten hier worden onderscheiden. Het interpreteren van de data gebeurt niet in de resultaten sectie. (Subramanyam 2013).

In de discussie wordt de onderzoeksvraag van de studie echt beantwoord. De resultaten van de studie worden vaak vergeleken met de resultaten van andere studies en verschillen of gelijkenissen worden verklaard. Ook de sterke en zwakke punten van de studie worden hier benoemd, alsmede nieuwe hypotheses of problemen en de relevantie van de studie voor de praktijk. De discussie hoort geen nieuwe informatie over het onderwerp van het onderzoek te bevatten (Subramanyam 2013).

Hierna volgt er vaak nog een conclusie. Hierin staat kort het antwoord op de vraag van het artikel. Het is belangrijk om te kijken of de onderzoeksvraag van de studie ook echt beantwoord wordt. (Subramanyam 2013).

Als laatste volgt er een referentielijst.

Het wordt aangeraden om eerst de titel en de abstract van een artikel te lezen.
Hierna kan de lezer besluiten het hele artikel te lezen. Belangrijk om te lezen zijn de methoden, in het bijzonder wie de deelnemers aan de studie waren, welke metingen er gedaan zijn en door wie. Na de methoden is het nuttig om de resultaten sectie te lezen. De resultaten sectie is vaak niet gemakkelijk te lezen, omdat het uitsluitend een presentatie van de data is en de data niet geïnterpreteerd of uitgelegd worden. Belangrijk is om te letten op de statistische significantie. Ook is het belangrijk te kijken wat er precies vergeleken wordt, bijvoorbeeld verschillende groepen of dezelfde groep na een behandeling. Hierna kun je naar de conclusie kijken. Komt deze overeen met de resultaten en wordt de onderzoeksvraag inderdaad beantwoord?
In de discussie worden de data geïnterpreteerd. Dit zijn echter de interpretaties van de auteur en geen feiten. (Subramanyam 2013). Daarom is het belangrijk om ook de resultaten zelf goed te lezen.
De introductie geeft achtergrondinformatie en een verklaring voor het onderzoek, maar geeft verder geen informatie over het onderzoek zelf.

Het beoordelen van de kwaliteit van een onderzoek

Er zijn verschillende hulpmiddelen om de kwaliteit van wetenschappelijk onderzoek te beoordelen. Zo zijn er de Cochrane beoordelingsformulieren voor verschillende studie designs en de CASP checklists, ook voor verschillende studie designs. Deze beoordelingsformulieren en checklists vragen de lezer verschillende aspecten van het onderzoek te beoordelen.
Hier zullen we verder ingaan op de PEDro schaal voor randomized controlled trials (PEDro scale 1999) . In tegenstelling tot de beoordelingsformulieren en checklists komt er een score uit de PEDro schaal. Die score geeft een indicatie van de kwaliteit van het onderzoek .

De PEDro schaal bevat 11 items die belangrijk zijn voor de kwaliteit van een randomized controlled trial. Deze items worden als ja of nee (1 of 0) gescoord. Het eerste item heeft geen betrekking op de kwaliteit van het onderzoek, maar op de deelnemers. Daarom telt dit item niet mee in de score, waardoor er uiteindelijk een score van 0-10 gegeven wordt na de beoordeling (de Morton 2009). Er moet alleen een punt gegeven worden als er duidelijk voldaan is aan het criterium (PEDro schaal 1999). Hoe hoger de score hoe beter de kwaliteit. Er is geen duidelijke score waaraan een artikel moet voldoen, maar vaak wordt een score van 5 of 6 beschouwd als voldoende kwaliteit.
De PEDro schaal is een betrouwbare maat voor het scoren van de kwaliteit van randomized controlled trials, en kan daardoor gebruikt worden voor het beoordelen van studies in systematische reviews (Maher et al. 2003).
Hieronder zullen we alle items van de PEDro schaal bespreken.

  1. “Zijn de inclusie- en exclusiecriteria duidelijk beschreven?”
    Hieraan is voldaan als duidelijk is hoe de deelnemers zijn geselecteerd en als er een duidelijke lijst is met inclusie en exclusiecriteria voor wie er wel en niet mee mochten doen..
  2. “Zijn de deelnemers willekeurig verdeeld over de groepen?”
    Dit betekent dat deelnemers aan de studie willekeurig verdeeld zijn over de verschillende groepen. Dit kan bijvoorbeeld gedaan worden met een tabel met willekeurige getallen of een computerprogramma dat willekeurige getallen geeft. Het gebruik van bijvoorbeeld geboortedata is niet willekeurig en moet daarom vermeden worden (Dettori 2010).
  3. “Was de verdeling van de deelnemers blind?”
    Dit betekent dat degene die bepaalt of iemand voldoet aan de inclusie criteria niet weet in welke groep deze patiënt ingedeeld wordt. Dit verkleint het risico op bias.
  4. “Zijn de groepen vergelijkbaar aan het begin van de studie?”
    Dit houdt in dat de verschillende groepen in de studie gelijk zijn voor bepaalde karakteristieken die voor dat onderzoek van belang zijn. Hiermee kan er gecontroleerd worden voor confounding.
  5. “Zijn de deelnemers geblindeerd?”
    Dit betekent dat de deelnemer aan de studie niet op de hoogte is van in welke groep hij of zij geplaatst is, en dat ze niet zelf de mogelijke opties kunnen onderscheiden. In de praktijk is het vaak lastig om iemand volledig te blinderen. Als iemand van tevoren niet weet in welke groep hij is ingedeeld kan hij nog steeds opmerken welke behandeling hem gegeven wordt.
  6. “Zijn de behandelaars geblindeerd?”
    Alle behandelaars die de behandeling uitvoeren, moeten hiervoor geblindeerd zijn. In de praktijk is het vaak lastig een behandelaar te blinderen voor de behandeling die hij of zij moet uitvoeren.
  7. “Zijn de beoordelaars geblindeerd?”
    De beoordelaars die de uitkomst van de studie meten, weten niet in welke groep de deelnemer zat bij wie ze dit meten. Dit zorgt ervoor dat de uitkomst objectief gemeten wordt.
  8. Zijn de uitkomsten gemeten bij tenminste 85% van de deelnemers?”
    De uitkomst moet gemeten worden bij tenminste 85% van de deelnemers binnen elke groep in de studie. Als er in een bepaalde groep veel deelnemers uitvallen, heeft dit invloed op het resultaat van de uitkomst meting. Het aantal deelnemers in de groepen aan het begin van de studie en het aantal deelnemers in de groepen bij wie de uitkomst gemeten is, moeten beide genoemd worden om aan dit criterium te voldoen.
  9. Hebben alle deelnemers de toegewezen experimentele of controle behandeling gekregen en is er een intention-to-treat analysis uitgevoerd?”
    Alle deelnemers moeten de juiste behandeling hebben gehad en wanneer dit niet het geval is moet er een intention-to-treat analysis gedaan worden. Dit betekent dat de data geanalyseerd worden alsof iedereen de juiste behandeling heeft gehad. Wanneer degenen die dat niet hadden niet meegenomen worden, wordt het effect van de behandeling te optimistisch ingeschat, omdat in de praktijk cliënten niet altijd goed meewerken en er soms van het protocol wordt afgeweken (Gupta 2011).
  10. “Zijn de resultaten van een statistische vergelijking tussen de groepen gerapporteerd?”
    Dit houdt in dat er een statistische vergelijking is gemaakt tussen de groepen in de studie, zodat het verschil tussen de groepen duidelijk is.
  11. “Is er een maat voor de grootte van het effect en een maat voor de spreiding gerapporteerd?”
    Hieraan wordt voldaan wanneer er een maat voor de grootte van het effect gerapporteerd wordt, en er een maat voor de spreiding van de data gerapporteerd wordt.

Het is veel werk om een PEDro score aan een studie te geven en de items die gecheckt moeten worden zijn niet altijd duidelijk terug te vinden in het artikel. Daarom is er de PEDro database, die 38.000 randomized controlled trials, reviews en richtlijnen bevat. De trials hebben een PEDro score gekregen die hier terug te vinden is. Omdat de PEDro score alleen voor randomized controlled trials is hebben de reviews en richtlijnen geen score.
Het is raadzaam in deze database te kijken of het onderzoek al een PEDro score heeft voor je zelf een onderzoek gaat beoordelen.

Interpreteren van resultaten

Significantie

p-waarde

Om het verschil tussen groepen uit te drukken wordt vaak de statistische significantie gerapporteerd in een artikel. De statistische significantie wordt vaak uitgedrukt als een p-waarde. Een verschil is significant als de p-waarde kleiner of gelijk is aan 0.05. Dit betekent dat het gevonden verschil door toeval tot stand is gekomen lager is dan 5%. Hoe lager de p-waarde is hoe kleiner de kans dat het gevonden verschil of effect door toeval tot stand is gekomen.

95% betrouwbaarheidsinterval

Soms wordt er geen p-waarde gerapporteerd maar een 95% betrouwbaarheidsinterval (95% CI). Dit is ook een manier om statistische significantie te bepalen. Wanneer het 95% betrouwbaarheidsinterval van het verschil niet de waarde 0 overlapt is het verschil significant.

Significantie kan gebruikt worden om een verschil aan te tonen, maar het zegt niet alles over de relevantie van dit verschil in de praktijk. Een statistisch significant verschil hoeft niet per se een groot verschil voor de cliënt te maken (Cook 2008). Ook wanneer er geen significante waarde gevonden wordt, betekent dit niet dat er zeker geen effect is. Bijvoorbeeld te weinig proefpersonen in een onderzoek kan leiden tot een niet significant verschil, terwijl er misschien wel een effect is.

Deelnemers

Voor het interpreteren en gebruiken van resultaten is het ook belangrijk om te kijken naar de deelnemers aan een studie. Vaak worden studies gedaan waaraan alleen mensen met specifieke kenmerken, zoals een bepaalde aandoening, deelnemen. Het resultaat van deze studie geldt dan niet voor iedereen, maar alleen voor de groep die onderzocht is. Daarom is het van belang altijd te kijken wat voor deelnemers er waren om te bepalen of het resultaat algemeen toepasbaar is en of het resultaat toepasbaar is op een cliënt met een bepaalde aandoening.

Dagelijks gebruik

Om informatie uit wetenschappelijke artikelen in de dagelijkse praktijk te kunnen gebruiken, is het belangrijk dat de resultaten goed worden weergegeven. Een enkele studie die een klein effect vindt, is niet voldoende om iets als waarheid aan te nemen. Het is belangrijk om de resultaten en de relevantie voor de praktijk genuanceerd weer te geven.

Het Reumafonds stelt in de brochure Fibromyalgie bijvoorbeeld, dat massage een van de alternatieve behandelingen is bij fibromyalgie.

Hierbij vermelden ze wel dat het effect van de meeste alternatieve behandelingen niet aangetoond is en dat het niet raadzaam is te stoppen met de reguliere behandeling. Wel zeggen ze dat het mogelijk klachten kan verlichten (Reumafonds 2016). Uit twee systematische reviews (Li et al. 2014; Yuan et al. 2015) blijkt namelijk dat massage pijn bij fibromyalgie kan verminderen. Echter, dit effect is niet blijvend. Er is nog meer onderzoek nodig om dit effect vast te kunnen stellen. Ook het soort en de duur van de massage is niet duidelijk nog.
Dit is een voorbeeld van een juiste weergave van het wetenschappelijk bewijs. De mogelijke effecten worden benoemd, maar de onzekerheid over het effect en het gebrek aan overtuigend bewijs ook.

Auteur

Hessel Stuurman is bewegingswetenschapper i.o. Hij schrijft o.a. voor Masseurs Netwerk Nederland artikelen.

© Masseurs Netwerk Nederland 2017. Alle rechten voorbehouden. www.masseursnetwerk.nl
Overname van het artikel op individuele websites en social media sites is niet toegestaan.
U wordt uitgenodigd een directe link naar het artikel op de website www.masseursnetwerk.nl op uw website op te nemen en de link naar het artikel te delen op social media.

Bronvermelding afbeeldingen:

Afbeelding EBM Pyramide:
EBM Pyramid and EBM Page Generator, copyright 2006 Trustees of Dartmouth College and Yale University. All Rights Reserved. Produced by Jan Glover, David Izzo, Karen Odato and Lei Wang.

Afbeelding wetenschappelijke artikelen:
http://nanospectra.com/our-technology/scientific-publications/

Afbeelding Pedro schaal:
http://slideplayer.nl/slide/10682604/

Referenties

Mathes, T., Pieper, D. (2017): Clarifying the distinction between case series and cohort studies in systematic reviews of comparative studies: potential impact on body of evidence and workload. BMC medical research methodology, 17(1), 107.

Dekkers, O. M., Egger, M., Altman, D. G., & Vandenbroucke, J. P. (2012): Distinguishing case series from cohort studies. Annals of internal medicine, 156(1_Part_1), 37-40.

Lewallen, S., & Courtright, P. (1998): Epidemiology in practice: case-control studies. Community Eye Health, 11(28), 57.

Song, J. W., & Chung, K. C. (2010): Observational studies: cohort and case-control studies. Plastic and reconstructive surgery, 126(6), 2234.

Kabisch, M., Ruckes, C., Seibert-Grafe, M., & Blettner, M. (2011): Randomized controlled trials: part 17 of a series on evaluation of scientific publications. Deutsches Ärzteblatt International, 108(39), 663.

Evidence-Based Practice Research: Levels of Evidence Pyramid (2017): Geraadpleegd van: http://academicguides.waldenu.edu/healthevidence/evidencepyramid

Fetters, L., Figueiredo, E. M., Keane-Miller, D., McSweeney, D. J., & Tsao, C. C. (2004): Critically appraised topics. Pediatric Physical Therapy, 16(1), 19-21.

Offringa, M., de Craen, A.J.M. (1999): De praktijk van systematische reviews. I. Inleiding
Nederlands Tijdschrift voor Geneeskunde 143(13) p.653-656

Khan, K. S., Kunz, R., Kleijnen, J., & Antes, G. (2003): Five steps to conducting a systematic review. Journal of the Royal Society of Medicine, 96(3), 118-121.

Egger, M., Smith, G. D., & Phillips, A. N. (1997): Meta-analysis: principles and procedures. BMJ: British Medical Journal, 315(7121), 1533.

Haidich, A. B. (2010): Meta-analysis in medical research. Hippokratia, 14(Suppl 1), 29.

Subramanyam, R. V. (2013): Art of reading a journal article: Methodically and effectively. Journal of oral and maxillofacial pathology: JOMFP, 17(1), 65.

Durbin, C. G. (2009): How to read a scientific research paper. Respiratory care, 54(10), 1366-1371.

Hudson‐Barr, D. (2004): How to read a research article. Journal for Specialists in Pediatric Nursing, 9(2), 70-72.

PEDro scale (1999): Geraadpleegd van: https://www.PEDro.org.au/wp-content/uploads/PEDro_scale.pdf

de Morton, N. A. (2009): The PEDro scale is a valid measure of the methodological quality of clinical trials: a demographic study. Australian Journal of Physiotherapy, 55(2), 129-133.

Maher, C. G., Sherrington, C., Herbert, R. D., Moseley, A. M., & Elkins, M. (2003): Reliability of the PEDro scale for rating quality of randomized controlled trials. Physical therapy, 83(8), 713-721.

Dettori, J. (2010): The random allocation process: two things you need to know. Evidence-based spine-care journal, 1(03), 7-9.

Gupta, S. K. (2011): Intention-to-treat concept: a review. Perspectives in clinical research, 2(3), 109.

Cook, C. E. (2008): Clinimetrics corner: the minimal clinically important change score (MCID): a necessary pretense. Journal of Manual & Manipulative Therapy, 16(4), 82E-83E.

Reumafonds, Juli 2016: Fibromyalgie. Geraadpleegd van: http://www.reumafonds.nl/informatie-voor-doelgroepen/patienten/vormen-van-reuma/fibromyalgie/over-de-ziekte/diagnose

Li, Y.H., Wang, F.Y., Feng, C.Q., Yang, X.F., Sun, Y.H. (2014): Massage therapy for fibromyalgia: a systematic review and meta-analysis of randomized controlled trials. PLoS One, 9(2), e89304.

Yuan, S.L.K., Matsutani, L.A., Marques, A.P. (2015): Effectiveness of different styles of massage therapy in fibromyalgia: a systematic review and meta-analysis. Manual therapy, 20(2), 257-264.

Szeto, G. P., Straker, L. M., & O’Sullivan, P. B. (2005): A comparison of symptomatic and asymptomatic office workers performing monotonous keyboard work—1: neck and shoulder muscle recruitment patterns. Manual therapy, 10(4), 270-280.

Harkness, E. F., MacFarlane, G. J., Nahit, E. S., Silman, A. J., & McBeth, J. (2003): Risk factors for new‐onset low back pain amongst cohorts of newly employed workers. Rheumatology, 42(8), 959-968.