Metodiske og statistiske emner i randomiserte kontrollerte kliniske studier

Foredrag

Metodiske Og Statistiske Emner i Randomiserte Kontrollerte Kliniske Studier

Claudia Caminha Escosteguy

Rio De Janeiro, Rj-Brasil

blant forskningsmetoder, randomiserte kontrollerte kliniske studier har utgjort en av de viktigste vitenskapelige fremskritt i løpet av det 20.århundre. Den randomiserte kontrollerte kliniske studien er en type eksperimentell studie som brukes som referansestandard for forskningsmetoder i epidemiologi og regnes som den beste kilden til tilgjengelig vitenskapelig bevis og den beste kilden for å bestemme effekten av et inngrep. den randomiserte kontrollerte kliniske studien er en prospektiv studie som sammenligner effekten og verdien av en intervensjon (profylaktisk eller terapeutisk) med kontroller hos mennesker. I denne typen studie distribuerer etterforskeren ved en tilfeldighet intervensjonsfaktoren som skal analyseres gjennom randomiseringsteknikken; derfor dannes eksperimentelle og kontrollgruppene gjennom en tilfeldig distribusjonsprosess for å redusere eller eliminere interferens av andre variabler enn de som studeres. Intervensjonen som studeres kan være narkotika, teknikker eller prosedyrer 1,2. Begrepet «effekt» refererer til resultatet av et inngrep under ideelle, kontrollerte forhold, som i den kontrollerte kliniske studien. Begrepet «effektivitet» refererer til resultatet av et inngrep utført i et gjennomsnittlig klinisk miljø, som inkluderer ufullkommenhetene i implementeringen som karakteriserer den daglige verden 2. Ifølge Feinstein 3 ble Ideen om distribusjon av en behandling gjennom randomisering foreslått Av Fisher i 1923 og anvendt på landbruksforskning. I 1926 ble Denne ideen brukt til kliniske studier For første gang Av Amberson og kollegaer, som testet verdien av en gullforbindelse i behandlingen av tuberkulose. Dette var også den første blinde studien som ble rapportert, noe som betyr at pasientene ikke ble informert om den administrerte behandlingen. Kontrollene fikk en injeksjon av destillert vann; begrepet «placebo» ble imidlertid brukt for første gang i 1938 i studien Av Diehl på influensavirusvaksine 3. på en generisk måte kan begrepet «klinisk studie» brukes på enhver form for planlagt eksperiment som involverer pasienter og designet for å belyse den behandlingen som er mest hensiktsmessig for fremtidige pasienter med en gitt medisinsk tilstand. Noen forfattere bruker også begrepet «ikke-kontrollert klinisk studie» for å beskrive en studie der alle deltakerne får intervensjon. I virkeligheten ville dette bare være en beskrivende studie av effekten av et inngrep i en gruppe. Flertallet av forfatterne anser ikke denne typen studie en klinisk prøve, kaller det et ikke-kontrollert eksperiment. De mer puristiske forfatterne reserverer begrepet «klinisk studie» bare for de randomiserte kontrollerte studiene og godtar ikke bruken av det for kontrollerte studier som ikke er randomisert 2.

de kliniske studiene med legemidler klassifiseres ofte i fire hovedfaser av eksperimentering 1:

Fase i-dette er studier av klinisk farmakologi og toksisitet hos mennesker, primært relatert til sikkerhet og ikke til effekt,og utføres vanligvis hos friske frivillige. Hovedmålet er å bestemme en akseptabel dose av et legemiddel, den som kan administreres uten å forårsake alvorlige bivirkninger. Denne informasjonen er ofte hentet fra eksperimenter med brøkdoser, hvor en frivillig mottar økende doser av legemidlet, i henhold til en forutbestemt tidsplan. Fase i omfatter også studier på legemiddelmetabolisme og biotilgjengelighet. Etter studiene på friske frivillige vil de første studiene med pasienter også utgjøre en del av fase i. vanligvis kan fase i-studier kreve 20 til 80 personer og pasienter. Fase II-dette er innledende studier av klinisk undersøkelse av effekten av behandlingen, som fortsatt omfatter en liten undersøkelse av legemiddeleffektivitet og sikkerhet, med nøye overvåking av hver pasient. Noen ganger kan fase II-studier utføres som en prosess med narkotika, som brukes til å skille de med et sant virkningspotensial blant de flere inaktive eller overdrevent giftige, slik at de valgte stoffene kan passere til fase III. Sjelden krever fase II mer enn 100-200 pasienter per legemiddel.

Fase III-Storskala vurdering av behandlingen. Etter at legemidlet viser seg å være rimelig effektivt, er det nødvendig å sammenligne det i stor skala med standardbehandlingen(e) som er tilgjengelig for samme medisinske tilstand, i en kontrollert klinisk studie som omfatter et stort nok antall pasienter. For noen forfattere vil begrepet «klinisk prøve» være et synonym for disse fase III-studiene, som utgjør den mest stive formen for klinisk undersøkelse av en ny behandling.

Fase IV-overvåkingsfase Etter Markedsføring. Etter kommersiell godkjenning av et forskningsprogram er det fortsatt noen spørsmål som skal vurderes med hensyn til storskala og langsiktig overvåking av bivirkninger og tilleggsstudier om sykelighet og dødelighet. Noen ganger har begrepet «fase IV-prøve» blitt brukt til å beskrive øvelser for å fremme et nytt stoff rettet mot det medisinske publikum, som ikke skal forveksles med forskningen i selve den kliniske studien.

man bør huske på at det før de kliniske forsøkene bør være et like viktig program for preklinisk forskning, inkludert syntese av nye legemidler og studier på dyr med hensyn til metabolisme, effekt og dessuten potensiell toksisitet. I virkeligheten står denne prekliniske fasen for størstedelen av den estimerte kostnaden ved forskning på narkotika. For tiden er flertallet av kliniske studier knyttet til vurdering av nye legemidler og finansieres hovedsakelig av farmasøytisk industri. Det er anslått at i universet av nye stoffer syntetisert i laboratorier, når bare en av 10 000 fasen av kliniske studier, og bare 20% av dem blir til slutt markedsført. Et komplett forskningsprogram relatert til et stoff varer fra 7 til 10 år, hvorav nesten halvparten av tiden brukes i kliniske studier, med millioner av dollar 1, og legger vekt på den farmasøytiske industriens rolle.

Randomiserte kontrollerte kliniske studier har følgende hovedkarakteristika 1-5: a) de er eksperimentelle studier og involverer derfor viktige spørsmål om etikk; b) prospektiv arkitektur: de har arkitekturen til en kohortstudie, noe som betyr at de er prospektive, med det spesielle at etterforskeren bruker en teknikk for tilfeldig tildeling (randomisering) for å danne grupper med lignende egenskaper, slik at individene i en gruppe får en bestemt type behandling mens de i den andre gruppen forblir som kontroller; c) kontroll: det er nødvendig å sammenligne opplevelsen av en gruppe pasienter som gjennomgår den nye behandlingen med en gruppe lignende pasienter som mottar den konvensjonelle behandlingen. Hvis det ikke er konvensjonell behandling av reell verdi, kan det brukes til å bruke en kontrollgruppe av ikke-behandlede pasienter. D) randomisering: er en beslutningsprosess som gjør at studie – og kontrollgruppene kan tildeles ved en tilfeldighet, og er den beste teknikken for å unngå utvalgsforstyrrelser. I tillegg reduserer det muligheten for forvirring bias. Det fine med randomisering ligger i det faktum at det tillater fordeling av kjente og ukjente utfallsdeterminanter på en lignende måte mellom studie-og kontrollgrupper, hvis prøvestørrelsen er stor nok 6.

det finnes flere teknikker for randomisering 1,2: enkel randomisering – det er den mest brukte teknikken; pasientene er direkte tildelt studie-og kontrollgrupper, uten mellomstadier. For eksempel ved å bruke en tabell med tilfeldig valgte tall, hvor de odde tallene er tildelt behandlingsgruppen og de jevne til kontrollgruppen; blokk randomisering-den er preget av dannelsen av like store blokker med et fast antall individer, der den aktuelle behandlingen distribueres, blokk for blokk, til prosessen med individuell tildeling i forskningen er ferdig. Det er fordelen av å gi like mange deltakere i studien og kontrollgruppene, selv om forsøket avbrytes før forventet slutt. Det er også nyttig i studier med redusert antall pasienter fordi den enkle randomiseringen utført ved hjelp av et bord med tilfeldig utvalgte tall bare sikrer homogenitet mellom gruppene når det er et stort antall deltakere som skal randomiseres; parret randomisering – i utgangspunktet dannes par av deltakere og allokering ved en tilfeldighet utføres inne i paret, slik at en person mottar studiebehandlingen og den andre kontrollbehandlingen; stratifisert randomisering-i utgangspunktet dannes lag og tilfeldig tildeling utføres i hvert stratum; randomisering ved minimering-i utgangspunktet brukes den enkle randomiseringen, men etter tildeling av enkelte individer analyseres egenskapene til gruppene og beregningen reperformeres ettersom noen nye deltakere rekrutteres. Disse nye deltakerne vil bli tildelt en av gruppene for å redusere de oppdagede forskjellene eller for å opprettholde den allerede oppnådde balansen. Det er en ny teknikk og datateknologi gjør det mulig å følge flere variabler samtidig, slik at det blir oppnådd minst forskjeller mellom gruppene.

i tillegg til de viktigste egenskapene som allerede er beskrevet, bør følgende metodologiske spørsmål vurderes når en randomisert kontrollert klinisk studie utføres:

Prøvestørrelse-studien skal rekruttere et antall pasienter som er store nok til å oppnå en rimelig presis estimering av respons på hver behandling som er involvert. Selv om det er praktiske og etiske hensyn i forhold til utvalgsstørrelse, refererer en standard statistisk tilnærming til estimatene av studiens kraft. Det er fem viktige spørsmål med hensyn til prøvestørrelse 1,2:1) hva er hovedformålet med rettssaken? – for eksempel for å verifisere om acetylsalisylsyre har noen verdi i forebygging av postinfarktdød, noe som er forskjellig fra å verifisere om det forhindrer infarkt eller om det forhindrer død og reinfarkt; 2) hva er hovedresultatmåling? – for eksempel død på grunn av en hvilken som helst årsak innen den første behandlingsmåneden, som er forskjellig fra død på grunn av kardiovaskulær årsak; 3) hvordan dataene skal analyseres slik at en forskjell i behandling kan oppdages? – den enkleste formen er sammenligningen av prosenter, for eksempel prosentandelen dødsfall i de behandlede og placebogruppene; en chi-kvadrat-test vil bli brukt og et signifikansnivå på 5% vil bli akseptert som bevis på forskjell i behandling; 4) hva slags utfall kan forventes med standardbehandlingen? – for eksempel estimeres en 10% dødelighet hos pasienter i kontrollgruppen i den første behandlingsmåneden; 5) hva er den minste forskjellen i behandling som anses viktig å bli oppdaget og med hvilken grad av presisjon? – det er viktig å understreke at moderate reduksjoner (for eksempel 20-25%) av hendelsen interesse kan kreve randomisering av tusenvis av pasienter 7.

for å beregne prøvestørrelsen, bør man vurdere alfa-nivået av signifikans som er ønsket for å oppdage en forskjell i behandlingen og studiens kraft, dvs. graden av sikkerhet for at forskjellen mellom behandlingene vil bli oppdaget, hvis den virkelig eksisterer. En alfa – feil eller type i-feil er sannsynligheten for å oppdage en forskjell som i virkeligheten ikke eksisterer, dvs., sannsynligheten for et falskt positivt utfall; alfa er vanligvis fastsatt som 0,05. En beta-FEIL ELLER TYPE II-feil er sannsynligheten for ikke å oppdage en forskjell når den virkelig eksisterer. Kraften i studien er 1-beta, og den er vanligvis fastsatt som 0,90.

når den nødvendige størrelsen på prøven er for stor, kan forsøket utføres i flere sentre, som utgjør multisenterforsøket, som tydeligvis krever spesielle tiltak for organisering og overvåking.

Trial organisering og planlegging – det er av fundamental betydning å nøyaktig definere: 1) hvilke pasienter som er kvalifisert for studien, gjennom veldefinerte inklusjons-og eksklusjonskriterier; 2) hvilken behandling som vurderes; 3) hvilke utfall eller endepunkter som er av interesse å bli analysert; 4) hvordan responsen til hver pasient vil bli verifisert.

Overvåking av forsøksprosessen – det er nødvendig å overvåke protokolloverholdelse – bivirkninger, databehandling og midlertidige analyser av sammenligningen mellom behandlinger. De mulige protokollbruddene og avvikene bør analyseres nøye, for eksempel manglende overholdelse av behandlingen, deltakerutfall, ufullstendig vurdering og kryssing mellom studie-og kontrollgruppene etter randomisering. Denne siste avviket oppstod for eksempel I nitrat versus kontrollarmen I studien GISSI-3, hvor 57% av pasientene randomisert for kontroll mottok nitrat, noe som reduserte studiens kraft for å oppdage en mulig forskjell mellom de to gruppene 8.

typer analyse-Analyse kan utføres ved hjelp av to hovedformater 1,2: 1) mellom de som virkelig har fullført behandlingen i hver gruppe; 2) i henhold til intensjonen om å behandle, der alle som ble randomisert til å danne grupper er inkludert, uavhengig av å ha fullført eller ikke fullført behandlingen. Denne sistnevnte har vært foretrukket, fordi den sikrer vedlikehold av tilfeldige grupper og vurderer behandlingen i den virkelige verden, med sine ufullkommenheter. Det er imidlertid nødvendig å vite hva som skjedde med de som ikke har fullført behandlingen, så vel som om det var kryss mellom gruppene. Dimensjonen av disse fakta bør også være kjent fordi hvis den er veldig stor, kan dette representere bias.

Subgruppeanalyse-det grunnleggende resultatet av en klinisk studie er beskrivelsen av hovedresultatet av interesse for hver av hovedgruppene som behandles. Selv om det kan virke fristende å analysere resultatene i spesifikke undergrupper av pasienter, er det store risikoer knyttet til denne analysen. Den første er det utilstrekkelige antall pasienter, dersom den refererte analysen ikke var en del av den første prøven. Den andre er risikoen for skjevheter, siden undergruppene valgt etter karakteristika vurdert etter allokering til behandling kanskje ikke er sammenlignbare, selv om de ble valgt fra gruppene som først ble randomisert. For det tredje, når et stort antall undergrupper undersøkes, er det en økt sjanse for at noen av dem vil vise en falsk statistisk signifikant forskjell. Et klassisk eksempel på denne muligheten for falsk tilknytning var analysen av effekten av stjernetegn i ISIS – 2-studien, noe som tyder på at acetylsalisylsyre var gunstig for alle tegn unntatt Libra og Gemini som det var en tilsynelatende skade 9,10.

Potensiell bias-de potensielle kildene til bias er følgende: prosessen med å velge gruppene, allokering til behandling, oppnåelse av intervensjonen i den foreslåtte formen og vurdering av resultatene. Randomisering styrer de to første trinnene. en forstyrrelse i oppfølgingen og manglende overholdelse av deltakerne kan introdusere bias, hovedsakelig hvis de er forskjellig fordelt mellom studie-og kontrollgruppene, og bør alltid nevnes.

Bias i vurderingen (også kalt informasjon, observasjon eller måling) er et resultat av systematiske forskjeller i måten data om interessehendelsen innhentes fra de ulike gruppene som studeres. De minimeres når dobbeltblindteknikken brukes med placebo; det er imidlertid ikke alltid mulig, selv ved hjelp av denne teknikken, å skjule fra observatører og fra de observerte, gruppene som disse sistnevnte tilhører.

En annen interessant bias er relatert til forsøkspublisering og ikke til utviklingen; dette er publiseringsskjevheten, som er tendensen til å publisere studiene med positive resultater.

Factorial design – i dette designet verifiseres effektene av flere faktorer i en enkelt prøve. For eksempel, i studien av narkotika A Og B, vil en faktoriell design evaluere fire behandlingsgrupper: en bruker narkotika A, en annen bruker narkotika B, en annen bruker narkotika A Og B, og en kontrollgruppe med ingen av stoffene. ET eksempel ER ISIS-2 9, hvor effekten av acetylsalisylsyre, streptokinase, begge, og ingen av dem hos pasienter mistenkt for å ha akutt myokardinfarkt (AMI) ble vurdert.

Crossover type trial – vanligvis gjør forsøkene sammenligninger mellom pasienter – og hver pasient mottar bare en type behandling. Noen ganger kan det være tilrådelig å gjøre sekvensielle sammenligninger i samme pasient, dvs. hver pasient i studien vil motta mer enn en behandling. Et stort problem med de konvensjonelle parallelle gruppene er at pasientene varierer mye med hensyn til deres første sykdomsfase og deres respons på behandling. Et stort antall pasienter i hver gruppe er ofte nødvendig for å estimere på en pålitelig måte størrelsen på noen forskjell i effekt 1,2.

man bør ikke forveksle cross-over design for» før og etter » studier, der alle pasienter får samme behandling og deres forhold er vurdert før behandlingsstart og i mange stadier etter det, og er i praksis ikke-kontrollerte studier 1,2.

Et eksempel på cross-over type studien er STUDIEN AV GREAT Group på sikkerhet og effekt av domiciliary trombolyse 11:

Blind vurdering – Også kalt blinding: begrunnelsen for denne teknikken ligger i potensialet for skjevhet oppstår når alle individer involvert i studien vet hvilken behandling pasienten mottar. Når det gjelder blind tilstand, er det tre deltakere som skal vurderes: pasienten, gruppen av fagfolk som søker behandling, og evaluator 1. Hawthorn-effekten refererer til individers tendens til å endre sin oppførsel fordi de er mål av spesiell interesse og oppmerksomhet, til tross for den spesifikke arten av intervensjonen de mottar. En måte å kontrollere denne effekten på er gjennom blinding og placebo bruk 4.

pasientenes kunnskap om å få en ny behandling kan ha en gunstig psykologisk effekt på dem, og deres kunnskap om å få en konvensjonell behandling eller ingen behandling i det hele tatt kan ha en ugunstig effekt. Det er åpenbart at virkningen avhenger av type sykdom og arten av behandlingen, men denne muligheten bør ikke undervurderes selv i ikke-psykiatriske lidelser.

når det gjelder gruppen av personer som søker behandling, er beslutninger knyttet til endringer i doser, særtrekk ved pasientens undersøkelse, videreføring av forsøksbehandlingen og behov for tilleggsbehandling vanligvis ansvaret til assistentlegen, som kan påvirke behandlingsforløpet på flere måter. Disse beslutningene kan påvirkes avhengig av kunnskapen om hvilken forsøksgruppe pasienten tilhører. Spenningen om en ny behandling kan også overføres til pasienten og forårsake endring i hans eller hennes holdning, for eksempel å øke pasientens overholdelse av behandlingen.

når det gjelder utprøverne som evaluerer resultatene, er det, hvis de er klar over hver pasients behandling, en potensiell risiko for for eksempel å registrere gunstigere responser for behandlingen de anser som overlegen. Å ikke vite forsøksgruppene bidrar til å unngå å måle bias, som også minimeres når den endelige hendelsen av interesse er definert i den mest objektive formen mulig. En målingsskjevhet kan oppstå når evalueringen av behandlingsrespons krever klinisk vurdering. Selv i tilsynelatende veldefinerte hendelser, SOM AMI, er klinisk vurdering mange ganger nødvendig i borderline tilfeller. I slike tilfeller, hvis behandlingstilstanden var kjent, kan det være en tendens fra evaluatoren til å lede den endelige diagnosen til FORDEL FOR AMI eller mot den. begrepet «dobbeltblind» refererer til de studiene der verken pasientene eller de som er ansvarlige for deres hjelp og evaluering, vet at behandlingen blir mottatt. I virkeligheten, i disse tilfellene, er de tre typer deltakere blinde i forhold til behandlingstilstanden; men da de samme klinikerne som arbeider med terapi ofte er de som vurderer pasienten, er begrepet «dobbeltblind» tilstrekkelig(det er ikke vanlig å referere til en prøve som trippelblind; vanligvis brukes begrepet dobbeltblind).

Placebo bruk-en placebo er et stoff av utseende, form og administrasjon som ligner på behandlingen som evalueres, men uten det aktive prinsippet. Hovedårsaken til å innføre kontroller med placebo er å gjøre holdningene til pasientene i studien og kontrollgruppene i forsøket uniform. Placebo-effekten er et svar på et medisinsk inngrep som, til tross for at det er et bestemt resultat av det, ikke har noen sammenheng med den spesifikke virkningsmekanismen 4. Et grunnleggende prinsipp som skal vurderes er at pasienter ikke kan tildeles etisk for å motta placebo hvis det finnes en alternativ standardbehandling med etablert effekt. Etiske spørsmål – kanskje den store katastrofen av medfødte anomalier indusert av thalidomid på 60-tallet har vært et landemerke for diskusjon og implementering av medisinske og offentlige politikker som tar hensyn til de etiske aspektene knyttet til innføring av nye behandlinger. SIDEN 1926, I USA, har det vært lovpålagt at en effekttest utføres før nye legemidler er godkjent for markedsføring 2. Det grunnleggende internasjonale dokumentet for etisk diskusjon av kliniske studier er Helsinkideklarasjonen fra 1964, revidert I Tokyo i 1975 2. Blant de nasjonale relevante dokumentene er Medisinsk Etikk Kode 12 og Forskningsregler Som Involverer Mennesker fra Statens Helsetilsyn 13. Selv når undersøkelsen er grundig begrunnet, fortjener noen spørsmål hensyn: et av hovedpunktene er mangel på kontrollgruppen fra en ny behandling som det er klart bevis på overlegenhet i forhold til konvensjonell behandling. Ikke-administrasjon av en effektiv behandling til pasienter er bare etisk akseptabelt dersom det er tvil om behandlingseffekten; den lille prøvestørrelsen, informert av beregninger, tilstrekkelig til å svare på spørsmålet som undersøkes, bør brukes. Studien bør umiddelbart avbrytes dersom det under gjennomføringen er endelig bevis på nytte eller fravær av nytte av den aktuelle behandlingen. Informert samtykke fra pasienten skal alltid være til stede.

alle spørsmål som har blitt diskutert så langt er relatert til den interne gyldigheten av studien. Spredning av randomiserte studier og deres bruk som standard for å demonstrere terapeutisk effekt av legemidler har forårsaket god kvalitet vitenskapelig bevis for å være tilgjengelig før innføring av nye terapeutiske midler i klinisk praksis. Et annet grunnleggende aspekt som skal diskuteres, er imidlertid muligheten for generalisering av forsøksresultatene. Den eksterne gyldigheten av en studie innebærer muligheten for å generalisere resultatene av den studerte prøven til andre prøver, utover målpopulasjonen som studeres. Det innebærer også pasient-og etnokulturelle variasjoner, alvorlighetsgrad faktorer, i tillegg til hensyn på kostnadene: nytte forholdet, risiko, infrastruktur, og så videre. Disse hensynene er kun berettigede etter etableringen av studiens interne gyldighet.

1. Pocock SJ. Kliniske Studier. En Praktisk Tilnærming. Brisbane: John Wiley & Sønner, 1989.

2. Pereira MG. Epidemiologi, Teori Ogá. Rio De Janeiro: Guanabara Koogan, 1995.

3. Feinstein AR. Klinisk Epidemiologi. Arkitekturen Av Klinisk Forskning. Philadelphia: WB Saunders, 1985.

4. Fletcher RH, Fletcher SW, Wagner EH. Epidemiologi Clí: Baser Cient Hryvnias Da Conduta M Hryvdica. Porto Alegre: Artes Mé, 1989.

5. Sackett DL, Haynes RB, Guyatt GH, Tugwell. Klinisk Epidemiologi: En Grunnleggende Vitenskap For Klinisk Medisin. 2.utg. Boston: Little Brown, 1991.

6. Evidensbasert Medisin Arbeidsgruppe. Hvordan bruke en artikkel om terapi eller forebygging, 1998.

7. Yusuf S, Wittes J, Friedman L. Oversikt over resultater av randomiserte kliniske studier i hjertesykdom. JAMA 1988; 260: 2088-93.

8. GISSI-3-Effekter av lisinopril og transdermal glyceriltrinitrat enkeltvis og sammen på 6-ukers dødelighet og ventrikulær funksjon etter akutt myokardinfarkt. Lancet 1994; 343: 1115-221.

9. ISIS – 2 Collaborative Group-Randomisert studie av intravenøs streptokinase, oral aspirin, begge eller ingen av 17187 tilfeller av mistanke om akutt hjerteinfarkt. Lancet 1988; I: 349-60.

10. Yusuf S, Wittes J, Probstfield J, Tyroler H. Analyse Og tolkning av behandlingseffekter i undergrupper av pasienter i randomiserte kliniske studier. JAMA 1991; 266: 93-8.

11. STOR Gruppe-Gjennomførbarhet, sikkerhet og effekt av domiciliær trombolyse av allmennleger: Grampian Region Early Anistreplase Trial. Br Med J 1992; 305: 548-53.

12. Conselho Regional De Medicina Do Estado Do Rio De Janeiro-C@digo De É Mé Tidligere registrerte brukere, 1988.

13. Conselho Nacional De Sa Hryvnja-Vanlige spørsmål om menneskelig aktivitet. Biff. CNS 196/96. Bras ④lia: Ministeriumé fra Saú, 1996.