Verifitseerimine ja valideerimine (lühendatult V&V) on sõltumatud protseduurid, mida kasutatakse koos kontrollimaks toote, teenuse või süsteemi vastavust nõuetele ja spetsifikatsioonidele ning ettenähtud otstarbele.[1] Nad mõlemad on kvaliteedijuhtimissüsteemi, näiteks ISO 9000, kriitilised komponendid. Sõnadele "verifitseerimine" ja "valideerimine" eelneb mõnikord sõna "sõltumatu", mis juhib tähelepanu sellele, et verifitseerimise ja valideerimise peab läbi viima sõltumatu kolmas osapool. "Sõltumatu verifitseerimine ja valideerimine" võib lühendatud kujul olla tähistatud ka kui "SV&V" (inglise keeles IV&V).
Tegelikult ei pruugi verifitseerimise ja valideerimise määratlused kvaliteedijuhtimise terminitena olla alati järjekindlad. Mõnikord kasutatakse neid isegi vaheldumisi.[2][3][4]
"Valideerimine. Kinnitus, et toode, teenus või süsteem vastab kliendi ja teiste määratletud sidusrühmade vajadustele. Sageli eeldab see ka väliste klientide heakskiitu. Vastupidi verifitseerimisele."
"Verifitseerimine. Hinnang selle kohta, kas toode, teenus või süsteem vastab määrusele, nõudele, spetsifikatsioonile või kehtestatud tingimusele või mitte. Sageli on see sisemine protsess. Vastupidi valideerimisele."
Verifitseerimise eesmärk on kontrollida, kas toode, teenus või süsteem vastab kõikidele kehtestatud nõuetele.[6][7] Arendusfaasis kaasnevad verifikatsiooniprotseduuridega spetsiaalsete testide läbiviimised toote, teenuse või süsteemi osa või terviku modelleerimiseks või simuleerimiseks, millele järgneb modelleerimistulemuste ülevaatus või analüüs. Arendusjärgses etapis kaasnevad verifikatsiooniprotseduuridega regulaarselt läbiviidavad kordustestid, mis on spetsiaalselt välja töötatud tagamaks seda, et toode, teenus või süsteem vastaks aja jooksul jätkuvalt esialgsetele disaininõuetele, spetsifikatsioonidele ja eeskirjadele.[7][8] See on protsess, mida kasutatakse selleks, et hinnata, kas toode, teenus või süsteem vastab arendusfaasi alguses kehtestatud eeskirjadele, spetsifikatsioonidele või tingimustele. Verifikatsioon võib olla vajalik nii arendus-, laiendamis- kui ka tootmisjärgus. See on sageli sisemine protsess.
Valideerimise eesmärgiks on tagada, et toode, teenus või süsteem (või selle osa või komplekt) annaks väljundiks toote, teenuse või süsteemi (või selle osa või komplekti), mis vastaks kasutaja töö vajadustele.[7][9] Uue arendusvoo või verifitseerimisvoo puhul võivad valideerimisprotseduurid sisaldada mõlema voo modelleerimist ja simulatsioonide kasutamist, et ennustada vigu või lünki, mis võiksid viia toote, teenuse või süsteemi (või selle osa või komplekti) kehtetu või mittetäieliku verifitseerimiseni või arenduseni.[10] Valideerimisnõuete kogumit (nii nagu on määratlenud kasutaja), spetsifikatsioone ja eeskirju võib seejärel kasutada toote, teenuse või süsteemi (või selle osa või komplekti) arendusvoo või verifitseerimisvoo kvalifitseerimise alusena. Täiendavad valideerimisprotseduurid hõlmavad ka neid nõudeid, mis on spetsiaalselt välja töötatud selleks, et olemasolevasse sobivasse arendusvoogu või kontrollivoogu tehtud muudatused tagaksid toote, teenuse või süsteemi (või selle osa või komplekti) vastavuse esialgsetele nõuetele, spetsifikatsioonidele ja eeskirjadele; need valideerimisprotseduurid aitavad hoida voogu nõuetekohasena. Selline tõendite kogumise protsess võimaldab kindlustada seda, et toode, teenus või süsteem vastaks tõesti ettenähtud nõuetele. Sageli on selleks vaja nõusse saada ka lõppkasutajad ja muud toote sidusrühmad. See on sageli väline protsess.
Mõnikord öeldakse, et valideerimist saab väljendada küsimusega "Kas sa ehitad õiget asja?"[11] ja verifitseerimist küsimusega "Kas sa ehitad seda asja õigesti?".[11] "Õige asja ehitamine" viitab kasutaja vajadustele, samas kui "õigesti ehitamine" kontrollib, et spetsifikatsioonid on süsteemis õigesti rakendatud. Mõnes kontekstis nõutakse neile mõlemale nii kirjalike nõuete kui ka formaalsete protseduuride või protokollide olemasolu vastavuse kindlakstegemiseks.
On täiesti võimalik, et toode läbib verifitseerimise, kuid valideerimine ebaõnnestub. See võib juhtuda näiteks siis, kui toode on ehitatud vastavalt spetsifikatsioonidele, kuid spetsifikatsioonid seejuures ei vasta kasutaja vajadustele.
Masinate ja seadmete verifitseerimine koosneb tavaliselt projekteerimiskvalifikatsioonist (DQ – design qualification), paigalduskvalifikatsioonist (IQ – installation qualification), käitamiskvalifikatsioonist (OQ – operational qualification) ja jõudluse kvalifikatsioonist (PQ – performance qualification). DQ-d võib teostada tarnija või kasutaja, kinnitades ülevaatuse ja testimise kaudu, et seadmed vastavad kirjalikele vastuvõtuspetsifikatsioonidele. Kui asjakohane dokument või masinate/seadmete juhendid esitatakse tarnijate poolt, tuleb hilisemad 3Q-d põhjalikult läbi viia kasutajatel, kes toimivad tööstuslikus regulatiivses keskkonnas. Vastasel juhul on IQ, OQ ja PQ protsessid juba valideerimise ülesanne. Sellise juhtumi tüüpiline näide võib olla tarnija dokumentatsiooni kadumine või puudumine pärandseadmete või tee-seda-ise (DIY) komplektide (nt autod, arvutid jne) puhul ja seetõttu peaksid kasutajad püüdma hankida endale need DQ dokumendid ette. DQ, IQ, OQ ja PQ malle võib tavaliselt leida Internetist, samas kui masinate/seadmete isetegemise kvalifikatsiooniks saab abi kas müüja koolituskursuste materjalidest ja juhenditest või avaldatud juhenditest, nagu näiteks üksikasjalised suunised, juhul kui masinate/seadmete soetamine ei ole seotud kohapealsete kvalifitseerimisteenustega. Selline tee-seda-ise lähenemine on rakendatav ka tarkvara, arvuti operatsioonisüsteemide ja tootmisprotsessi kvalifitseerimise puhul. Tegevuse viimase sammuna on kõige olulisem ja kriitilisem ülesanne masinate/seadmete kvalifikatsiooniaruannete genereerimine ja arhiveerimine auditeerimise eesmärgil, kui nõuete järgimine on kohustuslik.
Masinate/seadmete kvalifitseerimine sõltub toimumiskohast, sealjuures eriti just toodete puhul, mis on põrutustundlikud ja vajavad tasakaalustamist või kalibreerimist, ning pärast ümberpaigutamist tuleb nad uuesti kvalifitseerida. Mõnede seadmete täielik kvalifitseerimine sõltub isegi ajast, kuna kulumaterjalid võivad olla ära kasutatud (näiteks filtrid) või vedrud välja veninud, mis nõuab seadmete ümberkalibreerimist ja seega on vajalik uuesti sertifitseerimine, kui määratud aeg kätte jõuab.[12][13] Masinate/seadmete ümberkvalifitseerimine tuleks läbi viia ka osade väljavahetamisel või teise seadmega ühendamisel või uue rakendustarkvara installimisel ja arvuti ümberkorraldamisel, mis mõjutab eelkõige eelseadistusi, näiteks BIOS-is, registris, kettaseadmes partitsioonitabelis, dünaamiliselt lingitud (jagatud) teekides või INI-failis jne. Sellises olukorras tuleks kvalifikatsioonidokumendile lisada osade/seadmete/tarkvara spetsifikatsioonid ja ümberkorraldusettepanekud, olenemata sellest, kas osad/seadmed/tarkvara on ehtsad või mitte. Torres ja Hyman on arutanud mitteoriginaalsete osade sobivust kliiniliseks kasutamiseks ning andnud seadmete kasutajatele juhiseid sobivate asendajate valimisel, et nii vältida kahjulikke mõjusid.[14] Juhul, kui mõned regulatiivsed nõuded nõuavad originaalosi/seadmeid/tarkvara, ei ole vaja mitteoriginaalsõlmede ümberkvalifitseerimist läbi viia. Selle asemel tuleb see vara võtta taaskasutusse mitteregulatiivseks otstarbeks.
Kui masinate/seadmete kvalifitseerimist viib läbi standardselt kinnitatud kolmas osapool, näiteks ISO standardiga akrediteeritud ettevõte konkreetse osakonna jaoks, nimetatakse seda protsessi sertifitseerimiseks.[15][16] Praegu on ISO/IEC 27001 järgi akrediteeritud organisatsioonide ISO/IEC 15408 sertifitseerimise katvus piiratud ning selle skeemi populariseerimiseks on vaja teha veel palju pingutusi.
Valideerimistööd saab üldiselt kategoriseerida järgmiste funktsioonide järgi:
Prospektiivne ehk tulevane valideerimine – toimingud, mis viiakse läbi enne uute toodete väljalaskmist, et veenduda kas toote soovitud omadused toimivad korralikult ja vastavad ohutusstandarditele.[17][18] Mõned näited sellest võiksid olla näiteks seadusandlikud eeskirjad, juhised või ettepanekud,[19][20][21] meetodid,[22] teooriad/hüpoteesid/mudelid,[23][24] tooted ja teenused.[25][26]
Tagasiulatuv valideerimine – protsess juba kasutusel ja levitamisel või tootmisel olevate toodete jaoks. Valideerimine toimub vastavalt kirjalikele spetsifikatsioonidele või ettemääratud ootustele, tuginedes nende ajaloolistele andmetele/tõenditele, mis on dokumenteeritud/salvestatud. Kui kriitilised andmed on puudu, ei saa tööd läbi viia või saab seda teha ainult osaliselt.[17][27][28] See on vajalik, kui:
prospektiivne valideerimine puudub, on ebapiisav või puudulik.
seadusandlike regulatsioonide või standardite muudatus mõjutab avalikkuse ette või turule lubatavate toodete vastavust nõuetele.
hakatakse taaskasutama kasutusest välja jäänud tooteid.
Osaline valideerimine – kasutatakse sageli uuringute ja pilootuuringute puhul, kui aeg on piiratud. Testitakse kõige tähtsamad ja olulisemad mõjud. Analüütilise keemia vaatenurgast on need mõjud selektiivsus, täpsus, korratavus, lineaarsus ja selle ulatus.
Kordusvalideerimine/kohalik või perioodiline valideerimine – viiakse läbi huvipakkuvale tootele, mis on kõrvale jäetud, parandatud, integreeritud/ühendatud, ümber paigutatud või pärast teatud aja möödumist. Selle kategooria näited võivad olla juhiloa uuesti litsentsimine/uuendamine, aegunud või ümberpaigutatud analüütilise tasakaalu taassertifitseerimine ja isegi spetsialistide uuesti valideerimine.[32][33] Uuesti valideerimise võib läbi viia ka siis, kui/kus tegevuste käigus, näiteks teadusuuringute või kliiniliste uuringute üleminekufaaside käigus toimub muudatus. Nende muudatuste näited võivad olla
spetsifikatsioonist väljas (OOS i.k. out-of-specification) uuringud, mis on tingitud katsereagentide või laboriklaasi saastumisest, seadmete/aparaatidee vananemisest või seotud varade amortisatsioonist jne.[40][41]
Süsteemi sobivus – laias laastus hõlmab see tavaliselt kaastööliste vahelise kokkusobivuse testi või organisatsioonisisese vastupidavuse testi[44][45][46]USA Toidu- ja Ravimiamet (FDA) on aga konkreetselt kehtestanud selle oma administratsioonile, kuna "Süsteemi sobivuse testimine on paljude analüütiliste protseduuride lahutamatu osa. Testid põhinevad kontseptsioonil, et analüüsitavad seadmed, elektroonika, analüütilised operatsioonid ja proovid moodustavad tervikliku süsteemi, mida saab ka sellisena hinnata. Konkreetse protseduuri jaoks määratavad süsteemi sobivuse testi parameetrid sõltuvad valideeritava protseduuri tüübist."[47] Mõne analüütilise keemia juhtumi puhul võib süsteemi sobivuse test olla pigem meetodispetsiifiline kui universaalne. Sellised näited on kromatograafiline analüüs, mis on tavaliselt tundlik kandja (kolonn, paber või kandev lahusti) suhtes[48][49][50] Kuid kuni käesoleva artikli kirjutamise kuupäevani on seda tüüpi lähenemisviisid piirdunud vaid mõne üksiku farmatseutilise kompendiaalse meetodiga, mille puhul lisandite tuvastamine või analüüsitava katse kvaliteet on kriitilise tähtsusega (ehk see on elu ja surma küsimus). See on tõenäoliselt suuresti tingitud:
nende suurest töömahukusest ja ajakulust[51][52][53]
nende piirangutest selle termini definitsiooniga, mis on määratletud erinevate standarditega.
Seda tüüpi raskuste lahendamiseks annavad mõned reguleerivad asutused või meetodid nõu selle kohta, millal täpselt tuleks konkreetset süsteemi sobivuse testi kohaldada ja millal täpselt tuleks teha see kohustuslikuks.
Need tingimused kehtivad üldiselt kõigis tööstusharudes ja institutsioonides. Lisaks võivad neil olla ka väga spetsiifilised tähendused ja nõuded konkreetsete toodete, eeskirjade ja tööstusharude jaoks. Mõned näited:
Farmaatsiatooted. Ravimite väljatöötamine, tootmine ja turustamine on rangelt reguleeritud. See hõlmab ka tarkvarasüsteeme. Näiteks USA-s on toidu- ja ravimiametil eeskirjad föderaalmääruste koodeksi 21. osas.[54] Nash et al. on avaldanud raamatu, mis annab põhjaliku ülevaate ravimite tootmisprotsesside valideerimise erinevatest teemadest.[55] Mõned ettevõtted kasutavad oma GAMP -süsteemi valideerimisel riskipõhist lähenemisviisi, kui nad mõistavad regulatiivseid nõudeid väga hästi, samas kui enamik teisi järgib tavapärast protsessi[56][57] See on osa GxP juhtimisest. Valideerimise ja kontrollimise aspektid on OOS-i ilmnemisel veelgi intensiivsemad ja rangemad.[58] Väga sageli on sellisel juhul OOS-i uurimise läbiviimiseks katselaboris vaja mitmekordseid proovide analüüse.
Meditsiiniseadmed FDA-l (21 CFR) on meditsiiniseadmete valideerimis- ja kontrollinõuded, nagu on kirjeldatud ASME V&V 40-s. Vaadake ka juhiseid: [54][59][60][61] ja ISO 13485.
Kliiniline laborimeditsiin : ISO 15198:2004 Kliiniline laborimeditsiin – In vitro diagnostikameditsiiniseadmed – kasutaja kvaliteedikontrolli protseduuride kinnitamine tootja poolt
Kasvuhoonegaas : ISO 14064 ANSI/ISO: Kasvuhoonegaasid – Nõuded kasvuhoonegaaside valideerimis- ja tõendamisasutustele kasutamiseks akrediteerimisel või muul tunnustamisel
↑Global Harmonization Task Force - Quality Management Systems - Process Validation Guidance (GHTF/SG3/N99-10:2004 (Edition 2) page 3
↑Ad Sparrius (2016). "Everything You Thought You Knew about Validation and Verification is Probably Dodgy"(PDF). 12th INCOSE SA Systems Engineering Conference. Originaali(PDF) arhiivikoopia seisuga 6. august 2018. Vaadatud 30. aprillil 2018. There are some authors who apparently regard these two terms as synonymous, others who seem to be only vaguely aware of the differences. Some even appear to believe that V&V is one word! ... There is such a fundamental difference between these models that the term validation has many years ago been selected to be different from the term verification. Nevertheless, it is debatable whether the distinction between validation and verification should be continued.
↑James D. McCaffrey (28. aprill 2006). "Validation vs. Verification". Vaadatud 30. aprillil 2018. Two terms that sometimes confuse software test engineers are "validation" and "verification". ... Obviously the two IEEE definitions are so close to each other it’s hard to determine the difference.
↑"Difference between Verification and Validation". Software Testing Class. 27. august 2013. Vaadatud 30. aprillil 2018. In interviews most of the interviewers are asking questions on "What is Difference between Verification and Validation?" Lots of people use verification and validation interchangeably but both have different meanings.
↑"Systems and software engineering - Vocabulary," ISO/IEC/IEEE std 24765:2010(E), 2010. | verification 5. ...product, service, or system complies with a regulation, requirement, specification, or imposed condition.
↑"Systems and software engineering - Vocabulary," ISO/IEC/IEEE std 24765:2010(E), 2010. | verification 6. ...comply with requirements (e.g., for correctness, completeness, consistency, and accuracy) for all life
cycle activities during each life cycle process (acquisition, supply, development, operation, and maintenance)
↑Sangiovanni, A.; Manini, M; Iavarone, M; Fraquelli, M; Forzenigo, L; Romeo, R; Ronchi, G; Colombo, M (2007). "Prospective validation of AASLD guidelines for the early diagnosis of epatocellular carcinoma in cirrhotic patients". Digestive and Liver Disease. Elsevier. 40 (5): A22–A23. DOI:10.1016/j.dld.2007.12.064. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend)
↑Hart, D.; S.W. Smith (2007). "Retrospective Validation of a Clinical Decision Rule to Safely Rule Out Subarachnoid Hemorrhage in Emergency Department Headache Patients". Annals of Emergency Medicine. 50 (3): S102–S103. DOI:10.1016/j.annemergmed.2007.06.388.
↑Bressolle, Françoise; Brometpetit, M; Audran, M (1996). "Validation of liquid chromatographic and gas chromatographic methods Applications to pharmacokinetics". Journal of Chromatography B. 686 (1): 3–10. DOI:10.1016/S0378-4347(96)00088-6. PMID8953186. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend)
↑Heyden, Y. Vander; S.W. Smith (2001). "Guidance for robustness/ruggedness tests in method validation". Journal of Pharmaceutical and Biomedical Analysis. Elsevier. 24 (5–6): 723–753. DOI:10.1016/S0731-7085(00)00529-X. PMID11248467. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend)
↑Ermer, Joachim; John H. McB. Miller (2005). Method Validation in Pharmaceutical Analysis: A Guide to best Practice. Wiley-VCH. Lk 418. ISBN978-3-527-31255-9.
↑"Calibration of dissolution test apparatus (USP apparatus 1 and 2) – SOP". {{cite web}}: puuduv või tühi |url= (juhend)
↑Szsz, Gy.; Gyimesi-Forrás, K.; Budvári-Bárány, Zs. (1998). "Optimized and Validated HPLC Methods for Compendial Quality Assessment. III. Testing of Optical Purity Applying 1-Acid-Glycoprotein Stationary Phase". Journal of Liquid Chromatography & Related Technologies. 21 (16): 2535–2547. DOI:10.1080/10826079808003597. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend)
↑Li, Yong-guo; Chen, M; Chou, GX; Wang, ZT; Hu, ZB (2004). "Ruggedness/robustness evaluation and system suitability test on United States Pharmacopoeia XXVI assay ginsenosides in Asian and American ginseng by high-performance liquid chromatography". Journal of Pharmaceutical and Biomedical Analysis. 35 (5): 1083–1091. DOI:10.1016/j.jpba.2004.04.005. PMID15336355. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend)
↑Moradi, Mehrdad, Bentley James Oakes, Mustafa Saraoglu, Andrey Morozov, Klaus Janschek, and Joachim Denil. "Exploring Fault Parameter Space Using Reinforcement Learning-based Fault Injection." (2020).
↑"Archived copy"(PDF). Originaali(PDF) arhiivikoopia seisuga 12. oktoober 2007. Vaadatud 14. juunil 2008.{{cite web}}: CS1 hooldus: arhiivikoopia kasutusel pealkirjana (link)
↑"Archived copy"(PDF). Originaali(PDF) arhiivikoopia seisuga 27. september 2007. Vaadatud 7. septembril 2007.{{cite web}}: CS1 hooldus: arhiivikoopia kasutusel pealkirjana (link)
↑Haboudane, Driss (2004). "Hyperspectral vegetation indices and novel algorithms for predicting green LAI of crop canopies: Modeling and validation in the context of precision agriculture". Accreditation and Quality Assurance. Elsevier. 90 (3): 337–352. Bibcode:2004RSEnv..90..337H. DOI:10.1016/j.rse.2003.12.013. {{cite journal}}: eiran tundmatut parameetrit |displayauthors=, kasuta parameetrit (|display-authors=) (juhend)
Majcen, N.; Taylor, P. (2010). Practical examples on traceability, measurement uncertainty and validation in chemistry. Kd 1. European Union. Lk 217. ISBN978-92-79-12021-3.