RESUMO

OBJETIVO: Apresentar e verificar a reprodutibilidade de um sistema quantitativo de avaliação da qualidade de exames de ultrassonografia (SQUALUS), levando em consideração as imagens documentadas e a coerência entre as imagens obtidas e o laudo final. MATERIAIS E MÉTODOS: Foram elaborados quesitos considerando o número de imagens, a adequação das imagens ao protocolo estabelecido, o ajuste do foco, a profundidade e ganho e a adequação das medidas. Para exames com Doppler também foram avaliadas a adequação das fotos coloridas, a análise espectral e a correção do ângulo. Para a qualidade do laudo foi considerada a coerência com as imagens documentadas e seu conteúdo. Um sistema numérico foi atribuído conferindo uma nota final à qualidade das imagens, ao conteúdo do laudo e à média das duas avaliações. Trinta exames de ultrassonografia de diferentes tipos foram avaliados por dois examinadores independentes, cegos à avaliação um do outro. MATERIAIS E MÉTODOS: Os avaliadores apresentaram concordância estatisticamente significante em 8 de 10 quesitos para avaliação da qualidade da imagem. Na avaliação dos laudos, a concordância entre os avaliadores foi quase perfeita. CONCLUSÃO: O sistema quantitativo de avaliação da qualidade de exames ultrassonográficos proposta é uma ferramenta reprodutível que pode ser utilizada em auditorias e em programas de acreditação.

Palavras-chave: Ultrassonografia; Controle de qualidade; Melhoria de qualidade; Certificação; Acreditação.

ABSTRACT

OBJECTIVE: To present a quantitative system for assessing the quality of ultrasound examinations—SQUALUS—and to determine its reproducibility, taking into consideration the images on file, as well as the consistency between the images obtained and the final report. MATERIALS AND METHODS: The system includes questions related to the number of images; the appropriateness of images in relation to the protocol established; focus adjustment; depth; gain; and appropriateness of the measurements for B-mode examinations. For Doppler examinations, the system includes questions related to the appropriateness of color images, the spectral analysis, and correction of the insonation angle. To assess the quality of the report, the system includes questions related to the consistency between the images obtained and the contents of the report. An overall numerical score was assigned by averaging the scores for image quality and for the contents of the report. Two independent examiners, each blinded to the evaluation of the other, assessed 30 different types of ultrasound examinations. RESULTS: There was statistically significant agreement between the two examiners for 8 of the 10 questions related to image quality. For the questions related to the quality of the reports, the interexaminer agreement was almost perfect. CONCLUSION: The proposed quantitative system for assessing the quality of ultrasound examinations is a reproducible tool that can be used in audits and accreditation programs.

Keywords: Ultrasonography; Quality control; Quality improvement; Certification; Accreditation.

INTRODUÇÃO A preocupação com a qualidade dos serviços médicos é uma realidade. A Agência Nacional de Saúde Suplementar do Ministério da Saúde tem desenvolvido normas e padrões, como o Programa de Divulgação da Qualificação dos Prestadores de Serviços na Saúde Suplementar, instituído pela Resolução Normativa nº 267, de 24 de agosto de 2011, e o Programa de Monitoramento da Qualidade dos Prestadores de Serviços na Saúde Suplementar, instituído pela Resolução Normativa nº 275, de 1º de novembro de 2011⁽¹⁾, para promover a qualidade dos prestadores com foco nos beneficiários. Isso vem ao encontro dos esforços do Colégio Brasileiro de Radiologia e Diagnóstico por Imagem (CBR) em seus programas de certificação de qualidade⁽²⁾ e do Programa de Acreditação em Diagnósticos por Imagem (PADI)⁽³⁾. A avaliação da qualidade dos exames de ultrassonografia (US) é diferente de outras modalidades de exames de diagnóstico por imagem. Em modalidades como mamografia, radiografia, tomografia computadorizada e ressonância magnética, há profissionais não médicos (técnicos, tecnólogos e biomédicos) que fazem a aquisição e registro das imagens segundo protocolos determinados, que podem ser alterados caso a caso pelos radiologistas responsáveis. Na US, no entanto, é o próprio médico que adquire e registra as imagens, além de elaborar o laudo final. E, embora o CBR, por meio da Comissão Nacional de Ultrassonografia (CNUS)⁽²⁾ e do PADI⁽³⁾, além de outras instituições, tenham padronizado protocolos de documentação mínima das imagens de cada tipo de exame de US, ainda encontramos enorme disparidade no padrão de resultados entre diferentes médicos e diferentes instituições. Em relação ao laudo do exame, diferentemente do que ocorre com outras modalidades de diagnóstico por imagem, em que as mesmas imagens podem ser interpretadas por mais de um médico radiologista, a US é um método dinâmico em que a varredura dos diversos órgãos e estruturas pode e deve ser realizada em diversos planos, mas um número limitado de imagens é registrado na documentação. Presume-se que as imagens registradas sejam as mais representativas dos achados normais e patológicos, conforme os protocolos de documentação mínima especificam. Disso decorre a dificuldade em se avaliar a qualidade técnica de exames de US. Não há na literatura científica, até agora, trabalho preconizando algum método de avaliação da qualidade do exame ultrassonográfico semelhante ao que estamos propondo. Há estudos com foco em aspectos técnicos dos equipamentos^(4,5), estudos sobre parâmetros técnicos relacionados ao treinamento no método⁽⁶⁾ e estudos sobre a influência da qualidade das imagens em diagnósticos específicos^(7–9), mas não estudos sobre a qualidade do exame realizado e laudado pelo profissional médico. O objetivo deste trabalho é apresentar e verificar a reprodutibilidade de um sistema quantitativo de avaliação da qualidade de exames de US (SQUALUS), levando em consideração as imagens documentadas e a coerência entre as imagens obtidas e o laudo final. MATERIAIS E MÉTODOS Elaboração dos critérios de avaliação da qualidade da imagem Tomando como base as normativas do PADI⁽³⁾ e da CNUS/CBR⁽²⁾, e levando em conta os parâmetros técnicos propostos pela Associação Americana de Radiologia e pelo Instituto Americano de Ultrassom em Medicina⁽¹⁰⁾, foi elaborada uma lista de quesitos que foi utilizada para avaliação dos exames. Para exames de rotina, foram utilizados os seguintes parâmetros: • Número mínimo recomendado de imagens. • Adequação das estruturas documentadas às recomendações. • Adequação da profundidade. • Ajuste do foco. • Ajuste do ganho/frequência do transdutor/mapa de cinzas. • Adequação das medidas pertinentes. Para exames de Doppler, foram avaliadas, adicionalmente: • Adequação das imagens com Doppler colorido. • Análise espectral apropriada. • Correção do ângulo para análise das velocidades de fluxo. Para cada quesito, o avaliador deveria verificar e responder sim, não ou não se aplica. Para diferentes tipos de exame, diferentes pesos foram aferidos a cada quesito. A Tabela 1 mostra o checklist utilizado para todos os tipos de exame e a Tabela 2 mostra os pesos de cada quesito para os diferentes tipos de exame. Se a resposta fosse sim para todos os quesitos, a soma seria no máximo 10. Se um exame estivesse totalmente fora do padrão (resposta não a todos os quesitos pertinentes), a nota seria zero. Elaboração dos critérios de avaliação da adequação e coerência do laudo com as imagens Como a obtenção das imagens é dependente do operador, o laudo final do exame ultrassonográfico foi avaliado de acordo com a coerência com as imagens obtidas. O grau de concordância entre o laudo e as imagens foram classificados em quatro diferentes categorias: • Laudo adequado e coerente com as imagens. • Discordância de baixa relevância. • Discordância de média relevância. • Discordância de alta relevância. Erros leves de digitação ou ortografia que não comprometeram a compreensão do laudo e nem o diagnóstico final foram considerados como discordância de baixa relevância. Erros grosseiros de ortografia ou digitação, descrições inapropriadas e impressões diagnósticas dúbias foram considerados como discordância de moderada relevância. Descrições e impressões diagnósticas incompatíveis com as imagens documentadas foram consideradas como discordância de alta relevância. Para laudo adequado e coerente foi atribuída a nota 10; para laudo com discordância de baixa relevância, nota 7; para laudo com discordância de média relevância, nota 3; e para laudo com discordância de alta relevância foi atribuída a nota 0. O laudo e as imagens são indissociáveis, portanto, a média aritmética entre as notas da qualidade das imagens documentadas e a nota da adequação e coerência do laudo foi utilizada como parâmetro final para julgar a qualidade de cada exame avaliado. Se um exame apresentou qualidade de imagens excelente e um laudo com discordância de alta relevância, a nota final foi no máximo 5. Se as imagens foram excelentes e um laudo com discordância de moderada relevância, a nota foi no máximo 6,5. Da mesma forma, um laudo adequado e coerente com imagens que fugissem totalmente dos critérios preconizados, ou seja, com resposta não a todos os quesitos, teve nota 5. Teste de concordância A equipe médica que realizou os exames foi previamente informada quanto ao padrão de documentação a ser seguido e que os exames seriam auditados aleatoriamente. Foi guardado sigilo da identidade dos médicos que realizaram os exames envolvidos neste estudo, assim como da identidade dos pacientes. Dois avaliadores independentes, ambos radiologistas titulados pelo CBR, um com 23 anos de experiência em US e o outro com 16 anos de experiência, avaliaram os mesmos 5 exames de cada tipo, somando 30 avaliações de cada avaliador. Os exames avaliados foram extraídos aleatoriamente entre os realizados em unidades dos laboratórios de uma empresa privada de São Paulo, em agosto e setembro de 2016. Cada avaliador aplicou o checklist sem o conhecimento da avaliação do outro. Os tipos de exames avaliados foram: abdome total, pelve transvaginal, mamas, Doppler de tireoide para avaliação de nódulos, Doppler de tireoide para avaliação de doença difusa, Doppler de carótidas e Doppler das veias dos membros inferiores. Análise estatística A análise estatística das informações coletadas nesta pesquisa foi inicialmente feita de forma descritiva. Para as variáveis "nota da imagem", "nota do laudo" e "média final do exame", de natureza quantitativa (numérica), foram calculadas medidas-resumo, como média e desvio-padrão. As demais variáveis, de natureza qualitativa (categorizada), foram analisadas por meio de cálculo de frequência absoluta e relativa (porcentagem). O estudo da concordância entre os dois avaliadores para todos os parâmetros avaliados foi feito empregando- se a estatística kappa (κ). Para verificar a concordância entre os valores das notas e médias dadas pelos dois avaliadores, foram feitas, inicialmente, a construção do gráfico de Bland-Altman e, posteriormente, a estimação do coeficiente de correlação intraclasse (κ_icc). Para todas as medidas foi calculado o intervalo de confiança de 95%. A força da concordância dos coeficientes de kappa (κ; κ_icc) foi interpretada de acordo com a Tabela 3. A avaliação estatística foi realizada com o software Statistical Package for the Social Sciences versão 16.0 para Windows (SPSS Inc.; Chicago, EUA), e em todas as conclusões obtidas pelas análises inferenciais foi utilizado o nível de significância de 5%. RESULTADOS Os avaliadores apresentaram concordância estatisticamente significante em 8 dos 10 quesitos (Tabela 4). A força da concordância variou de perfeita a ruim. Em relação à reprodutibilidade das notas das imagens e dos laudos e das médias finais dadas aos exames, podemos observar, conforme mostra a Figura 1, representada pelo gráfico de Bland-Altman, o comportamento das diferenças das análises dos avaliadores 1 e 2. De modo geral, nos três parâmetros analisados, os avaliadores apresentaram valores muito parecidos (médias das diferenças variando entre –0,1 ± 0,9 e –0,1 ± 1,2), indicando uma concordância quase perfeita entre eles (Tabela 5). DISCUSSÃO A concordância quase perfeita entre os avaliadores para as notas médias da qualidade das imagens, para as notas dos laudos e para a média final dos exames demonstra que o método é reprodutível. Os critérios do checklist com maior relevância para a média final tiveram concordância classificada como importante e perfeita. Embora os critérios profundidade, foco no centro da estrutura e ganho tenham sido menos concordantes, esses dados não interferiram de maneira significativa na média final, pois cada um deles conta com apenas um ponto na média para todos os tipos de exames. A forma ideal de avaliação da qualidade de exames de US seria por meio de uma análise retrospectiva, correlacionando seus resultados com o seguimento clínico, eventuais achados em outros exames de imagem e com achados cirúrgicos e anatomopatológicos. Tal método de avaliação pode ser aplicável no ambiente hospitalar, onde a integração entre as equipes de diferentes especialidades com os radiologistas propicia o acompanhamento e a evolução dos casos. Os exames realizados em caráter ambulatorial não contam com este tipo de confirmação, sendo limitada à avaliação de quem os realiza. A qualidade da documentação fotográfica nos exames ultrassonográficos, seguindo protocolos de documentação estabelecidos, não deve ser considerada mero capricho, mesmo sabendo que, em alguns casos, excelentes médicos realizam diagnósticos precisos com o método sem, no entanto, registrar os padrões estabelecidos. A observação de tais protocolos, além de servir como eventual respaldo jurídico, comprova que o exame foi realizado, esgotando, do ponto de vista técnico, o método em questão. Exames com imagens mal documentadas são avaliados como sendo exames de baixa qualidade. A documentação fotográfica adequada demonstra que foi utilizada técnica refinada, o que confere, de forma significativa, uma maior sensibilidade ao método, comprovando que foram realizadas varreduras em planos distintos dos órgãos estudados. O ajuste de profundidade e foco otimiza a detecção de lesões e de detalhes de suas características. Os parâmetros avaliados abrangem o número de imagens, a adequação das imagens ao protocolo estabelecido, o cuidado no ajuste do foco, profundidade e ganho, e a adequação das medidas para os exames em modo B. São ainda avaliadas a adequação das fotos coloridas, a análise espectral e a correção do ângulo para os exames com Doppler. No método de avaliação de qualidade aqui proposto, os dois primeiros parâmetros avaliados são justamente para verificar se o exame seguiu a orientação de documentação mínima. Os pesos para cada critério foram atribuídos em reunião de consenso entre os autores, visando valorizar aspectos essenciais para cada tipo de exame. Chegar a esse consenso foi a etapa mais demorada do trabalho. O resultado final quantitativo permite à entidade acreditadora definir um ponto de corte a partir do qual o exame seja considerado aceitável. Nossa sugestão é que exames com média final igual ou superior a 7 sejam considerados como qualificados, pois os laudos são coerentes ou apenas com discordância de baixa relevância, que não implica discordância com o diagnóstico final. Com notas 0 e 3 para discordâncias de alta relevância ou moderada relevância, respectivamente, esses casos nunca atingiriam média 7, mesmo que a qualidade das imagens tenha obtido nota 10 na avaliação. Da mesma forma, um laudo adequado com imagens com nota inferior a 4 não atingiria a média 7. Em nossa experiência, em exames mal documentados os avaliadores dificilmente encontram boa concordância entre as imagens e o laudo. Entretanto, devemos ressaltar, como limitação deste estudo, o pequeno número de exames de cada tipo, que impossibilitou a avaliação da concordância isoladamente para cada um deles. Para exames realizados em situações de urgência e emergência, uma documentação reduzida ou mesmo o laudo sem imagens documentadas é aceitável. Todavia, sem um registro de imagens adequado, é impossível que a qualidade do resultado final seja validada, seja por auditorias no próprio serviço, seja por programas de acreditação. Logo, ao submeter exames a programas de acreditação, deve-se ter a preocupação de seguir os protocolos mínimos de documentação fotográfica exigidos. CONCLUSÃO O sistema quantitativo de avaliação da qualidade de exames ultrassonográficos aqui proposto é uma ferramenta reprodutível que pode ser utilizada em auditorias e em programas de acreditação. REFERÊNCIAS 1. Agência Nacional de Saúde Suplementar. Ministério da Saúde. Resolução Normativa - RN nº 275, de 1º de novembro de 2011. Brasília: ANS/MS; 2011. [cited 2017 Jan 8]. Available from: http://bvsms.saude.gov.br/bvs/saudelegis/ans/2011/res0275_01_11_2011.html. 2. Colégio Brasileiro de Radiologia e Diagnóstico por Imagem. Selos CBR. São Paulo: CBR; 2015. [cited 2017 Jan 8]. Available from: https://cbr.org.br/programas-de-qualidade/selos-cbr/. 3. Colégio Brasileiro de Radiologia e Diagnóstico por Imagem. Programa de Acreditação em Diagnóstico por Imagem. São Paulo: CBR; 2017. [cited 2017 Jan 8]. Available from: http://padi.org.br/apresentacao/. 4. Welsh D, Inglis S, Pye SD. Detecting failed elements on phased array ultrasound transducers using the Edinburgh Pipe Phantom. Ultrasound. 2016;24:68–93. 5. Trier HG. Quality assurance in ultrasound diagnostic equipment in West Germany. Experiences with current regulations. Ultraschall Med. 1985;6:255–64. 6. Schäfer RD. Quality assurance of Doppler sonographic procedures—educational concepts of medical programs. Ultraschall Med. 1985;6:279–81. 7. Dhombres F, Roux N, Friszer S, et al. Relation between the quality of the ultrasound image acquisition and the precision of the measurement of the crown-rump length in the late first trimester: what are the consequences? Eur J Obstet Gynecol Reprod Biol. 2016;207:37–44. 8. Choi JI, Jung SE, Jeong WK, et al. Effectiveness of on-site education for quality assurance of screening ultrasonography for hepatocellular carcinoma. Med Ultrason. 2016;18:275–80. 9. Silverman NH, Moon-Grady AJ. Discordant fetal and post-natal diagnosis: can we do better? J Am Coll Cardiol. 2016;68:931–3. 10. American College of Radiology. Practice parameter for performing and interpreting diagnostic ultrasound examinations. ACR–SPR–SRU Res. 7 – 2011, Amended 2014 (Res. 39). [cited 2017 Jan 8]. Available from: https://www.acr.org/Quality-Safety/Standards-Guidelines/Practice-Guidelines-by-Modality/Ultrasound. 1. Doutor, Médico Radiologista, Orientador no Programa de Pós-Graduação em Saúde Baseada em Evidências da Escola Paulista de Medicina da Universidade Federal de São Paulo (EPM-Unifesp), São Paulo, SP, Brasil 2. Professora, Coordenadora de Ensino e Pesquisa do Departamento de Diagnóstico por Imagem da Escola Paulista de Medicina da Universidade Federal de São Paulo (EPM-Unifesp), São Paulo, SP, Brasil 3. Médicos Radiologistas, Coordenadores do Setor de Ultrassonografia da Diagnósticos da América S/A, Barueri, SP, Brasil 4. Doutor, Médico Neurorradiologista, Diretor de Radiologia e Diagnóstico por Imagem da Diagnósticos da América S/A, Barueri, SP, Brasil 5. Doutora, Médica Radiologista, Diretora do Serviço de Ultrassom do Instituto de Radiologia do Hospital das Clínicas da Faculdade de Medicina da Universidade de São Paulo (InRad/HC-FMUSP), São Paulo, SP, Brasil Trabalho realizado no Departamento de Diagnóstico por Imagem da Escola Paulista de Medicina da Universidade Federal de São Paulo (EPM-Unifesp), São Paulo, SP, Brasil Endereço para correspondência: Dr. Wagner Iared Departamento de Diagnóstico por Imagem – EPM-Unifesp Rua Napoleão de Barros, 800, Vila Clementino São Paulo, SP, Brasil, 04024-002 E-mail: wagneriared@gmail.com Recebido para publicação em 11/2/2017. Aceito, após revisão, em 8/5/2017.