Mapeamento da produção em análise de conteúdo no SciELO Brasil indica uma técnica que parou no tempo

Rafael Cardoso Sampaio, Professor Adjunto do Departamento de Ciência Política da Universidade Federal do Paraná, Curitiba, PR, Brasil.

Diógenes Lycarião, Professor adjunto de Jornalismo do Instituto de Cultura e Arte da Universidade Federal do Ceará, Fortaleza, CE, Brasil.

Acabou de ser publicado na revista portuguesa New Trends on Qualitative Research, pertencente à SciELO Portugal, o artigo Mapeamento e reflexões sobre o uso da análise de conteúdo na SciELO-Brasil (2002-2019).^1,2 Trata-se de uma revisão cientométrica sobre o uso da análise de conteúdo, em todas as áreas de pesquisa da SciELO Brasil, entre os anos de 2002 e 2019 (SAMPAIO, et al., 2022a).

A análise de conteúdo (AC) pode ser considerada uma das principais formas de análise de dados qualitativos na pesquisa brasileira, seja para análise de textos e conteúdos produzidos por diferentes instituições ou atores, seja para avaliar o resultado gerado por outras técnicas de coleta de dados qualitativos, como entrevistas e grupos focais seja ainda integrado a outras técnicas, como a revisão sistemática de literatura (LYCARIÃO, et al., 2022).

Imagem: Freepik.

Pesquisamos a coleção SciELO na base da Web of Science e, após a limpeza manual de artigos que não fizeram uso da técnica, chegamos ao total de 3.484 referências. Para compreender melhor os resultados, dividimos os artigos de acordo com os três colégios da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES): Ciências da Vida, Humanidades, e Exatas, Tecnológicas e Multidisciplinares.

Fazendo uso da técnica de acoplamento bibliográfico, através do software VOSviewer, nossos dados indicam que há mais produção no colégio de Ciências da Vida (n= 2.087) que no colégio de Humanidades (n= 1.211), incluindo destaques para revistas dessas áreas, notadamente de Saúde Coletiva e Enfermagem. Enquanto soa como natural, é a primeira vez que isso é evidenciado de maneira abrangente na pesquisa brasileira. Como sabemos, a versão moderna da técnica científica foi criada por Harold Laswell para analisar propaganda de guerra na década de 1920, sendo então adotada pela comunicação política posteriormente.

Imagem: Sampaio et al (2022a).

Figura 1. Publicações baseadas em AC nas revistas brasileiras.

Agora, o nosso achado principal confirma o que já desconfiamos: o manual de Laurence Bardin “Análise de Conteúdo” concentra a larga maioria das citações. Para chegar a tal conclusão, fizemos uma rede de cocitações em nosso corpus, utilizando o VOSViewer (ECK, WALTMAN, 2010). Todos os clusters formados pelo software mostram a predominância inconteste de Bardin nos colégios da Ciências da Vida e de Humanidades. Discutimos abaixo a relevância de tal resultado tão esperado.

Imagem: Sampaio et al (2022a).

Figura 2. Cocitações agregadas no colégio de Ciências da Vida

Imagem: Sampaio et al (2022a).

Figura 3. Grafo da rede de cocitações de Humanidades.

Como dito, qualquer pesquisador ou pesquisadora que trabalha com análise de conteúdo no Brasil conhece (e geralmente indica) o manual de Bardin, portanto o fato do mesmo ser muito citado em todas as áreas não é surpreendente em si. Qual a nossa preocupação, então? Apesar de várias pesquisas avaliarem a análise de conteúdo em seus respectivos campos de atuação (NASCIMENTO, et al., 2021; CASTRO, et al., 2011; PALMEIRA, et al., 2020), como dito, não havia uma pesquisa abrangente de todas as áreas de pesquisa sobre a questão. Agora, empiricamente, está demonstrado que há muita citação a Bardin por todos os campos do conhecimento no Brasil.

Daí começam as verdadeiras questões. Qual o problema de Bardin ser muito citada? Em resumo, o manual foi publicado em 1977 e atualizado pela última vez no início dos anos 1990, o que significa que não reflete as principais discussões metodológicas e epistemológicas dos últimos 30 anos. Algumas possíveis consequências que discutimos no texto:

• Se utilizado para uma AC quantitativa, o manual não aborda detalhadamente procedimentos mais sofisticados como a criação de um livro de códigos, técnicas avançadas de amostragem de textos, treinamento de codificadores, teste de confiabilidade e testes estatísticos após a codificação.
• Se utilizado para uma AC qualitativa, o manual não aborda satisfatoriamente a criação de um corpus qualitativo, a elaboração do livro de códigos (se for uma análise dedutiva), a forma como se lidou com a subjetividade dos codificadores/juízes, transparência metodológica para incremento da credibilidade da pesquisa e formas de validação dos dados qualitativos.
• Ainda na seara qualitativa, softwares CAQDAS, como Atlas.Ti, MAXQDA, Nvivo e WEBQDA, que estavam em suas primeiras edições no início da década de 90, são mais fortemente recomendados para utilização na pesquisa qualitativa.
• Houve uma grande evolução no debate ético sobre como tratar os resultados da análise, principalmente quando usada para analisar o conteúdo gerado por técnicas de coleta com sujeitos como entrevistas em profundidade, grupos focais e observação participante.
• Na última atualização do manual de Bardin, sequer a internet comercial havia se espraiado de forma significativa. E os impactos dos meios digitais na pesquisa acadêmica em termos de acesso, visibilidade, impacto e colaboração são extremamente relevantes.
• Só a título de exemplo, o advento de repositórios on-line oferece uma revolução nas condições de transparência e replicação das pesquisas, uma vez que compartilhar os materiais originais (a exemplo de prontuários, revistas, vídeos, transcrições de entrevistas e grupos focais etc), assim como materiais suplementares (o livro de códigos ou mesmo o próprio banco de dados codificado, por exemplo) implicava em altos custos.

E, finalmente, o nosso estudo indica que a situação não está melhorando. Ou ainda, os resultados não refletem apenas os dados agregados. Ao verificarmos as citações longitudinalmente, o uso de diferentes manuais de Bardin cresce ao longo dos anos. Abaixo, colocamos o gráfico de uso de análise de conteúdo no SciELO Brasil e o número de citações a Bardin, ambos por ano. É notável como ambos apresentam curvas notadamente similares de crescimento.

Imagem: Sampaio et al (2022a).

Figura 4. Comparação entre a produção da AC e a citação a Bardin.

Em outras palavras, nossos dados não indicam o aparecimento ou crescimento de outros manuais ou mesmo textos sobre análise de conteúdo no Brasil e, ao contrário, indicam um crescimento do uso do manual de Bardin que segue o uso da análise de conteúdo no Brasil. Na prática, ao se observar os gráficos, a impressão que temos é que a análise de conteúdo é sinônimo de Bardin na pesquisa nacional.

Em suma, enquanto parece existir uma discussão epistemológica e metodológica ampliada sobre a cientificidade de métodos qualitativos, especialmente em termos de amostra, saturação de análise, transparência, validade dos dados, etc. (e.g. BICUDO; COSTA, 2019; LIMA; RAMOS, PAULA, 2019), o mesmo parece não ocorrer quando se trata da análise de conteúdo, que parece continuar presa a um manual sem atualização há mais de duas décadas.

Como já alertado por alguns autores (e.g. GONDIM; BENDASSOLLI, 2014; NASCIMENTO, et al., 2021; CASTRO, et al., 2011), a análise de conteúdo parece estar sendo utilizada de forma ad hoc, acrítica e muitas vezes apenas para justificar a existência do nome de uma técnica de pesquisa. Tememos que isso pode estar fomentando pesquisas de baixo rigor e qualidade ou, como concluímos em uma segunda avaliação, há muita Bardin, mas pouca qualidade (SAMPAIO et al, 2022b). Além disso, acreditamos que a forma de uso da técnica possa estar parada no tempo.

O objetivo do texto é justamente iniciar a discussão e desnaturalizar esse uso inadvertido do manual de Bardin, ao mesmo tempo que desenvolvemos mais essas discussões e apresentamos outros manuais que são referências na literatura internacional especializada.

Notas

1. A versão original deste estudo foi publicada no SciELO Preprints está disponível em: SAMPAIO, R.C., et al. A technique stuck in time? Mapping scientific production based on content analysis at SciELO Brazil (2002-19). SciELO Preprints [online]. 2021 [viewed 5 May 2023]. https://doi.org/10.1590/SciELOPreprints.1913. Available from: https://preprints.scielo.org/index.php/scielo/preprint/view/1913

2. SAMPAIO, R., et al. Mapeamento e reflexões sobre o uso da análise de conteúdo na SciELO-Brasil (2002-2019). New Trends in Qualitative Research [online]. 2022a, vol. 15, e747 [viewed 3 May 2023]. https://doi.org/10.36367/ntqr.15.2022.e747. Available from: http://www.scielo.pt/scielo.php?script=sci_arttext&pid=S2184-77702022000600011&lang=pt

Referências

BICUDO, M.A.V., and COSTA, A.P. (ed.) Leituras em pesquisa qualitativa. São Paulo: LF Editorial, 2019.

CASTRO, T.G., ABS, D. and SARRIERA, J.C. Análise de conteúdo em pesquisas de Psicologia. Psicol. cienc. prof. [online]. 2021, vol. 31, no. 4, pp. 814-825 [viewed 3 May 2023]. https://doi.org/10.1590/s1414-98932011000400011. Available from: https://www.scielo.br/j/pcp/a/FT97F8CvRpQLF3W46vTdK8d/

ECK, N.J. and WALTMAN, L. Software survey: VOSviewer, a computer program for bibliometric mapping. Scientometrics [online]. 2010, vol. 84, no. 2, pp. 523-538 [viewed 3 May 2023]. https://doi.org/10.1007/s11192-009-0146-3. Available from: https://link.springer.com/article/10.1007/s11192-009-0146-3

GONDIM, S.M.G. and BENDASSOLLI, P.F. Uma crítica da utilização da análise de conteúdo qualitativa em psicologia. Psicol. Estud. [online]. 2014, vol. 19, no. 2, pp. 191-199 [viewed 3 May 2023]. https://doi.org/10.1590/1413-73722053000. Available from: https://www.scielo.br/j/pe/a/M6cwvMCxw8xnKcbMVhmTBmp/

LIMA, V.M.R., RAMOS, M.G. and PAULA, M.C. (ed.) Métodos de análise em pesquisa qualitativa: releituras atuais. Porto Alegre: EdiPUCRS, 2019.

LYCARIÃO, D., ROQUE, R. and COSTA, D. Revisão Sistemática de Literatura (RSL) e Análise de Conteúdo (AC) na Área na Comunicação e Informação: o problema da confiabilidade e como resolvê-lo. (Submetido à publicação), 2022.

NASCIMENTO, O.A.S., et al. The use of Content Analysis in scientific production of Brazilian Physical Education. Rev. Bras. Ciênc. Esporte [online]. 2021, vol. 43, e006521 [viewed 3 May 2023]. https://doi.org/10.1590/rbce.43.e006521. Available from: https://www.scielo.br/j/rbce/a/n6j9LnWHGfGjTZtKVnsy8mp/

PALMEIRA, L.L., CORDEIRO, C.P.B.S. and PRADO, E.C. A análise de conteúdo e sua importância como instrumento de interpretação dos dados qualitativos nas pesquisas educacionais. Cadernos de Pós-graduação [online]. 2020, vol. 19, no. 1, pp. 14–31. ISSN: 2525-3514 [viewed 3 May 2023]. https://doi.org/10.5585/cpg.v19n1.17159. Available from: https://periodicos.uninove.br/cadernosdepos/article/view/17159

SAMPAIO, R.C. No Brasil, Análise de Conteúdo é sinônimo de Bardin e porque isso é um problema. Instituto Brasileiro de Pesquisa e Análise de Dados [online]. 2021 [viewed 3 May 2023]. Available from: https://ibpad.com.br/ciencia-dados/no-brasil-analise-de-conteudo-e-sinonimo-de-bardin-por-que-isso-e-um-problema/

SAMPAIO, R.C., et al. A technique stuck in time? Mapping scientific production based on content analysis at SciELO Brazil (2002-19). SciELO Preprints [online]. 2021 [viewed 5 May 2023]. https://doi.org/10.1590/SciELOPreprints.1913. Available from: https://preprints.scielo.org/index.php/scielo/preprint/view/1913

SAMPAIO, R.C., et al. Muita Bardin, pouca qualidade: uma avaliação sobre as análises de conteúdo qualitativas no Brasil. Revista Pesquisa Qualitativa [online], 2022b, vol. 10, no. 25, pp. 464-494 [viewed 3 May 2023]. https://doi.org/10.33361/RPQ.2022.v.10.n.25.547. Available from: https://editora.sepq.org.br/rpq/article/view/547

Para ler o artigo, acesse

SAMPAIO, R.C., et al. Mapeamento e reflexões sobre o uso da análise de conteúdo na SciELO-Brasil (2002-2019). New Trends in Qualitative Research [online]. 2022a, vol. 15, e747 [viewed 3 May 2023]. https://doi.org/10.36367/ntqr.15.2022.e747. Available from: http://www.scielo.pt/scielo.php?script=sci_arttext&pid=S2184-77702022000600011&lang=pt

Links externos

New Trends in Qualitative Research – NTQR: http://scielo.pt/scielo.php?script=sci_serial&pid=2184-7770&lng=pt&nrm=iso

VOSviewer: https://www.vosviewer.com/

Sobre Rafael Cardoso Sampaio

Professor do Departamento de Ciência Política da Universidade Federal do Paraná (UFPR) e professor permanente dos programas de Pós-Graduação em Ciência Política e em Comunicação da UFPR. É líder do grupo de pesquisa em Comunicação Política e Democracia Digital (COMPADD). Bolsista de produtividade do CNPQ-2. Pesquisador do Instituto Nacional de Ciência e Tecnologia em Democracia Digital (INCT.DD). É autor do livro “Análise de conteúdo categorial: manual de aplicação” publicado pela Escola Nacional de Administração Pública (ENAP).

Sobre Diógenes Lycarião

Professor adjunto de Jornalismo do Instituto de Cultura e Arte da Universidade Federal do Ceará (UFC), e pesquisador permanente do Programa de Pós-Graduação em Comunicação. É líder do Grupo de Pesquisa em Política, Opinião Pública e Comunicação (Gruppocom). É secretário-executivo da Compolítica (Associação Brasileira dos Pesquisadores em Comunicação e Política), membro do Instituto Nacional de Ciência e Tecnologia em Disputas e Soberanias Informacionais (INCT/DSI) e é vice-coordenador do GT Comunicação da Ciência e Políticas Científicas da Compós (Associação Brasileira dos Programas de Pós-graduação em Comunicação). É autor do livro “Análise de conteúdo categorial: manual de aplicação” publicado pela ENAP.