La producción de mapas de análisis de contenido en SciELO Brasil indica una técnica que se detuvo en el tiempo

Rafael Cardoso Sampaio, Profesor Adjunto del Departamento de Ciencias Políticas de la Universidade Federal do Paraná, Curitiba, Paraná, Brasil.

Diógenes Lycarião, Profesor Adjunto de Periodismo en el Instituto de Cultura y Arte de la Universidade Federal do Ceará, Fortaleza, Ceará, Brasil.

El artículo Mapeamento e reflexões sobre o uso da análise de conteúdo na SciELO-Brasil (2002-2019)^{1, 2} acaba de ser publicado en la revista portuguesa New Trends on Qualitative Research, perteneciente a SciELO Portugal. Esta es una revisión cienciométrica sobre el uso del análisis de contenido, en todas las áreas de investigación de SciELO Brasil, entre los años 2002 y 2019 (SAMPAIO, et al., 2022a).

El análisis de contenido (AC) puede ser considerado una de las principales formas de análisis cualitativo de datos en la investigación brasileña, ya sea para el análisis de textos y contenidos producidos por diferentes instituciones o actores, o para evaluar los resultados generados por otras técnicas de recolección de datos cualitativos, como entrevistas y grupos focales, también se integra con otras técnicas, como una revisión sistemática de la literatura (LYCARIO, et al., 2022).

Imagen: Freepik.

Hicimos una búsqueda en la colección SciELO en la base de datos Web of Science y, después de limpiar manualmente los artículos que no usaban la técnica, llegamos a un total de 3.484 referencias. Para comprender mejor los resultados, dividimos los artículos según las tres facultades de la Coordinación de Perfeccionamiento del Personal de Educación Superior (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, CAPES): Ciencias de la Vida, Humanidades y Exactas, Tecnológicas y Multidisciplinarias.

Haciendo uso de la técnica de acoplamiento bibliográfico, a través del software VOSviewer, nuestros datos indican que hay más producción en la Facultad de Ciencias de la Vida (n=2.087) que en la Facultad de Humanidades (n=1.211), incluyendo destaques para revistas en estas áreas, en particular de Salud Colectiva y Enfermería.

Si bien suena natural, es la primera vez que esto se evidencia exhaustivamente en una investigación brasileña. Como sabemos, la versión moderna de la técnica científica fue creada por Harold Laswell para analizar la propaganda bélica en la década de 1920, y luego adoptada por la comunicación política.

Imagen: Sampaio et al (2022a).

Figura 1. Publicaciones basadas en CA en revistas brasileñas

Ahora, nuestro principal hallazgo confirma lo que ya sospechábamos: el manual “Análise de Conteúdo” de Laurence Bardin concentra la gran mayoría de las citas. Para llegar a esta conclusión, realizamos una red de cocitaciones en nuestro corpus, utilizando VOSViewer (ECK, WALTMAN, 2010). Todos los clústers formados por el software muestran el predominio indiscutible de Bardin en las facultades de Ciencias de la Vida y Humanidades. Discutimos a continuación la relevancia de un resultado tan esperado.

Imagen: Sampaio et al (2022a).

Figura 2. Agregado de Cocitaciones en la Facultad de Ciencias da Vida

Imagen: Sampaio et al (2022a).

Figura 3. Grafo de la red de cocitaciones de Humanidades.

Como se dijo, cualquier investigador que trabaje con análisis de contenido en Brasil conoce (y suele señalar) el manual de Bardin, por lo que el hecho de que sea citado con frecuencia en todas las áreas no sorprende en sí mismo. ¿Cuál es nuestra preocupación entonces? Aunque varios estudios evalúan el análisis de contenido en sus respectivos campos de acción (NASCIMENTO et al., 2021; CASTRO et al., 2011; PALMEIRA et al., 2020), como se dijo, no hubo una encuesta exhaustiva de todas las áreas de investigación sobre el tema. Ahora, empíricamente, se ha demostrado que Bardin es frecuentemente citado en todos los campos del conocimiento en Brasil.

Entonces comienzan las verdaderas preguntas. ¿Qué tiene de malo que se cite mucho a Bardin? En resumen, el manual fue publicado en 1977 y actualizado por última vez a principios de la década de 1990, lo que significa que no refleja las principales discusiones metodológicas y epistemológicas de los últimos 30 años. Algunas posibles consecuencias que comentamos en el texto:

• Si se usa para un AC cuantitativo, el manual no cubre en detalle procedimientos más sofisticados como la creación de un libro de códigos, técnicas avanzadas de muestreo de texto, capacitación de codificadores, prueba de confiabilidad y pruebas estadísticas después de la codificación.
• Si se utiliza para un AC cualitativo, el manual no aborda satisfactoriamente la creación de un corpus cualitativo, la elaboración del libro de códigos (si es un análisis deductivo), la forma en que se trató la subjetividad de los codificadores/jueces, transparencia metodológica para el aumento de la credibilidad de la investigación y formas de validación de datos cualitativos.
• Aún en el área cualitativa, los software CAQDAS, como Ti, MAXQDA, Nvivo y WEBQDA, que se encontraban en sus primeras ediciones a principios de los 90, son más recomendados para su uso en investigación cualitativa.
• Ha habido una gran evolución en el debate ético sobre cómo tratar los resultados del análisis, principalmente cuando se utilizan para analizar el contenido generado por técnicas de recolección de datos con temas como entrevistas en profundidad, grupos focales y observación participante.
• En la última actualización del manual de Bardin, incluso el Internet comercial no se había extendido significativamente. Y los impactos de los medios digitales en la investigación académica en términos de acceso, visibilidad, impacto y colaboración son extremadamente relevantes.
• Solo como ejemplo, el advenimiento de los repositorios en línea ofrece una revolución en las condiciones de transparencia y replicación de las investigaciones, ya que se comparten materiales originales (como historias clínicas, revistas, videos, transcripciones de entrevistas y grupos focales, etc.), como así como los materiales complementarios (el libro de códigos o incluso la propia base de datos codificada, por ejemplo) implicaban costes elevados.

Y finalmente, nuestro estudio indica que la situación no está mejorando. O bien, los resultados no solo reflejan los datos agregados. Al revisar las citas longitudinalmente, el uso de diferentes manuales de Bardin crece con los años. A continuación, presentamos el gráfico del uso del análisis de contenido en SciELO Brasil y el número de citas a Bardin, ambos por año. Es notable cómo ambos muestran curvas de crecimiento notablemente similares

Imagen: Sampaio et al (2022a).

Figura 4. Comparação entre a produção da AC e a citação a Bardin.

En otras palabras, nuestros datos no indican la aparición o el crecimiento de otros manuales o incluso textos sobre análisis de contenido en Brasil y, por el contrario, indican un crecimiento en el uso del manual de Bardin que sigue al uso del análisis de contenido en Brasil. En la práctica, al observar los gráficos, la impresión que tenemos es que análisis de contenido es sinónimo de Bardin en la investigación nacional.

En resumen, si bien parece haber una discusión epistemológica y metodológica ampliada sobre la cientificidad de los métodos cualitativos, especialmente en términos de muestra, saturación del análisis, transparencia, validez de los datos, etc. (e.g. BICUDO; COSTA, 2019; LIMA; RAMOS, PAULA, 2019), no parece ocurrir lo mismo en lo que respecta al análisis de contenido, que parece estancado en un manual sin actualizar desde hace más de dos décadas.

Como ya advirtieron algunos autores (e.g. GONDIM; BENDASSOLLI, 2014; NASCIMENTO et al, 2021; CASTRO et al, 2011), el análisis de contenido parece ser utilizado de manera ad hoc, acrítica y muchas veces solo para justificar la existencia del nombre de una técnica de búsqueda. Tememos que esto pueda estar fomentando investigaciones de bajo rigor y calidad o, como concluimos en una segunda evaluación, hay mucho de Bardin, pero poca calidad (SAMPAIO et al, 2022b). Además, creemos que la forma en que se utiliza la técnica puede estar congelada en el tiempo.

El objetivo del texto es precisamente iniciar la discusión y desnaturalizar este uso involuntario del manual de Bardin, al mismo tiempo que desarrollamos más estas discusiones y presentamos otros manuales que son referencias en la literatura internacional especializada.

Notas

1. La versión original de este estudio fue publicada en SciELO Preprints y está disponible en: SAMPAIO, R.C., et al. A technique stuck in time? Mapping scientific production based on content analysis at SciELO Brazil (2002-19). SciELO Preprints [online]. 2021 [viewed 5 May 2023]. https://doi.org/10.1590/SciELOPreprints.1913. Available from: https://preprints.scielo.org/index.php/scielo/preprint/view/1913

2. SAMPAIO, R., et al. Mapeamento e reflexões sobre o uso da análise de conteúdo na SciELO-Brasil (2002-2019). New Trends in Qualitative Research [online]. 2022a, vol. 15, e747 [viewed 3 May 2023]. https://doi.org/10.36367/ntqr.15.2022.e747. Available from: http://www.scielo.pt/scielo.php?script=sci_arttext&pid=S2184-77702022000600011&lang=pt

Referencias

BICUDO, M.A.V., and COSTA, A.P. (ed.) Leituras em pesquisa qualitativa. São Paulo: LF Editorial, 2019.

CASTRO, T.G., ABS, D. and SARRIERA, J.C. Análise de conteúdo em pesquisas de Psicologia. Psicol. cienc. prof. [online]. 2021, vol. 31, no. 4, pp. 814-825 [viewed 3 May 2023]. https://doi.org/10.1590/s1414-98932011000400011. Available from: https://www.scielo.br/j/pcp/a/FT97F8CvRpQLF3W46vTdK8d/

ECK, N.J. and WALTMAN, L. Software survey: VOSviewer, a computer program for bibliometric mapping. Scientometrics [online]. 2010, vol. 84, no. 2, pp. 523-538 [viewed 3 May 2023]. https://doi.org/10.1007/s11192-009-0146-3. Available from: https://link.springer.com/article/10.1007/s11192-009-0146-3

GONDIM, S.M.G. and BENDASSOLLI, P.F. Uma crítica da utilização da análise de conteúdo qualitativa em psicologia. Psicol. Estud. [online]. 2014, vol. 19, no. 2, pp. 191-199 [viewed 3 May 2023]. https://doi.org/10.1590/1413-73722053000. Available from: https://www.scielo.br/j/pe/a/M6cwvMCxw8xnKcbMVhmTBmp/

LIMA, V.M.R., RAMOS, M.G. and PAULA, M.C. (ed.) Métodos de análise em pesquisa qualitativa: releituras atuais. Porto Alegre: EdiPUCRS, 2019.

LYCARIÃO, D., ROQUE, R. and COSTA, D. Revisão Sistemática de Literatura (RSL) e Análise de Conteúdo (AC) na Área na Comunicação e Informação: o problema da confiabilidade e como resolvê-lo. (Submetido à publicação), 2022.

NASCIMENTO, O.A.S., et al. The use of Content Analysis in scientific production of Brazilian Physical Education. Rev. Bras. Ciênc. Esporte [online]. 2021, vol. 43, e006521 [viewed 3 May 2023]. https://doi.org/10.1590/rbce.43.e006521. Available from: https://www.scielo.br/j/rbce/a/n6j9LnWHGfGjTZtKVnsy8mp/

PALMEIRA, L.L., CORDEIRO, C.P.B.S. and PRADO, E.C. A análise de conteúdo e sua importância como instrumento de interpretação dos dados qualitativos nas pesquisas educacionais. Cadernos de Pós-graduação [online]. 2020, vol. 19, no. 1, pp. 14–31. ISSN: 2525-3514 [viewed 3 May 2023]. https://doi.org/10.5585/cpg.v19n1.17159. Available from: https://periodicos.uninove.br/cadernosdepos/article/view/17159

SAMPAIO, R.C. No Brasil, Análise de Conteúdo é sinônimo de Bardin e porque isso é um problema. Instituto Brasileiro de Pesquisa e Análise de Dados [online]. 2021 [viewed 3 May 2023]. Available from: https://ibpad.com.br/ciencia-dados/no-brasil-analise-de-conteudo-e-sinonimo-de-bardin-por-que-isso-e-um-problema/

SAMPAIO, R.C., et al. A technique stuck in time? Mapping scientific production based on content analysis at SciELO Brazil (2002-19). SciELO Preprints [online]. 2021 [viewed 5 May 2023]. https://doi.org/10.1590/SciELOPreprints.1913. Available from: https://preprints.scielo.org/index.php/scielo/preprint/view/1913

SAMPAIO, R.C., et al. Muita Bardin, pouca qualidade: uma avaliação sobre as análises de conteúdo qualitativas no Brasil. Revista Pesquisa Qualitativa [online], 2022b, vol. 10, no. 25, pp. 464-494 [viewed 3 May 2023]. https://doi.org/10.33361/RPQ.2022.v.10.n.25.547. Available from: https://editora.sepq.org.br/rpq/article/view/547

Para leer el artículo, acceda a

SAMPAIO, R.C., et al. Mapeamento e reflexões sobre o uso da análise de conteúdo na SciELO-Brasil (2002-2019). New Trends in Qualitative Research [online]. 2022a, vol. 15, e747 [viewed 3 May 2023]. https://doi.org/10.36367/ntqr.15.2022.e747. Available from: http://www.scielo.pt/scielo.php?script=sci_arttext&pid=S2184-77702022000600011&lang=pt

Enlaces externos

New Trends in Qualitative Research – NTQR: http://scielo.pt/scielo.php?script=sci_serial&pid=2184-7770&lng=pt&nrm=iso

VOSviewer: https://www.vosviewer.com/

Sobre Rafael Cardoso Sampaio

Profesor del Departamento de Ciencia Política de la Universidade Federal do Paraná (UFPR) y profesor permanente de los Programas de Posgrado en Ciencia Política y Comunicación de la UFPR. Es líder del grupo de investigación en Comunicación Política y Democracia Digital (COMPADD). Becario de productividad CNPQ-2. Investigador del Instituto Nacional de Ciencia y Tecnología en Democracia Digital (Instituto Nacional de Ciência e Tecnologia em Democracia Digital, INCT.DD). Es autor del libro “Análise de conteúdo categorial: manual de aplicação” publicado por la Escola Nacional de Administração Pública (ENAP).

Sobre Diógenes Lycarião

Profesor adjunto de Periodismo en el Instituto de Cultura y Arte de la Universidade Federal do Ceará (UFC) e investigador permanente del Programa de Posgrado en Comunicación. Es líder del Grupo de Investigación en Política, Opinión Pública y Comunicación (Gruppocom). Es secretario ejecutivo de Compolítica (Asociación Brasileña de Investigadores en Comunicación y Política), miembro del Instituto Nacional de Ciencia y Tecnología en Controversias y Soberanías Informativas (Instituto Nacional de Ciência e Tecnologia em Disputas e Soberanias Informacionais, INCT/DSI) y vicecoordinador del GT Comunicación de la Ciencia y Políticas Científicas de Compós (Asociación Brasileña de Programas de Posgrado en Comunicación). Es autor del libro “Análise de conteúdo categorial: manual de aplicação” publicado por ENAP.

Traducido del original en portugués por Ernesto Spinak.