Del signo aislado a las configuraciones de significado
Los tres primeros capítulos siguieron una secuencia. El primero distinguió lenguaje, signo, dato, descripción, interpretación y explicación. El segundo comparó las arquitecturas del signo de Saussure y Peirce. El tercero examinó cómo la noción de sistema condujo a los estructuralismos lingüísticos. Este capítulo abandona una simplificación frecuente en las introducciones a la semiótica, la de suponer que la significación puede comprenderse estudiando signos aislados.
En la vida social, los signos aparecen integrados en configuraciones complejas. Una conversación incluye, además de palabras, ritmo, entonación, silencios, gestos, mirada, postura, distancia física y conocimiento compartido. Un artículo científico incorpora títulos, tablas, gráficos, citas, notas y una organización genérica reconocible. Una interfaz digital coordina texto, iconos, botones, colores, sonidos, animaciones y posibilidades de acción. El significado surge de relaciones entre recursos heterogéneos.
Distintas tradiciones se ocupan de este problema con conceptos como discurso, texto, interacción, multimodalidad y semiótica social. Estos términos no son sinónimos, porque pertenecen a marcos parcialmente diferentes; antes de usarlos hay que construir un mapa conceptual. La pregunta del capítulo es cómo se organiza la significación cuando varios recursos semióticos participan a la vez en una situación comunicativa.
Responderla exige evitar dos errores opuestos. El primero reduce toda comunicación a palabras; el segundo atribuye a cada gesto o silencio un significado estable y oculto. Una teoría rigurosa de la multimodalidad reconoce que el significado puede distribuirse entre recursos diversos sin convertir esos recursos en un diccionario universal.
Texto y discurso
Los términos texto y discurso varían mucho entre tradiciones. En sentido amplio, un texto es una unidad comunicativa organizada, oral, escrita o multimodal, aunque en el uso cotidiano la palabra se restringe a lo escrito. Discurso puede designar el lenguaje en uso, las secuencias mayores que la oración, las prácticas comunicativas socialmente situadas, los modos relativamente estables de hablar sobre un dominio o los procesos de producción de sentido vinculados a instituciones. Ninguna definición única es aceptada por toda la disciplina.
Este libro adopta una distinción operativa, más rica que la fórmula según la cual el discurso sería el texto más el contexto. Llamaremos texto al producto organizado que puede delimitarse analíticamente, como una entrevista transcrita, un artículo, una conversación grabada, una página web o una escena audiovisual. Llamaremos discurso a ese texto considerado como parte de una práctica de significación, en la que importa quién habla, desde qué posición, para quién, con qué convenciones y dentro de qué institución. La distinción recuerda que una secuencia lingüística puede analizarse como estructura y también como acontecimiento social.
(1) Se recomienda mantener hospitalización.
Como oración, (1) admite un análisis sintáctico y semántico. Como parte de un informe clínico, plantea otras preguntas, como quién tiene autoridad para recomendar, a quién va dirigido el documento, qué evidencia precede la afirmación, si la recomendación es vinculante y qué consecuencias institucionales genera. La oración es la misma; su funcionamiento discursivo depende de la situación.
Las dimensiones del contexto
La palabra contexto suele usarse como explicación universal, como cuando se dice que algo «depende del contexto». La fórmula explica poco si no se especifica qué componente contextual es pertinente. Pueden distinguirse al menos seis dimensiones.
El contexto lingüístico está formado por los elementos que preceden o siguen a una expresión. En «Juan entró. Estaba mojado», la interpretación del sujeto de estaba depende del antecedente Juan. El contexto situacional comprende el lugar, los participantes, la actividad y los objetos presentes; la frase «Está abierto» puede referirse a una puerta, a una tienda, a una herida o a un archivo digital. El contexto interpersonal incluye la autoridad, la confianza, los roles y la historia compartida, de modo que «Ven acá» funciona de manera distinta entre un padre y su hijo que entre un médico y su paciente. Goffman (1981) llamó alineamiento, en inglés footing, a la posición que los participantes adoptan unos respecto de otros y que puede cambiar dentro de una misma conversación.
El contexto institucional corresponde a las prácticas y reglas de una organización. Una misma afirmación tiene consecuencias diferentes en un tribunal o en una conversación familiar. El contexto cultural reúne los conocimientos y convenciones de una comunidad, como las normas para tutear o no a un médico, que varían entre países hispanohablantes. El contexto histórico, por último, registra que los significados cambian con el tiempo; el pronombre usted procede de la fórmula de tratamiento vuestra merced. Una teoría rigurosa identifica qué variables contextuales modifican la interpretación y mediante qué mecanismo.
La comunicación como actividad coordinada
Los modelos elementales representan la comunicación como el paso de un mensaje desde un emisor hacia un receptor. El esquema permite introducir algunos componentes, aunque resulta insuficiente para la interacción humana. En una conversación, los participantes producen turnos, anticipan respuestas, corrigen malentendidos, observan gestos, coordinan la atención y actualizan el conocimiento que comparten. La comunicación es, por tanto, una actividad coordinada.
Un intercambio simple lo muestra.
(2) A pregunta «¿Quieres café?» y B responde «Tengo que dormir temprano».
B no responde «sí» ni «no». A puede interpretar, sin embargo, que B rechaza el café por su efecto sobre el sueño. Para ello tiene que comprender las palabras, saber que el café dificulta dormir, suponer que la respuesta pretende ser pertinente y conectar el propósito de dormir temprano con la decisión de no beberlo. Grice (1975) explicó este tipo de inferencias, las implicaturas, a partir del supuesto de que los hablantes cooperan y procuran ser pertinentes. El significado comunicado excede el contenido proposicional explícito, por lo que el significado discursivo no puede reducirse a la suma de los significados léxicos.
Recursos verbales y no verbales
Incluso una conversación que parece solo verbal contiene varias fuentes de información. Con fines analíticos pueden distinguirse el contenido léxico, la sintaxis, la prosodia, las pausas, los gestos, la mirada, la postura, la distancia y la organización espacial, además de los objetos presentes. No todos estos elementos son siempre pertinentes ni tienen un significado fijo.
(3) Sí, claro.
Dicho con prosodia neutra, (3) puede indicar acuerdo. Con un alargamiento, una caída tonal y cierta expresión facial puede comunicar ironía o escepticismo. La secuencia verbal es idéntica, mientras que la configuración multimodal cambia. De ello no se sigue que la prosodia tenga un diccionario universal en el que cada tono corresponda a una emoción. Las señales vocales dependen de la lengua, de la cultura, del individuo, de la situación fisiológica y de los hábitos. Una voz baja puede relacionarse con tristeza, aunque también con cansancio, deseo de privacidad, timidez, una enfermedad laríngea, sedación o un estilo habitual. La multimodalidad amplía la evidencia disponible sin eliminar la necesidad de una interpretación cuidadosa.
Modo, canal y medio
La teoría de la multimodalidad llama modo a un recurso organizado social y culturalmente para producir significado, como el habla, la escritura, la imagen, el gesto, el color, la música o la disposición espacial (Kress, 2010). El concepto se distingue del de canal, que designa el soporte sensorial de la transmisión, sea auditivo, visual o táctil. También se distingue del de medio, que designa el soporte tecnológico o material, como el papel, la televisión, el teléfono o una interfaz digital. Una imagen y un texto escrito pueden usar el mismo canal visual y aparecer en el mismo medio, una pantalla, aunque sean modos diferentes.
La distinción no es absoluta. La literatura sobre multimodalidad discute qué criterios permiten identificar un modo de manera independiente (Jewitt, 2009). El modo debe tratarse, por eso, como una herramienta analítica, sin darle el estatuto de una clase natural evidente.
La semiótica social
Buena parte de los estudios actuales de multimodalidad procede de la semiótica social, que se origina en la obra de Michael Halliday y fue desarrollada, entre otros, por Gunther Kress y Theo van Leeuwen. Halliday (1978) concibió el lenguaje como un recurso social para producir significado. Su lingüística sistémico-funcional distingue tres metafunciones. La ideacional permite representar experiencias, acontecimientos y relaciones; la interpersonal, establecer posiciones, actitudes y vínculos entre los participantes; la textual, organizar los mensajes de manera coherente en su situación.
Kress y van Leeuwen (2006) extendieron esos principios a los recursos visuales. Su propuesta analiza imágenes, disposición espacial y tipografía según funciones comparables de representación, interacción y composición. Ha tenido gran influencia en el análisis de medios, la educación y el diseño (van Leeuwen, 2005).
La transferencia de categorías lingüísticas a las imágenes exige, con todo, una cautela de método. Una fotografía no tiene sintaxis en el mismo sentido que una oración. Llamar «gramatical» a una imagen no demuestra que sus regularidades sean del mismo tipo que las dependencias sintácticas de una lengua. Tampoco el vocabulario de Halliday se superpone término a término con el de Jakobson; la metafunción interpersonal, por ejemplo, es distinta de la función emotiva, porque cada modelo organiza de otra manera las relaciones entre forma, situación y acción. Las analogías entre modelos son productivas cuando se especifica qué propiedades se comparten.
Affordances de los modos
El concepto de affordance procede de la psicología ecológica de James Gibson, que lo definió como una posibilidad de acción que surge de la relación entre un organismo y su entorno (Gibson, 1979). Los estudios de diseño y de multimodalidad lo usan para pensar qué tipos de significado facilita o restringe cada recurso (Kress, 2010). Una imagen puede mostrar a la vez posición, color, tamaño y relaciones espaciales, mientras que una oración hablada se despliega en el tiempo y de manera secuencial. Un mapa permite ver relaciones espaciales de forma inmediata y una tabla facilita la comparación de valores.
Ningún modo es por ello intrínsecamente superior a otro. Cada uno tiene posibilidades propias, según las cuales la comunicación multimodal puede distribuir la información. En un artículo científico, el texto explica, las tablas organizan comparaciones, las figuras muestran tendencias y las ecuaciones formalizan relaciones. Reducir toda esa información a prosa puede aumentar considerablemente el esfuerzo del lector.
Redundancia, complementariedad y contradicción
Cuando varios modos participan a la vez, pueden relacionarse de maneras distintas. Se habla de redundancia cuando transmiten información en parte equivalente, como cuando un presentador dice que las cifras aumentaron mientras una gráfica muestra una línea ascendente. La complementariedad aparece cuando cada modo aporta algo diferente; el texto puede explicar el mecanismo y la gráfica, mostrar la magnitud. La elaboración consiste en que un modo especifique o amplíe otro. La contradicción, por último, se da cuando los modos transmiten señales en apariencia incompatibles, como cuando una persona dice «Estoy perfectamente bien» mientras llora.
Este último caso exige prudencia. La contradicción aparente no autoriza a decidir qué modo expresa la verdad. El llanto puede acompañar la tristeza, aunque también el alivio, la frustración, el dolor o el cansancio. El enunciado verbal tampoco debe descartarse. La discrepancia es un dato que requiere investigación adicional.
El cuerpo como recurso semiótico
En la interacción cara a cara, el cuerpo participa continuamente en la organización de la comunicación, a través de la dirección de la mirada, la orientación del torso, los gestos, los movimientos de cabeza, la proximidad y la sincronización temporal. Goodwin (2000) analizó grabaciones de niñas que jugaban a la rayuela y de arqueólogos que clasificaban el color de muestras de tierra. Mostró así que las acciones se construyen combinando habla, mirada, cuerpo y objetos del entorno.
El significado puede construirse mediante ensamblajes temporales de recursos, más allá de lo que cada gesto signifique por separado. Señalar con el dedo mientras se dice «ese» permite identificar un referente que la palabra aislada no especificaría. La deixis verbal y el gesto cooperan. Sin el gesto, la expresión puede resultar insuficiente; sin la palabra, el gesto puede resultar ambiguo. La unidad funcional de análisis puede ser, por tanto, la combinación.
La temporalidad de la interacción
En la multimodalidad importa también cuándo aparece cada recurso. Un gesto puede preceder al habla, coincidir con una palabra o prolongarse después de ella. Una mirada puede anticipar una toma de turno y una pausa puede modificar cómo se interpreta la frase anterior. La comunicación debe analizarse, por eso, como un proceso temporal.
(4) No… [pausa de cuatro segundos] No he pensado en eso.
La pausa de (4) no tiene un significado fijo, aunque puede adquirir relevancia por la posición que ocupa en la secuencia. Podría reflejar búsqueda de palabras, duda, un recuerdo, regulación emocional, resistencia o dificultad cognitiva. La temporalidad permite identificar la pausa como fenómeno sin determinar su causa. La diferencia entre la posición interactiva de una conducta y su interpretación psicológica tiene especial importancia en el trabajo clínico.
El espacio
La organización espacial también puede adquirir funciones semióticas. En una consulta clínica importan la disposición de las sillas, la presencia de un escritorio, la ubicación de la pantalla, la distancia entre los participantes, la posibilidad de salida y la presencia de terceros. Estos elementos afectan la interacción aunque no hayan sido diseñados como mensajes. Algo puede tener consecuencias semióticas sin haber sido producido intencionalmente como signo. Una puerta cerrada puede comunicar privacidad, cuando quizá solo se cerró por el ruido del pasillo. El intérprete puede atribuir significado a una configuración aun cuando no haya existido intención comunicativa, una diferencia que el capítulo 2 formuló con la noción peirceana de índice.
Diseño e intención
En los objetos diseñados, la relación entre forma y función es más explícita. Un botón rojo y grande con la palabra ELIMINAR coordina color, tamaño, texto, posición y acción disponible. El rojo activa convenciones culturales de alerta y el tamaño aumenta la saliencia, mientras la palabra especifica la acción. La intención del diseñador tampoco garantiza aquí la interpretación del usuario. Un diseño puede ser ambiguo o apoyarse en convenciones que el usuario desconoce. Deben distinguirse, por tanto, la intención de diseño, las propiedades del artefacto, la interpretación del usuario y su comportamiento efectivo, cuatro dimensiones que pueden divergir.
Multimodalidad y semiosis peirceana
La teoría de Peirce muestra que los modos no funcionan todos mediante el mismo tipo de relación semiótica. Un gráfico de temperatura en una interfaz médica puede combinar las tres dimensiones estudiadas en el capítulo 2. La forma de la curva es icónica respecto del patrón de variación. Cada punto que corresponde a una medición concreta es indicial, porque procede de un registro. Las etiquetas «°C», «fecha» o «paciente» son simbólicas. Un mismo artefacto integra así relaciones semióticas diferentes; clasificar objetos completos como «iconos» o «símbolos» resulta demasiado simple. Es más útil preguntar qué aspecto de una representación funciona icónica, indicial o simbólicamente.
Multimodalidad y estructura
Desde la perspectiva estructural cabe preguntar cómo se distribuye el valor entre los recursos. Un color aislado puede ser ambiguo. En una interfaz en la que el verde indica normalidad, el amarillo precaución y el rojo alerta, el valor surge de una oposición organizada, como en el sistema saussureano. El rojo no significa alarma por una propiedad necesaria; su valor depende de convenciones y de su relación con las demás opciones del sistema. Intervienen también factores perceptivos e históricos. Una explicación multimodal rara vez puede reducirse a una sola teoría del signo.
El silencio
El silencio muestra con claridad los límites de la interpretación. Puede ser una pausa de procesamiento, un rechazo, una aceptación, una muestra de incomodidad o de deferencia, una protesta o la expresión de una imposibilidad de responder. No tiene un significado universal. La pregunta adecuada es qué función parece cumplir un silencio dentro de una secuencia concreta.
(5) El médico pregunta «¿Ha pensado en morir?» y el paciente guarda silencio.
Ese silencio es clínicamente relevante, aunque no equivale por sí mismo a una respuesta afirmativa. Desde el análisis del discurso, modifica la secuencia y puede señalar dificultad. Desde la clínica, obliga a seguir preguntando, con calma y de manera directa, por la ideación suicida y, si está presente, por planes e intención. Convertirlo sin más en evidencia de ideación suicida sería una inferencia excesiva; tomarlo como una negativa, un error igualmente grave.
Discordancia multimodal
La discordancia entre modos merece especial atención en psiquiatría.
(6) Estoy feliz por ella.
Supongamos que (6) se dice con una expresión facial tensa y una prosodia plana. Pueden describirse un contenido verbal positivo, ciertos rasgos vocales y ciertos movimientos faciales. Lo que no puede afirmarse sin más es que la persona está en realidad enojada. La discordancia genera hipótesis que necesitan más evidencia.
El punto importa porque existe una larga tradición popular de «leer» el lenguaje corporal como detector de mentiras o de emociones. Un metaanálisis de 158 indicadores conductuales encontró que muchas conductas no tenían relación con el engaño o solo una relación débil (DePaulo et al., 2003). En promedio, además, las personas distinguen la mentira de la verdad con una exactitud del 54 %, apenas por encima del azar (Bond y DePaulo, 2006). Gestos como cruzar los brazos o evitar la mirada carecen de una correspondencia estable con el engaño o con emociones específicas. El análisis multimodal riguroso estudia patrones en su contexto y renuncia a las claves universales de acceso a una mente oculta.
Cuatro capas de la comunicación clínica
En una entrevista clínica pueden distinguirse al menos cuatro capas. La primera es la expresión del paciente, es decir, lo que dice y hace durante la interacción. La segunda es la interpretación del clínico, que formula una hipótesis sobre el significado de esa conducta. La tercera es la formulación clínica, que traduce la interpretación a categorías profesionales. La cuarta, por último, es la documentación escrita posterior.
(7) No siento nada desde hace meses.
Ante (7), una interpretación posible es que el paciente describe una reducción marcada de su experiencia afectiva. La formulación clínica correspondiente podría ser la de anestesia afectiva. La documentación, por su parte, podría decir lo siguiente.
(8) Paciente refiere sensación persistente de ausencia de respuesta emocional.
Cada transición modifica la representación. Una documentación rigurosa permite reconstruir, cuando es pertinente, de dónde provino la formulación. La multimodalidad agrega complejidad, porque algunos hallazgos observados no aparecen en el contenido verbal y deben registrarse de otro modo.
Un caso clínico multimodal
El siguiente caso es ficticio. Sus datos se estipulan para enseñar a separar la observación de la hipótesis y no permiten estimar ninguna asociación clínica.
(9) El clínico pregunta «¿Cómo ha estado la relación con su hermana desde el funeral?». El paciente guarda silencio durante cinco segundos, desvía la mirada hacia la ventana y responde en voz baja «Bien. Normal».
En el plano verbal, la respuesta es breve y afirma normalidad. En el temporal, hay una demora antes de responder. El volumen de la voz es bajo y la mirada se aparta del interlocutor. En el plano discursivo, una pregunta abierta sobre una relación recibe una respuesta mínima que no desarrolla ningún contenido. Puede formularse la hipótesis de que el tema resulta difícil de tratar para el paciente. Todavía no se sabe, sin embargo, si la respuesta se relaciona con el duelo, con un conflicto familiar, con cansancio, con incomodidad ante el entrevistador o con un estilo comunicativo habitual. El análisis multimodal mejora la descripción sin eliminar la incertidumbre.
Un estudio real conservaría la transcripción sincronizada, describiría la tarea y declararía los criterios de anotación. Goodwin (2000) trabajó justamente con registros situados de ese tipo.
Escritura científica y multimodalidad
Los artículos científicos son también artefactos multimodales, en los que una figura cumple operaciones difíciles de expresar en prosa. Un estudio longitudinal puede afirmar en el texto que los valores disminuyeron al comienzo y luego se estabilizaron. Una gráfica muestra además la magnitud del cambio, la variabilidad, los valores atípicos y las diferencias entre individuos, con lo cual puede revelar aspectos que la frase oculta.
Una gráfica también puede orientar la interpretación de manera engañosa. Un eje vertical que no comienza en cero exagera las diferencias. La agrupación de los datos o la omisión de la incertidumbre alteran, a su vez, lo que el lector percibe. Interpretar visualizaciones requiere, por eso, competencias semióticas y estadísticas. La manera de representar los datos modifica qué relaciones resultan perceptivamente salientes.
Escritura literaria y distribución del significado
La narrativa literaria es otro laboratorio multimodal, incluso cuando se presenta solo como texto escrito. La tipografía, la puntuación, los espacios en blanco y la división en capítulos participan en la significación. La escritura representa, además, fenómenos originalmente multimodales mediante recursos lingüísticos. Una novela puede describir un tono de voz, un gesto, un silencio o una iluminación. El escritor decide qué dimensiones convierte en lenguaje. Esa selección organiza la atención del lector.
(10) Dijo que estaba bien.
(11) Dijo que estaba bien sin mirarlo.
La versión (11) incorpora un recurso corporal dentro de la representación verbal y produce una discrepancia que abre posibilidades inferenciales, entre ellas la del engaño. La buena escritura regula cuánto explica y cuánto deja disponible para la inferencia.
Interfaces entre personas y sistemas de IA
Las interfaces conversacionales actuales plantean un problema semiótico importante. La interacción puede incluir texto generado, voz sintética, un avatar, una memoria aparente, una velocidad de respuesta determinada, indicadores de escritura, referencias a conversaciones previas y botones de acción. Estos elementos pueden producir una experiencia de continuidad, atención, presencia o comprensión.
Hay que distinguir entre la experiencia semiótica del usuario y la arquitectura técnica que la produce. Un indicador animado que dice «escribiendo…» puede sugerir que el sistema compone una respuesta como lo haría una persona. Esa lectura puede ayudar a manejar las expectativas, aunque no prueba la existencia de un proceso psicológico equivalente al de una persona que escribe. La interfaz participa activamente en la atribución de estados y capacidades.
Atribución de agencia
La agencia suele inferirse a partir de combinaciones de señales. Un objeto parece más agente cuando responde de manera contingente, usa la primera persona, recuerda información previa, adapta su conducta, inicia acciones o muestra señales temporales de deliberación. Heider y Simmel (1944) mostraron hace ya ocho décadas la fuerza de esta tendencia. Al ver una breve película animada en la que se movían dos triángulos y un círculo, casi todos los observadores describieron persecuciones, peleas e intenciones. Ninguna señal aislada demuestra agencia psicológica, aunque la configuración completa puede producir una atribución intensa.
Desde el punto de vista semiótico pueden distinguirse cuatro cuestiones, que son las señales de agencia, la atribución de agencia, la capacidad funcional real y el estatus ontológico de la agencia. Un sistema puede tener capacidades funcionales de planificación sin experiencia subjetiva. Puede también producir señales de comprensión sin que sepamos si corresponde atribuirle comprensión en un sentido fuerte. La semiótica estudia cómo opera la atribución; la cuestión ontológica corresponde a la filosofía de la mente y a la ciencia cognitiva, que necesitan para ello evidencia adicional.
Métodos para estudiar la multimodalidad
Un análisis multimodal riguroso exige decisiones explícitas. Primero debe delimitarse la unidad de análisis, que puede ser un gesto, un turno, una secuencia, una escena o una interfaz completa. Después hay que decidir cómo transcribir las palabras, las pausas, la entonación, la mirada y los movimientos. También hay que alinear temporalmente esos recursos, un problema que Mondada (2018) examina en detalle. Las categorías que se usen deben definirse de antemano. Si varias personas codifican los datos, su grado de acuerdo debe medirse, por ejemplo con el coeficiente kappa de Cohen. Antes de generalizar deben compararse varios casos y, al final, precisarse qué afirmaciones permiten los datos (Norris, 2004).
Un análisis cualitativo puede ser riguroso sin transformarse en estadística, siempre que haga explícitas sus decisiones y sus límites.
Interpretación cualitativa y evidencia
El rigor no exige que todo significado pueda medirse con una cifra. El análisis cualitativo de una escena está bien fundamentado cuando identifica evidencia concreta, explica su relación con la interpretación, considera alternativas y reconoce la incertidumbre. Consideremos dos afirmaciones sobre una película. La primera sostiene que la repetición del mismo encuadre después de cada decisión del personaje asocia esa composición con los momentos de pérdida de control. Esa afirmación puede evaluarse observando el material. La segunda sostiene que el encuadre demuestra que el director teme inconscientemente a su padre. Esta tesis exige una evidencia muy distinta, que la escena probablemente no contiene. La diferencia que importa separa las inferencias que tienen un soporte suficiente para el tipo de afirmación que hacen de las que carecen de él, con independencia de que el análisis se llame científico o humanístico.
Multimodalidad y especialización disciplinaria
Que varios modos interactúen no significa que todos puedan analizarse con una misma herramienta. La prosodia requiere fonética y fonología; la sintaxis, análisis gramatical; el gesto, métodos de estudio de la interacción y del movimiento. Una imagen puede necesitar teoría visual, una gráfica científica exige conocimiento estadístico y una interfaz digital obliga a comprender el diseño y el comportamiento del sistema. La multimodalidad plantea, por tanto, un problema de integración, que presupone describir primero con propiedad cada componente para estudiar después cómo se coordinan.
Intención, indicio y comunicación
No toda conducta interpretable es un acto deliberado de comunicación. Un temblor puede ser para el observador un indicio aunque no se haya producido para informar. Esta observación no refuta por sí sola el axioma según el cual no es posible no comunicar (Watzlawick et al., 1967), porque ese axioma usa una noción amplia de conducta con valor comunicativo dentro de una interacción. Un desacuerdo con él debe explicitar las definiciones en juego, porque cambiar de vocabulario no basta para refutar una teoría.
La conducta corporal tampoco garantiza un acceso privilegiado a la verdad. Si la palabra, la mirada y el tono parecen discrepar, el análisis debe registrar la discrepancia y examinar alternativas, sin suponer que el cuerpo corrige automáticamente al relato. Agregar modalidades, por último, no garantiza más exactitud, porque una señal puede aportar ruido o duplicar información contenida en otra. Toda mejora de este tipo exige una comparación empírica con una condición de referencia.
Síntesis
La comunicación humana y tecnológica rara vez depende de un único signo o de un único modo. Los significados se construyen en configuraciones en las que participan el lenguaje, la voz, el cuerpo, la imagen, el espacio, los objetos y las convenciones institucionales. Reconocer esa complejidad no autoriza, sin embargo, una interpretación ilimitada. Un enfoque riguroso distingue el texto del discurso y el modo del canal y del medio. Separa también la señal intencional del indicio interpretable, la discordancia multimodal de la prueba psicológica y la atribución de significado de la explicación causal.
Los marcos de los capítulos anteriores se complementan en este terreno. Una interfaz médica puede estudiarse de manera estructural, examinando sus oposiciones visuales, o con Peirce, distinguiendo sus iconos, índices y símbolos. La pragmática analiza qué acciones facilita, mientras la multimodalidad estudia cómo cooperan en ella el texto, el color, la posición y el sonido. Ningún marco reemplaza a los demás. La integración solo es legítima cuando se sabe qué aporta cada nivel.
La unidad de significación puede no coincidir con un único elemento, porque una palabra, un gesto y una orientación de la mirada pueden formar juntos una acción comunicativa. El análisis debe considerar, por eso, tanto los componentes como su sincronización. En la clínica, esta perspectiva mejora la descripción sin convertir los gestos en diagnósticos. También explica cómo participan las tablas y las figuras en el argumento científico. Permite, además, estudiar de qué modo el texto, la voz, el diseño y la temporalidad de una interfaz generan atribuciones de competencia o de agencia. Comprender una situación comunicativa exige identificar qué recursos participan, qué relaciones mantienen, qué contexto restringe su interpretación y qué evidencia justifica las inferencias que se hacen.
El capítulo 5 vuelve a una escala más analítica. Examina los niveles de análisis lingüístico, desde los sonidos y la estructura de las palabras hasta la sintaxis, la semántica y la pragmática, para establecer qué preguntas pertenecen a cada nivel y qué errores aparecen cuando se confunden.
Referencias
Bond, C. F., Jr., y DePaulo, B. M. (2006). Accuracy of deception judgments. Personality and Social Psychology Review, 10(3), 214–234. https://doi.org/10.1207/s15327957pspr1003_2
DePaulo, B. M., Lindsay, J. J., Malone, B. E., Muhlenbruck, L., Charlton, K. y Cooper, H. (2003). Cues to deception. Psychological Bulletin, 129(1), 74–118. https://doi.org/10.1037/0033-2909.129.1.74
Gibson, J. J. (1979). The ecological approach to visual perception. Houghton Mifflin.
Goffman, E. (1981). Forms of talk. University of Pennsylvania Press.
Goodwin, C. (2000). Action and embodiment within situated human interaction. Journal of Pragmatics, 32(10), 1489–1522. https://doi.org/10.1016/S0378-2166(99)00096-X
Grice, H. P. (1975). Logic and conversation. En P. Cole y J. L. Morgan (Eds.), Syntax and semantics 3: Speech acts (pp. 41–58). Academic Press.
Halliday, M. A. K. (1978). Language as social semiotic: The social interpretation of language and meaning. Edward Arnold.
Heider, F. y Simmel, M. (1944). An experimental study of apparent behavior. The American Journal of Psychology, 57(2), 243–259. https://doi.org/10.2307/1416950
Jewitt, C. (Ed.). (2009). The Routledge handbook of multimodal analysis. Routledge.
Kress, G. (2010). Multimodality: A social semiotic approach to contemporary communication. Routledge.
Kress, G. y van Leeuwen, T. (2006). Reading images: The grammar of visual design (2.ª ed.). Routledge.
Mondada, L. (2018). Multiple temporalities of language and body in interaction: Challenges for transcribing multimodality. Research on Language and Social Interaction, 51(1), 85–106. https://doi.org/10.1080/08351813.2018.1413878
Norris, S. (2004). Analyzing multimodal interaction: A methodological framework. Routledge.
van Leeuwen, T. (2005). Introducing social semiotics. Routledge.
Watzlawick, P., Beavin, J. H. y Jackson, D. D. (1967). Pragmatics of human communication: A study of interactional patterns, pathologies, and paradoxes. W. W. Norton.