Por qué la IA no puede solucionar una estrategia a partir de una encuesta imprecisa

Un buen diseño de encuesta comienza contigo: la IA simplemente lo hace más rápido si la usas correctamente.

por Adam Berinsky

---

La esencia

• Mejorar en la entrada significa mejor en la salida. Insumos sólidos, como preguntas fiables y material de referencia, ayudan a los LLM a producir borradores de encuestas de clientes más precisos y útiles.
• El contexto moldea los resultados. Las indicaciones vagas confunden a la IA de la misma manera que confunden a las personas. Las preguntas específicas generan resultados más precisos y relevantes.
• La IA es un aliado. Tratar las herramientas generativas como colaboradores, en lugar de como atajos, conduce a un trabajo más útil y centrado en el ser humano.

Utilizar una herramienta de IA generativa como ChatGPT es muy similar a formular una buena pregunta en una encuesta. En ambos casos, se trata básicamente de una conversación. Sin embargo, se trata de una conversación muy estructurada en la que se espera obtener un determinado resultado. Y, al igual que en el diseño de encuestas de clientes, la forma en que se formula una pregunta a ChatGPT suele tener un gran impacto en la respuesta obtenida.

El uso estratégico de modelos de lenguaje extenso (LLM) puede ayudar a los diseñadores de encuestas a agilizar e incluso mejorar su trabajo. Sin embargo, si los investigadores no se toman el tiempo para aprender las mejores maneras de impulsar estas herramientas, obtendrán resultados deficientes.

Como todos, sigo aprendiendo a optimizar el uso de los LLM. (Y, al parecer, las herramientas evolucionan a diario). Pero estas son las lecciones que he aprendido hasta ahora sobre cómo usarlas para diseñar mejores encuestas.

Comience con mejores datos para sus encuestas de clientes

Recientemente, necesité resumir una de mis charlas en una entrada de blog, y recurrí a Claude (el LLM Antrópico que muchos prefieren para tareas de escritura) para generar un primer borrador. Pero en lugar de empezar desde cero, incorporé al modelo mis diapositivas, algunos capítulos relevantes de mi libro e incluso algunas entradas de blog sobre temas no relacionados para asegurarme de que Claude pudiera imitar mi voz y estilo. Si bien no presenté el borrador de Claude como copia final, me sirvió como punto de partida para mi propio borrador. 

Lo mismo puede aplicarse a las encuestas. Pero, al igual que con una entrada de blog, no deberías empezar el proceso sin pensarlo dos veces. En su lugar, introduce materiales del LLM, como preguntas de encuesta, de una fuente confiable como Pew Research Center. Cuanto mejores sean tus aportaciones, mejores serán tus resultados.

Enfoque sus indicaciones para sus encuestas de clientes

Este es un área donde el diseño de encuestas y la inteligencia artificial se complementan. Si le haces a un encuestado una pregunta vaga como “¿Cómo estás hoy?”, eso da lugar a muchas interpretaciones erróneas.

Lo mismo ocurre al generar preguntas para un LLM como ChatGPT o Claude. Estas herramientas están diseñadas para brindar una respuesta incluso si carecen del contexto o la información necesarios (un fenómeno conocido popularmente como “alucinación”), y llenarán cualquier vacío con información superflua. En lugar de pedirle a un LLM que escriba preguntas de encuesta sobre la confianza en la atención médica, pídale al modelo que diseñe una pregunta sobre la confianza de las personas en sus médicos de atención primaria, utilizando una escala Likert de siete puntos.

Definir el destino

Con demasiada frecuencia, las personas llegan a un Máster en Derecho (LLM) con solo una vaga idea de lo que buscan, confían en que el modelo de IA haga el trabajo por ellos y luego se marchan decepcionados con el resultado final. Pero si no sabes adónde vas, la IA no puede ayudarte a conseguirlo.

He descubierto que las indicaciones “negativas”, en las que se le indica a la herramienta de IA qué no debe hacer, pueden ser extraordinariamente útiles. Por ejemplo, si te preocupa que una pregunta pueda inducir sutilmente a los encuestados a una respuesta determinada, puedes indicarle al modelo: “Evita usar palabras que sugieran una experiencia positiva (o negativa)”.

Conviértalo en una conversación

Como mencioné antes, tanto las encuestas como los chats de LLM son básicamente conversaciones. Pero, a diferencia de las encuestas, las herramientas de IA permiten un intercambio continuo. Aprovecha esto. Si ChatGPT o Claude no te ofrecen lo que buscas, explícale al modelo qué falla. 

Es cierto que algunos días parece que los modelos de IA están fuera de lugar o incluso son obstinados. Pero a menudo, un seguimiento o redirección puntual puede reencauzar la conversación.

Utilice la IA donde sea útil

A medida que trabajes con herramientas de IA, aprenderás más sobre sus puntos fuertes y débiles. Una vez, durante una semana ajetreada, intenté usar un LLM para generar el resumen de un artículo. Cuando se lo envié a un colega, me dijo que claramente lo había escrito un robot. Por eso, no uso herramientas de IA para escribir mis resúmenes. Pero si necesito recortar 50 palabras de un borrador demasiado largo, recurro directamente a ChatGPT.

Haga que la IA califique su propio trabajo

¿Conoces esa sensación que tienes cuando llevas tanto tiempo trabajando en un proyecto que ya no lo ves? La cosa se vuelve aún más borrosa cuando has estado trabajando en algo con IA y ni siquiera recuerdas qué ideas fueron tuyas y cuáles te sugirió el Máster en Derecho.

En este caso, puedes simplemente dejar que el modelo de IA evalúe su propio trabajo, quizás usando una encuesta de referencia como referencia de calidad. Pero te advierto: he descubierto que las herramientas de IA a veces otorgan altas calificaciones al trabajo realizado por IA, incluso cuando la calidad no es la necesaria. Puedes usar la plataforma para proporcionar retroalimentación inicial, pero tendrás que tomar la decisión final.

A medida que los modelos de lenguaje de gran tamaño se vuelven más sofisticados , la forma en que diseñamos y llevamos a cabo estudios de campo evoluciona rápidamente. Herramientas como ChatGPT y Claude ofrecen nuevas oportunidades para optimizar los flujos de trabajo, probar supuestos y elevar la calidad de la investigación. Sin embargo, para alcanzar su máximo potencial, los investigadores deben desarrollar un nuevo nivel de habilidades que incluya, pero vaya más allá, de los métodos tradicionales. Técnicas como la ingeniería rápida se están volviendo esenciales para guiar eficazmente los resultados de la IA, y mantenerse a la vanguardia requerirá formación y adaptación continuas.

El diseño de encuestas siempre ha sido un arte y una ciencia. En esta nueva era, también exige fluidez en la colaboración con herramientas inteligentes.

Resumen de lecciones clave: Cómo diseñar mejores encuestas con IA generativa

Nota del editor: Esta tabla describe los errores comunes y las mejores prácticas al utilizar LLM como ChatGPT o Claude para respaldar el diseño de encuestas de clientes.

Error o desafío	Práctica recomendada	Por qué es importante
Comenzando con una entrada pobre o vaga	Proporcionar materiales de referencia de alta calidad (por ejemplo, encuestas anteriores, fuentes confiables)	Las entradas más fuertes ayudan a los LLM a imitar la voz, el tono y la precisión, lo que produce borradores más útiles.
Uso de indicaciones no enfocadas	Sea específico: limite el tema, la audiencia y el formato (por ejemplo, “confianza en los médicos de atención primaria”)	Las indicaciones vagas conducen a “alucinaciones” o resultados genéricos de bajo valor.
No establecer expectativas claras	Defina instrucciones tanto positivas como negativas, incluyendo lo que se debe evitar.	Ayuda a orientar la IA hacia resultados imparciales y específicos y evita respuestas sesgadas.
Tratar la IA como una solución única	Participe en una conversación iterativa: haga seguimiento, aclare y corrija el rumbo según sea necesario	Los LLM mejoran con la retroalimentación; el intercambio ayuda a refinar la calidad
Mal uso de la IA para tareas que no maneja bien	Identificar dónde la IA es más fuerte (por ejemplo, recortar texto, redactar ideas) y dónde tiene dificultades (por ejemplo, escribir resúmenes matizados)	Conocer las limitaciones de las herramientas garantiza la calidad y ahorra tiempo
Perdiendo la noción de las contribuciones de la IA frente a las humanas	Haga que la IA califique su salida en comparación con los puntos de referencia estándar, pero revísela manualmente	La IA puede sobrevalorar su propio trabajo; el juicio humano sigue siendo esencial
Confiar únicamente en habilidades obsoletas	Desarrollar habilidades de ingeniería rápidas y continuar aprendiendo a medida que evoluciona la IA	El diseño de encuestas ahora requiere fluidez en cómo colaborar con herramientas inteligentes

Acerca del autor

Adán Berinsky Es Profesor Mitsui de Ciencias Políticas en el MIT y director del Laboratorio de Investigación de Experimentos Políticos del MIT (PERL). Además, es profesor afiliado del Instituto de Datos, Sistemas y Sociedad (IDSS) e instructor principal del curso de Educación Profesional del MIT, ” Comunicación Efectiva a través de Encuestas e Investigación de Mercado”.

Fuente: https://www.vktr.com/digital-experience/why-ai-cant-fix-a-vague-survey-strategy/