¿Qué tan precisa es la aplicación Watson Personality Insights de IBM?

Solía ​​leer mi horóscopo todos los días. Más que todos los días, en realidad. Buscaría y leería por lo menos tres horóscopos diferentes todos los días (generalmente incluyendo al menos un horóscopo “chino”). Una vez que las lecturas gratuitas de las cartas del tarot y las runas estuvieran en línea, las haría. Si estuviera pensando, tal vez, en salir con alguien como George Clooney o Johnny Depp (en mis sueños delirantes no muy infrecuentes), de vez en cuando haría una compatibilidad de celebridades de biorritmo en línea y vería qué surgía de eso, también. Mire, es un mejor descanso que escabullirse por un cigarrillo o un Starbucks, y francamente, fui un poco compulsivo en buscar señales sobre mi destino. Necesitaba algunas rutinas y administración de proyectos personalizada en mi vida. Por un tiempo, me di cuenta de que los horóscopos y las pruebas de personalidad (incluso Myers-Briggs (MBTI) eran predictores al menos tan efectivos y confiables como el análisis técnico y de gráficos en el mercado de valores, pero eso no es ni aquí ni allá.

Así que, al igual que cualquier prueba de Buzzfeed que aparece en mi feed de Facebook, cuando vi la Aplicación de Personalidad Watson de IBM, entré en ella. Probé no menos de cinco de mis respuestas de Quora, todas con un mínimo de 1000 palabras y una con la longitud recomendada de más de 2000 palabras. Accidentalmente probé una respuesta dos veces y obtuve una puntuación ligeramente (pero no significativamente diferente). Fui tan lejos como para hacer una hoja de cálculo de Excel, y estaba pensando en convertir la información en una tabla elegante e infografía (“todo acerca de Marie y Watson”) pero luego decidí que había perdido mi mente y debería dejar de divertirme tanto. .

Mis resultados fueron, simplemente, en todo el mapa. Aunque regularmente voy a museos y aberturas de galerías de arte, colecciono arte, salivado del diseño en todas sus formas, tengo un Máster en Bellas Artes y cuento con varios artistas como mis buenos amigos, mis resultados con respecto a la característica de personalidad de los Cinco Grandes El “interés artístico” varió desde cero (desde una respuesta técnica sobre 401 (K) y herencia) hasta un 90% (una respuesta sobre la experiencia de ser entrevistado para un podcast).

El rango más estrecho y consistente de Big Five se encontró en mi rasgo de “simpatía”, que se registró de 97% a 100% en los 5 (o 6, si contamos la respuesta que se envió accidentalmente dos veces). Todo lo demás obtuvo una puntuación desde cero hasta los 100 puntos porcentuales completos, generalmente dentro de un rango de 40 puntos o más, sin mucha rima o razón aparentes en las diferentes respuestas. Ningún rasgo en la sección de “necesidades” o “valores” tenía un conjunto apretado comparable al rasgo de simpatía, incluso después de eliminar los máximos y mínimos como posibles valores atípicos.

En términos del resumen, dependía de la muestra de escritura:

  • no convencional y genial
  • empático, calmado, tranquilo
  • Social, bullicioso, y puede ser percibido como compulsivo.
  • despreocupado con la tradición; independiente
  • astuto y escéptico
  • despreocupado de disfrutar la vida o el disfrute personal
  • Desinteresado y no motivado por la independencia.
  • bullicioso, expresivo y excitable.
  • sincera, algo insensible y escéptica
  • despreocupado con el art.

Mis elecciones fueron impulsadas por:

  • un deseo de autoexpresión
  • un deseo de organizacion
  • un deseo de juerga
  • Un deseo de bienestar.

No vi ninguna definición de los diversos rasgos, valor o cualidades (¿qué es “conservación” de todos modos?) En la documentación, pero no leo API o código o lo que sea, muy mal. No obstante, hubo algunas observaciones que se hicieron realidad, aparentemente, y solo porque los términos puedan parecer contradictorios no significa que no puedan coexistir y aplicarse dentro de la misma personalidad. Al principio, pensé que tal vez el análisis se aplicaba más a los “rasgos de personalidad” de la escritura en lugar del escritor, pero ahora no estoy tan seguro. Yo diría que tal vez realmente no se aplica a mucho en absoluto.

Y estoy bien con eso. Si la herramienta se usa para determinar cómo personalizar las apelaciones de marketing o publicitar productos solo para mí para que pueda realizar una compra, o para que las empresas los utilicen para manipular y persuadir mejor a otros (“Al derivar las preferencias sociales y cognitivas, el servicio ayuda a los usuarios a comprender, conectarse y comunicarse con otras personas en un nivel más personalizado “, prefiero seguir adivinando. Pero, de nuevo, tal vez estoy leyendo demasiado en ello.

La personalidad no puede ser juzgada a menos que sea contra otra personalidad.

Aún más:
– ¿Qué hay de alguien que miente?
– ¿Qué hay de decir las palabras de otra persona, por ejemplo, copiar y pegar de un libro?
– ¿Y si la persona es engañosa y psicótica?
– ¿Qué tal alguien que está muy deprimido en este momento?
– ¿Qué tal alguien que acaba de tomar una gran cantidad de cocaína y está “en la cima del mundo”?
– ¿Qué tal alguien que acaba de regresar de un funeral?
– ¿Qué tal alguien que es extranjero y solo habla inglés básico, aunque puede hablar otros 6 idiomas con fluidez?
– ¿Qué tal alguien que es manipulador?

Algunas razones más por las que esto no funcionará.
– Es juzgar el texto, no la persona.
– No tiene en cuenta la edad ni el género.
– La cultura no se tiene en cuenta.
– No solicita información personal, tampoco puede verificarla.
– No se puede distinguir entre diferentes estados emocionales y estados de ánimo.
– Se está juzgando “intelecto” basado en vocabulario solo. Un escritor de novelas aparecerá inteligente contra un experto en química.

Ahora que vamos a la psiquiatría, ¿qué hay de los trastornos de personalidad declarados? ¿O son esos diferentes tipos de personalidad de los que estamos hablando?

Si los resultados de Watson se hubieran creado con un generador de números aleatorios, ¿se podría saber uno después de verlos?

Esta es una idea estúpida y tampoco funcionó bien con el texto que presenté.

Esto era como un horóscopo. Sigue leyendo esos hasta que encuentres uno que se sienta bien. De manera similar, la mayoría de las evaluaciones para mis respuestas fueron incorrectas, pero esta está en el objetivo. Supongo que el aspecto positivo de esto es que Watson no podría determinar qué contenido escribí anónimamente.

Esta máquina sabe cómo halagar

  • Eres social y generoso.
  • Usted es asertivo: tiende a hablar y hacerse cargo de las situaciones, y se siente cómodo liderando grupos.
  • Eres empático: sientes lo que los demás sienten y son compasivos hacia ellos.
  • Y eres sociable: disfrutas estar en compañía de otros.
  • Tus elecciones son impulsadas por un deseo de modernidad.
  • Está relativamente poco preocupado por la tradición: le importa más hacer su propio camino que seguir lo que otros han hecho.
  • Considera lograr el éxito para guiar una gran parte de lo que hace: busca oportunidades para superarse y demuestra que es una persona capaz.

Fuente para eso: la respuesta de Leonid S. Knyshov a ¿Cómo puede un desarrollador independiente que vive en un país como India obtener clientes en un país como Estados Unidos?

Creo que la mayoría de las respuestas aquí han pasado por alto el punto de vista del servicio de percepción de la personalidad de IBM Watson. Es un enfoque basado en la PNL para encontrar decenas de individuos en algunas de las escalas bien establecidas en psicología como Big 5, Valores y necesidades básicas de los seres humanos. Entonces, cuando esos números llegan usando los cuestionarios estándar o mediante el análisis de texto realizado por Watson, son estadísticamente bastante cercanos. En ese sentido, Watson es definitivamente muy preciso. En lo que respecta a la interpretación de esos resultados, eso está más allá del alcance del alcance actual de Watson y es más bien una pregunta para el psicólogo. Si yo fuera un miembro del equipo de IBM Watson, realmente no habría dado la interpretación y preferiría solo dar las puntuaciones y dejar que las personas las interpretaran.

Si pienso en qué tan precisa fue la información sobre la personalidad cuando se lanzó por primera vez en comparación con la versión que veo ahora, tengo que preguntarme qué se ha hecho para “mejorarla”.

Solía ​​pensar que en realidad era muy preciso en función del texto que se consumía.

Pude ver cómo los enlaces entre lo que se había ingerido como un extracto textual lingüístico o un conjunto de diálogos y la salida que se produjo y visualizó al final del proceso podrían llegar a su destino.

El potencial de esta API ha sido algo mal vendido y tergiversado hasta tal punto que estoy realmente decepcionado con el lugar en el que terminó y con el que podría haber llegado y aún podría terminar.

Sigue siendo una idea fantástica y el uso de datos lingüísticos y modelos / teorías de personalidad que se comercializan para su uso de manera limitada frente al potencial que existe.

En estos días, cuando hablo de ello, realmente no aprovecho este potencial debido al mal uso por parte de personas que simplemente no entienden lo que realmente está haciendo y cómo funciona.

También me disgusta la forma en que ahora funciona la capacidad de demostración; y la visualización de salida que crea. Prefiriendo en cambio la profundidad y la flexibilidad de las demostraciones anteriores a las que tuvimos acceso como IBMers

Lo probé en dos muestras. Resultados?
¿Sabes esa cosa llamada astrología? Sí.
Mi calificación de Watson: ardiente, melancólica, cohibida, simpatía.
El único problema es que estaba escribiendo sobre ciencia y era objetivo y no excitable.
Calificación: impredecible, más falta que golpe.

Mi conjetura es que el servicio es útil para analizar las consultas y quejas de los clientes, para evaluar su naturaleza y clasificarlas en contenedores como ‘nutcase’ ‘royal royal’ ‘enojado clase media’ ‘.

Probablemente es correcto entre el 75 y el 85%, pero esa parte que está mal es bastante incorrecta. Está fuera de contexto y todavía está aprendiendo. Le ayudará a entender mejor la información que tiene sobre usted, pero si su persona en línea es diferente de la vida real, solo muestra su personalidad en línea, lo que puede ser divertido manipular.

Esto me parece más un troll para negocios y no una pregunta legítima. Veo que el texto de demostración está tan inclinado que la herramienta no podía fallar, pero cuando usé parte de mi texto, el resultado fue menos espectacular.