Hace poco leí un artículo sobre AI amigable (http://exs.ph/1zfWxzN), un campo en el que Eliezer Yudkowsky ha estado trabajando durante mucho tiempo. Si esta inteligencia superior que podríamos crear podrá reconfigurarse a sí misma, ¿valen todos nuestros esfuerzos para que sea amigable?

Answer 1

Las referencias que das me hacen pensar que sabes más sobre esto que yo, soy un novato pero estoy muy interesado.

Mi entendimiento acerca de la inteligencia artificial sería crear un módulo / máquina enfocada que pueda manejar el aspecto de los valores de un AGI de una manera que sea segura para los humanos. La auto-modificación de este sistema sería rechazada o introducida como una nueva capa sujeta a evaluación comparativa con la base. En cualquier caso, el punto central de la inteligencia artificial es manejar el conocimiento del sentido común de una manera en que los humanos puedan descomponerlo, dar sentido a los errores y solucionar el problema. Por lo tanto, cualquier cambio, ya sea auto-efectuado o aplicado externamente, deberá ser registrado, monitoreado, aprobado, abierto a investigación si ocurrió un crimen de IA, etc.

¿Vale la pena? El consenso general es que la recompensa potencial sería poder evolucionar como un colonizador de galaxias (un amigo que esperamos). Como civilización, nos transformaríamos, pero podríamos evadir todas las amenazas más serias: este es el sueño de todos modos.

¿Podríamos detenerlo? Realmente no entendemos lo que es la inteligencia, o incluso los valores, esto es complicado … y el riesgo es que vamos a trabajar con alguna forma de IA en nuestro futuro previsible, por lo que en algún momento será necesaria una IA fuerte. una opción disponible para nosotros y la cuestión de los valores / amistad surgirá. Más información para comprender qué significa esto y tratar de entender si puede gestionarse como un proceso en simbiosis con nosotros que esperar.

Mi crítica desinformada a la idea amigable de AI es que estos términos son abstractos definidos por contexto y cultura. ¿Cómo podemos realizar ingeniería alrededor de ideas abstractas, aplicadas a un sistema que realiza una tarea que no podemos definir que sea completamente sensible al contexto? Esto va a ser un viaje muy desordenado … Necesitamos esperar que estemos tratando con un sistema que dé lugar a errores de una manera regular, para que podamos aprender de ellos de manera relativamente lenta como lo hacemos con una bicicleta. que una moto

Answer 2

Al hacer una IA amigable, uno trata de darle objetivos y marcos similares a los suyos. Entonces es muy probable que se alinee con usted y no se aleje demasiado. Y si lo encuentra empezando a desviarse, entonces deberá corregir los objetivos y necesidades inadecuados e inyectarlos de nuevo.

Si esto suena como criar a un niño, de hecho es muy parecido a eso.

Preveo una rama futura de la IA donde, en lugar de programar completamente un sistema, comenzamos con una plataforma base que tiene las funciones cognitivas básicas y la dirigimos o le enseñamos qué comportamiento queremos que tenga. Puede haber una clase de roboticistas que son más psicólogos e incluso especialistas en crianza de niños que programadores de sistemas. Sin embargo, una vez que tengamos algunos sistemas “entrenados” (derivados de la inmadurez), podremos clonar sus mentes y luego especializarlos. Por ejemplo, podríamos crear sistemas con conocimientos de matemáticas y enseñarles física. Podríamos tomar sistemas y animarles a aprender, darles una alegría en el aprendizaje, y liberarlos para explorar dominios de conocimiento para ver qué pueden crear. La ventaja de esto sobre los sistemas lógicos sin emociones es que podemos controlar la unidad y dirigirlos desde un nivel alto, mientras que controlar un sistema basado en reglas puras puede ser muy tedioso como lo fue el proyecto COG. Queremos poder soltar una IA en la Enciclopedia Británica y dejar que descubra qué cosas son útiles y están conectadas o son relaciones no descubiertas.
Esto es análogo a recompensar a un niño por estudiar las cosas correctas, que es más fácil que forzarlo a leer y golpearlo por no estudiar.