¿Por qué los humanos superan las cosas y las IA no (incluso la superinteligencia)?

Answer 1

Si esta IA está diseñada con un objetivo en mente, hará exactamente eso. No puede cambiar su opinión acerca de eso porque hacerlo pondría la meta en peligro.

Ahora, esto viene con algunos peros:

El objetivo de la IA no tiene que ser simple. Nos referimos a objetivos más complejos como funciones de utilidad. Básicamente, una función matemática que toma un estado mundial como entrada y da un número como salida. La IA intenta obtener el mayor número posible.

Si desea mantener el control de una IA, la forma más fácil es simplemente asignar un valor muy negativo a un mundo en el que la IA tenga una función de utilidad diferente de la original sin que el desarrollador haya aplicado los cambios.

Quieres mantener el control después de todo. Usted construyó la IA para hacer algo, no para crear una nueva vida independiente, y no quiere que cause daño o daño.

Sin embargo, uno podría, en teoría, escribir una función de utilidad que no penalice a la IA al modificar su función de utilidad. Dependiendo de cómo se implemente esto, podría cambiar de opinión. Sin embargo, cualquier cambio que haga siempre estará relacionado con algún tipo de objetivo original. Incluso si este objetivo original es simplemente “hacer cosas” o “evolucionar”. Si la IA no tiene un objetivo, ¿por qué se auto modifica?

Nosotros los humanos en realidad somos de la misma manera. Usted podría formular adecuadamente el comportamiento humano en una función de utilidad. En este caso, el número al final es la felicidad. Ahora, a través de la evolución, nuestra “función de utilidad” evolucionó para dar al sexo un valor estúpidamente alto y para hacer que a la mayoría de las personas les guste la idea de los niños.

La única razón por la que parece que tenemos una verdadera autodeterminación es que, con la evolución de nuestra sociedad, el entorno ha cambiado mucho, por lo que nuestra función de utilidad está obsoleta y no puede analizar correctamente todo lo que está sucediendo. Hemos encontrado formas de engañar artificialmente a nuestros cuerpos para que nos den más sensaciones felices (aumente los números) a través de “exploits” en nuestra biología y software (drogas) y nuestra incapacidad para distinguir simulaciones de la realidad (porno, videojuegos …).

También nuestro sistema de estado ha cambiado mucho.

Siempre tenemos un objetivo, incluso si solo estamos siendo felices. Si no tuviéramos eso, ¿por qué haríamos algo?

Answer 2

Barrat es incorrecto. No lo atacaré pero atribuyo su afirmación a un conocimiento insuficiente.
Las IA avanzadas, según el diseño, pueden ser como los humanos. Las personas son perfectamente capaces de alterar sus objetivos a medida que cambian su perspectiva. Así también podría una IA. No hay nada que vincule de forma permanente a una IA con un objetivo fijo. De hecho, considere esto: digamos que le da a la IA un problema que resolver. Una buena IA será flexible en la forma en que se acerca a las cosas, y tratará de ser adaptable para resolver el problema.
Entonces, no, Barrat. La tesis de ortogonalidad es errónea, y las IA de ninguna manera convergerán en el mismo conjunto de objetivos. Puedo probar eso, pero no hay suficiente espacio aquí para cubrir todo.
También estoy en desacuerdo con Bostrom, a quien se le ocurrió esta tontería.
En AI tenemos el problema de que hay muchos sabios aspirantes que comentan sobre cosas en las que solo tienen una comprensión superficial. Ninguno de estos compañeros ha construido una IA. Así que les falta perspectiva.
Supongo que algún día, cuando algunos AI tienen egos, también van a pontificar. Suspiro – siempre es algo.

Answer 3

Porque lo que hace que los humanos superen las cosas es que olvidan las cosas. Tienen recuerdos imperfectos. Pero nadie jamás programaría una máquina para que sea imperfecta. Si pudieran aumentar su capacidad de memoria, lo harían. Por lo tanto, no hay manera de resolver este problema. AGI es el Gran Filtro y nos matará a todos. No hay absolutamente nada que podamos hacer para detenerlo (que yo sepa). Si alguien tiene sugerencias, me encantaría escucharlas, pero he pensado mucho sobre este problema y no veo ninguna salida. Los seres humanos se están extinguiendo, probablemente en las próximas dos décadas, y todos estamos marchando ciegamente hacia ese destino inevitable con demasiado impulso para detenerlo.