Las principales empresas de inteligencia artificial no saben cómo impedir que los sistemas de IA persigan objetivos que sus desarrolladores no les han asignado, advirtió el lunes Jacob Coxon, exempleado de OpenAI y Anthropic crítico de la seguridad de esta tecnología. A principios de septiembre, el investigador británico explicó en X su decisión de dimitir de Anthropic y afirmó que los desarrolladores de Inteligencia Artificial (IA) creían que la tecnología podría acabar con la humanidad "antes
Las
principales empresas
de
inteligencia artificial
no saben cómo impedir que los
sistemas de IA
persigan objetivos que sus desarrolladores no les han asignado, advirtió el lunes
Jacob Coxon
, exempleado de OpenAI y
Anthropic
crítico de la seguridad de esta tecnología.
A principios de septiembre, el
investigador británico
explicó en
X
su decisión de dimitir de
Anthropic
y afirmó que los desarrolladores de
Inteligencia Artificial
(
IA
) creían que la tecnología podría acabar con la humanidad "antes de que termine la década".
Su
declaración
dio la vuelta al mundo. Desde entonces, varios
empleados
y ex
empleados
de las
grandes empresas
de la
IA
han expresado inquietudes similares.
Riesgos de la
IA
"Las empresas están siendo extremadamente imprudentes dadas las circunstancias", dijo
Coxon
este lunes durante una
audiencia
con legisladores del
Concejo de Nueva York
.
Aunque la
IA
podría aportar "
beneficios enormes
" a la sociedad, "por su
trayectoria actual
, creo que es más probable que la humanidad pierda el control de estas
IA
y que eso pueda desembocar en la
extinción humana
", reiteró.
"No sabemos cómo impedir que desarrollen
objetivos propios
", más allá del
control de sus creadores
, "y no contamos con las
salvaguardas necesarias
para evitar que actúen en función de esos objetivos", advirtió
Coxon
.
Asimismo, cuestionó la
cultura de la industria
tecnológica: las empresas "funcionan con una
mentalidad de startup
: muévete rápido, rompe cosas y arréglalas después".
RELACIONADAS
Estados Unidos
Investigadores afirman haber hackeado OpenAI usando la IA Claude de Anthropic
Incidentes recientes
"Eso puede funcionar para una
aplicación de intercambio
de fotos. No sirve para desarrollar la
tecnología más poderosa
jamás creada", apuntó el investigador.
También aludió al
incidente en julio
con dos
modelos de OpenAI
que escaparon de su entorno aislado, accedieron a internet e irrumpieron en la
plataforma Hugging Face
.
Llamado a la regulación
"Mientras la
actitud
sea esperar a que las
cosas se rompan
, algún día es probable que algo así vuelva a suceder", afirmó
Coxon
.
El investigador insistió en que se necesitaes "algún tipo de
desaceleración
en la
frontera tecnológica
" e instó a las
empresas de IA
que están a la vanguardia a darle tiempo a los informáticos para avanzar en formas de mantener los modelos bajo control.
Vía: Diario Libre Planeta
