Deserciones y Decepciones: Acontecimientos Recientes en la Novela de OpenAI

El detrás del escenario de OpenAI es aún más interesante que sus productos. Ya Neurolab 23 le dedicó dos episodios a la fascinante historia, y aparentemente era solo la introducción. En el último mes ha pasado de todo, comenzando con la renuncia masiva del departamento conocido como “The Superalignment Team,” dedicado a velar por los riesgos que presenta la Inteligencia Artificial a largo plazo.
Pero antes de entrar en los últimos acontecimientos de la novela de OpenAI, es importante que estén al día con los episodios anteriores.

Este lo grabamos al momento del despido y posterior re-contratación de Sam Altman, CEO de OpenAI:

Y en este en realidad hablamos sobre WorldCoin, el maligno proyecto paralelo de Altman, pero Isha cuenta los orígenes de OpenAI y como traicionaron a Elon Musk:

Una vez dicho todo eso, vayamos a…

The Superalignment Team Denuncia a OpenAI

Primero renunció Ilya Sutskever, Co-fundador de la compañía. Él estuvo detrás del despido de Sam Altman, pero luego firmó la carta para que lo reinstaurarán. Luego, renunció  Jan Leike, investigador de OpenAI que explicó en un hilo de Twitter:

“Creo que deberíamos dedicar mucho más ancho de banda a prepararnos para las próximas generaciones de modelos, en seguridad, supervisión, preparación, protección, solidez frente a adversarios, (super)alineación, confidencialidad, impacto social y temas relacionados”.

Más adelante, acusó a OpenAI:


“En los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.

Otra que renunció fue Helen Toner, experta en políticas de IA y ex-miembro de la junta directiva de OpenAI. En entrevista con TedAI acusó a Sam Altman de retener información, tergiversar lo que ocurría en la empresa y de mentir descaradamente a la junta. No puede dar ejemplos concretos, pero afirma que “nos enteramos sobre ChatGPT en Twitter.

Al final del clip, Toner declara lapidariamente: “Los cuatro que le despedimos llegamos a la conclusión de que no podíamos creer las cosas que Sam nos contaba”. Aquí pueden escuchar el episodio completo, el cual Ted AI describe como:

“Si hay una empresa de IA que ha irrumpido con fuerza en el lenguaje vernáculo dominante, esa es OpenAI, la empresa detrás de ChatGPT. Helen Toner, antigua miembro de la junta directiva y experta en políticas de IA, se une a Bilawal para hablar de las lagunas de conocimiento existentes y los intereses contrapuestos entre quienes se encargan de crear la tecnología más avanzada y quienes elaboran nuestras políticas a nivel gubernamental”.

Estas lagunas de conocimiento nos llevan a…

El Derecho a Advertir

Antiguos empleados de OpenAI y Google DeepMind lanzaron una campaña para exigir el derecho de empleados de compañías similares a advertir sobre los peligros de la mal llamada Inteligencia Artificial. Entre los riesgos que identifican está “la pérdida de control de los sistemas autónomos de IA que podría provocar la extinción humana”. Yikes!

Luego aclaran:

“Confiamos en que estos riesgos puedan mitigarse adecuadamente con una orientación suficiente por parte de la comunidad científica, los responsables políticos y el público. Sin embargo, las empresas de IA tienen fuertes incentivos financieros para evitar una supervisión eficaz, y no creemos que unas estructuras de gobierno corporativo a medida sean suficientes para cambiar esta situación.”

En cuanto al problema que su campaña aspira solucionar, explican:

“Mientras no exista una supervisión gubernamental eficaz de estas empresas, los empleados actuales y antiguos son de las pocas personas que pueden hacerlas responsables ante el público. Sin embargo, los amplios acuerdos de confidencialidad nos impiden expresar nuestras preocupaciones, excepto a las propias empresas que pueden estar dejando de abordar estos problemas”.

Para apaciguar a las corporaciones pertinentes, prometen proteger “adecuadamente los secretos comerciales y otros intereses de propiedad intelectual”.

El Whistle-Blower de OpenAI

Este podcast del New York Times entrevistó a uno de los que firman la carta de la sección anterior. Así lo introducen:

“El whistle-blower de OpenAI Daniel Kokotajlo habla en una de sus primeras entrevistas públicas sobre por qué arriesgó casi 2 millones de dólares en acciones para advertir de lo que él llama la cultura imprudente dentro de esa empresa.”

Según Kokotajlo, miembro de la Junta de Seguridad de Despliegue de “sistemas de IA increíblemente potentes y peligrosos”, ellos tenían que ser consultados antes de desplegar cualquier sistema por encima de GPT-4. Mientras discutían los por menores, Microsoft desplegó el LLM (Gran Modelo Lingüístico) en India sin compasión. Aquí está el clip:

Ejerciendo el derecho a réplica, el futurista Dan Jeffries respondió:

“OpenAI hizo un extenso red teaming con GPT4, que documentaron en un fantástico documento, y tiene un montón de otras medidas de seguridad y protección en su lugar. Cualquiera que se moleste habitualmente por obtener un falso positivo en su “política de contenidos”, que es una superposición de software al modelo, puede ver sus medidas de seguridad en acción.”

Lo cual no responde a lo planteado por Kokotajlo, pero hey… En una cosa sí tiene razón, Kokotajlo no es un whistle-blower per se, pero ese error es del NYT.

El Conocimiento de la Situación

Según este blog, Leopold Aschenbrenner fue miembro del “ahora-disuelto Superalignment Team de OpenAI”. Y, según este artículo, era aliado de Ilya Sutskever y por eso lo despidieron. Ahora, según este artículo, Aschenbrenner solía trabajar para el FTX Future Fund y para el criminal de Sam Bankman-Fried. Saquen ustedes sus propias conclusiones.

En fin, a principios de Junio Aschenbrenner publicó el documento “Situational Awareness”, en el cual predice que la humanidad creará la superinteligencia para el 2027. También que “para el 2025/26, estas máquinas superarán a muchos licenciados universitarios”. Extremadamente optimista, el muchacho. 

En la introducción a su documento, sin embargo, se muestra más comedido:

“Hace unos años, estas personas eran tachadas de locas, pero confiaban en las líneas de tendencia, lo que les permitió predecir correctamente los avances de la IA en los últimos años. Queda por ver si también aciertan en los próximos años. Pero son personas muy inteligentes, las más inteligentes que he conocido, y son las que están construyendo esta tecnología. Quizá sean una extraña nota a pie de página en la historia, o quizá pasen a la historia como Szilard, Oppenheimer y Teller. Si están viendo el futuro de una forma siquiera cercana a la correcta, nos espera un viaje salvaje.”

En las conclusiones, por otro lado, muestra ego por pertenecer y una actitud que raya en ser un fanboy de las mentes detrás de la inteligencia artificial.

“En este momento, hay quizás unos pocos cientos de personas en el mundo que se dan cuenta de lo que está a punto de golpearnos, que entienden lo locas que están a punto de volverse las cosas, que tienen conciencia de la situación. Probablemente conozco personalmente o estoy a un grado de separación de todos los que podrían dirigir El Proyecto. Las pocas personas entre bastidores que están tratando desesperadamente de evitar que las cosas se desmoronen son tú y tus amigos y sus amigos. Eso es todo. Eso es todo lo que hay.”

Otra de sus advertencias es que EEUU no puede parar la investigación porque de hacerlo, la Inteligencia Artificial caería en manos del Partido Comunista Chino. 

Otra forma de ver el asunto, sin embargo, sería que estos Gran Modelos Lingüísticos lo que muestran es que solo una mínima parte de lo que compone la inteligencia humana requiere capacidades de cómputo demenciales y cientos de granjas de servidores trabajando tiempo extra. Pero hey…

OpenAI Contrata a un Ex-Director del NSA

Como suele suceder en estos casos, el OpenAI de Sam Altman se quitó la careta y contrató a Paul Nakasone, ex-General de la Armada yankee y ex-director del NSA. No solo eso, Nakasone es ahora parte de la Junta Directiva y se une al Comité de Seguridad y Protección.

Cabe destacar que en Marzo, cuando Altman volvió triunfante a la compañía, OpenAI formó una nueva Junta Directiva. Larry Summers, ex-Secretario del Tesoro de EEUU, es parte de ella. Con estos dos personajes a bordo, ¿ya podemos considerar a OpenAI como una agencia gubernamental? ¿O estamos exagerando?

Antes de contestar, consideren lo que escribió el whistle-blower más famoso hasta ahora, Edward Snowden:

“Nunca confíen en OpenAI o en sus productos (ChatGPT etc). Sólo hay una razón para nombrar a un Director del NSA a su junta. Esto es una traición deliberada y calculada de los derechos de cada persona en la Tierra. Has sido advertido.”

¿Está Snowden exagerando? Y en cualquier caso, ¿a qué se refiere con “sólo hay una razón para nombrar a un Director del NSA a su junta”? Saquen sus propias conclusiones.

El Nuevo Proyecto de Ilya Sutskever

¿Acaso creían que Ilya se iba a quedar de brazos cruzados? El Co-fundador de OpenAI se saltó la Inteligencia Artificial General AKA Artificial General Intelligence o AGI y pasó directo a la Superintelligencia. El nuevo proyecto de Sutskever se llama Safe Superintelligence Inc. y también cuenta con los talentos de Daniel Gross y Daniel Levy.

Como era de esperarse, su declaración de objetivos es completamente opuesta a OpenAI:

“Nuestro enfoque singular significa que no hay distracciones por gastos de gestión o ciclos de productos, y nuestro modelo de negocio significa que la seguridad, la protección y el progreso están aislados de las presiones comerciales a corto plazo.”

Importante para los ingenieros e investigadores allá afuera, SSI está reclutando talento:

“Estamos reuniendo un equipo ágil y agrietado de los mejores ingenieros e investigadores del mundo dedicados a centrarse en SSI y nada más.”

Los interesados pueden contactar a Ilya y compañía por aquí.

Y hasta ahí va la novela hasta ahora, aunque está avanzando tan rápido que no podemos asegurar que no ha pasado nada nuevo mientras montábamos el post y subíamos las fotos. 

En fin, Neurolab 23, siempre a la vanguardia.

Necesitamos tu apoyo y tu ayuda para alimentar los algoritmos, sin embargo. 

Siguenos en YouTube, Instagram, y Tik Tok.
Deja comentarios. Escríbenos y te contestaremos.
Bookmarkea esta página web y visítala a menudo.

El robot esqueleto de Terminator 2, representando a Skynet en este artículo sobre OpenAI