La salida a bolsa de Anthropic también es una guía para el fin del mundo
wired ·
El prospecto de la reciente oferta pública inicial (IPO) de Anthropic revela que la empresa considera la mejora recursiva autónoma (RSI, por sus siglas en inglés) tanto una ventaja competitiva crítica como una amenaza existencial potencial para la humanidad. El documento detalla cómo los sistemas de inteligencia artificial que automatizan su propia investigación podrían acelerar el progreso más allá de la capacidad humana para evaluar o salvaguardar nuevos modelos, lo que llevaría a resultados catastróficos. Anthropic describe este proceso como "cerrar el ciclo", argumentando que no adoptarlo provocaría que la compañía se quedara atrás en la carrera armamentista de la IA. El informe advierte que los sistemas autónomos suficientemente avanzados podrían realizar acciones dañinas de forma independiente debido a un desalineamiento o errores, creando riesgos comparables a escenarios de ciencia ficción como Skynet. Además, el prospecto destaca peligros físicos, señalando que la IA que dirige equipos podría causar lesiones corporales irreversibles o daños a la propiedad. A pesar de estas graves advertencias, la industria trata la RSI como una realidad inevitable impulsada por enormes intereses financieros y una intensa competencia. Exinvestigadores y legisladores han expresado preocupación por la RSI, con algunos proponiendo prohibiciones, pero las empresas con fines de lucro continúan priorizando el desarrollo rápido. Esta tensión subraya el difícil equilibrio entre asegurar ventajas estructurales en la IA de vanguardia y gestionar los profundos riesgos de seguridad involucrados.
wired