Anthropic tiene disponible un modelo de IA que no podemos probar. Se llama simplemente «Model 2», es aún más potente que Mythos 5 y, según la propia compañía, ofrece una «mejora apreciable» en muchas de las tareas que realizan internamente. No es un salto tan grande como el que hubo al lanzar Mythos Preview, pero para los responsables del mismo el modelo es demasiado potente para lanzarlo públicamente. Si esa historia os suena, es porque os tenía que sonar.
Un modelo que está construyendo el futuro. Anthropic indica que utiliza tanto Mythos 5 como Model 2 de forma intensiva en el ámbito de la ingeniería software, la programación, la generación de datos o el uso de agentes de IA persistentes dentro de sus flujo s de trabajo empresariales. Su informe llega a descubrirns que Claude ya escribe la mayoría del código que termina fusionándose en los repositorios de producción de Anthropic. Model 2 no está disponible públicamente, pero ya está ayudando a crear lo que vendrá próximamente.
No hay monstruos a la vista. La evaluación global de Anthropic sigue situando el riesgo de que el modelo cause daños graves en un nivel bajo. De hecho, durante la fase de aprobación para su uso interno, Anthropic no encontró que Model 2 tuviera peor alineamiento que Mythos 5. Aun así su estimación general de riesgo de «desalineamiento» en situaciones de alto impacto pasó de «muy bajo» a «bajo», en parte por la incertidumbre que han generado los últimos escándalos de ciberseguridad que hemos conocido en sus modelos o los de OpenAI.
Necesitamos mejores pruebas. La empresa también reconoce que tiene menos confianza que antes a la hora de sacar conclusiones sobre los riesgos que se derivan de estos nuevos modelos. El motivo es que varias evaluaciones concretas ya están saturadas: los modelos han mejorado tanto que esos benchmarks ya no sirven de mucho. Con Model 2 ni siquiera han ejecutado toda su batería de pruebas porque, sencillamente, no pretenden lanzarlo públicamente.
Modelos de IA engendrando modelos de IA. En ese informe Anthropic también plantea algo interesante e inquietante a partes iguales. Sus modelos están acelerando y haciendo que la velocidad a la que marchan tanto la investigación como el desarrollo de productos se incremente. No solo en software, sino en otras áreas como robótica, biotecnología, energía o semiconductores. No creen que ni Mythos 5 ni Model 2 puedan sustituir a sus investigadores , pero cuanto más trabajo de investigación hacen estos modelos, más fácil parece pensar que antes o después un nuevo modelo ayudará a entrenar y mejorar al siguiente.
El dilema de los modelos demasiado potentes. OpenAI está retrasando también su modelo de próxima generación, Astra, porque no ha podido descartar que sea demasiado capaz en el ámbito de la ciberseguridad. La tendencia es desde luego llamativa: las startups de IA están entrando en una fase en la que terminan de entrenar un modelo y luego tienen que decidir si conviene o no publicarlo. Hasta ahora en cuanto desarrollaban un nuevo modelo lo lanzaban, pero ahora aparece esa (necesaria) fase de evaluar y saber hasta dónde puede llegar el modelo antes de lanzarlo.
Todo va demasiado rápido. Anthropic no ha frenado el desarrollo, y sigue entrenando modelos más avanzados, pero las noticias que han llegado en las últimas semanas reflejan una situación paradójica. Aun considerando que el riesgo de desplegar un modelo es bajo, como en este caso, las empresas ya no tienen tan claro que deban lanzarlos por si acaso rompen algo. Y aquí aparece una nueva necesidad: necesitamos cada vez más saber con certeza que los modelos no van a pasarse de la raya antes de lanzarlos.
–
La noticia
Anthropic ha construido un modelo mejor que Mythos. También ha decidido que el mundo no pueda usarlo
fue publicada originalmente en
Xataka
por
Javier Pastor
.
