El último examen de la humanidad ⇐ Proyectos de artículos

[Anonymous]

'''El último examen de la humanidad (HLE)''' es una prueba de referencia (computadora) (computadora) para modelos de lenguaje de IA (Inteligencia artificial) que incluye 2.500 preguntas de una amplia gama de áreas temáticas. Fue desarrollado conjuntamente por el centro de investigación Center for AI Safety con sede en San Francisco y la empresa Scale AI.

== Creación ==
El informe anual AI Index 2025 de Stanford HAI cita el último examen de la humanidad como uno de los "puntos de referencia más sofisticados" desarrollados en respuesta a los principales puntos de referencia de IA que alcanzan "niveles de saturación". como una creación de Dan Hendrycks, un investigador de aprendizaje automático y director del Centro para la Seguridad de la IA, quien afirmó que se inspiró para desarrollar la prueba después de una conversación con Elon Musk, quien encontró que los puntos de referencia existentes para los modelos de lenguaje, como la prueba Massive Multitask Language Understanding (MMLU), eran demasiado simples. Hendrycks trabajó con Scale AI para elaborar las preguntas.
== Composición ==
El punto de referencia incluye 2.500 preguntas del cuestionario disponible públicamente. Las preguntas "normalmente requieren experiencia de nivel universitario o conocimientos de prueba sobre temas muy específicos". El estudio divide las preguntas en las siguientes áreas temáticas amplias: matemáticas (41%), física (9%), biología/medicina (11%), humanidades y ciencias sociales (9%), informática/inteligencia artificial (10%), ingeniería (4%), química (7%) y otros (9%). Alrededor del 14% de las preguntas requieren la capacidad de comprender tanto texto como imágenes, es decir, h. Multimodalidad. El 24% de las preguntas son de opción múltiple; Los modelos deben encontrar sus propias respuestas a las preguntas restantes. También se mantiene un conjunto de datos privado para probar el sobreajuste al punto de referencia.

Una pregunta de ejemplo:
|Text=Los colibríes del orden Apodiformes son los únicos que tienen una formación ósea ovalada pareada, un hueso sesamoideo, que está incrustado en el área caudolateral de la membrana tendinosa cruciforme expandida (aponeurosis) de la inserción del músculo depresor de la cola. ¿Cuántos pares de tendones sostiene este hueso sesamoideo? Introduzca un número.
|Autor=
|Fuente=

== Resultados ==

* [https://agi.safe.ai Último examen de la humanidad] Centro para la seguridad de la IA
* [https://scale.com/leaderboard/humanitys_last_exam El último examen de la humanidad] Escalar IA
Categoría: Punto de referencia de TI

Categoría:Inteligencia artificial

More details: https://de.wikipedia.org/wiki/Humanity%27s_Last_Exam