{"id":25250,"date":"2024-08-06T02:00:17","date_gmt":"2024-08-06T02:00:17","guid":{"rendered":"https:\/\/domosistemas.com\/?p=25250"},"modified":"2024-08-06T02:00:17","modified_gmt":"2024-08-06T02:00:17","slug":"el-mit-y-mit-ibm-watson-ai-lab-crean-un-metodo-de-calibracion-de-modelos-linguisticos-de-gran-tamano","status":"publish","type":"post","link":"https:\/\/domosistemas.com\/?p=25250","title":{"rendered":"El MIT y MIT-IBM Watson AI Lab crean un m\u00e9todo de calibraci\u00f3n de modelos ling\u00fc\u00edsticos de gran tama\u00f1o"},"content":{"rendered":"
\n

Los modelos ling\u00fc\u00edsticos de gran tama\u00f1o a veces generan respuestas inexactas, al tiempo que pueden tener demasiada confianza en las respuestas incorrectas o poca confianza en las correctas, lo que hace que sea dif\u00edcil para un usuario saber cu\u00e1ndo se puede confiar en un modelo. Los investigadores del Instituto Tecnol\u00f3gico de Massachussets (MIT<\/a>) y del MIT-IBM Watson AI Lab han presentado un m\u00e9todo de calibraci\u00f3n adaptado a modelos ling\u00fc\u00edsticos de gran tama\u00f1o.<\/p>\n

\"MIT\"
Los investigadores han descubierto que si se entrena un modelo de Thermometer para un LLM m\u00e1s peque\u00f1o se puede aplicar directamente para calibrar un LLM m\u00e1s grande.<\/figcaption><\/figure>\n

Su m\u00e9todo, llamado Thermometer, implica la construcci\u00f3n de un modelo auxiliar m\u00e1s peque\u00f1o que se ejecuta sobre un modelo ling\u00fc\u00edstico de gran tama\u00f1o para calibrarlo. El Thermometer es m\u00e1s eficiente que otros m\u00e9todos, ya que requiere menos computaci\u00f3n que consume mucha energ\u00eda, al tiempo que preserva la precisi\u00f3n del modelo y le permite producir respuestas mejor calibradas en tareas que no ha visto antes.<\/p>\n

Al permitir una calibraci\u00f3n eficiente de un modelo de lenguaje grande (LLM)\u00a0para una variedad de tareas, Thermometer podr\u00eda ayudar a los usuarios a identificar situaciones en las que un modelo conf\u00eda demasiado en predicciones falsas, lo que en \u00faltima instancia les impide implementar ese modelo en una situaci\u00f3n en la que pueda fallar.<\/p>\n

Calibraci\u00f3n de los modelos LLM<\/h2>\n

La calibraci\u00f3n de un modelo LLM suele implicar tomar muestras del modelo varias veces para obtener diferentes predicciones y luego agregarlas para obtener una mayor fiabilidad. Sin embargo, como estos modelos tienen miles de millones de par\u00e1metros, los costos computacionales de estos enfoques aumentan r\u00e1pidamente.<\/p>\n

Con Thermometer, los investigadores desarrollaron una t\u00e9cnica vers\u00e1til que aprovecha un m\u00e9todo de calibraci\u00f3n cl\u00e1sico llamado escala de temperatura para calibrar eficientemente un LLM para una nueva tarea. En este contexto, una temperatura es un par\u00e1metro de escala que se utiliza para ajustar la confianza de un modelo para que est\u00e9 en consonancia con la precisi\u00f3n de su predicci\u00f3n. Tradicionalmente, se determina la temperatura correcta utilizando un conjunto de datos de validaci\u00f3n etiquetados de ejemplos espec\u00edficos de la tarea.<\/p>\n

Dado que los LLM suelen aplicarse a nuevas tareas, los conjuntos de datos etiquetados pueden resultar casi imposibles de adquirir. En lugar de utilizar un conjunto de datos etiquetado, los investigadores entrenan un modelo auxiliar que se ejecuta sobre un LLM para predecir autom\u00e1ticamente la temperatura necesaria para calibrarlo para esta nueva tarea.<\/p>\n

Utilizan conjuntos de datos etiquetados de algunas tareas representativas para entrenar el modelo del Thermometer. Una vez entrenado puede generalizarse a nuevas tareas en una categor\u00eda similar sin la necesidad de datos etiquetados adicionales.<\/p>\n

El modelo del Thermometer solo necesita acceder a una peque\u00f1a parte del funcionamiento interno del LLM para predecir la temperatura correcta que calibrar\u00e1 su predicci\u00f3n para los puntos de datos de una tarea espec\u00edfica.<\/p>\n

Entrenamiento de un LLM peque\u00f1o para un LLM m\u00e1s grande<\/h2>\n

Es importante destacar que la t\u00e9cnica no requiere m\u00faltiples ejecuciones de entrenamiento y solo reduce ligeramente la velocidad de respuesta. Adem\u00e1s, dado que el escalamiento de temperatura no altera las predicciones de un modelo, Thermometer conserva su precisi\u00f3n.<\/p>\n

Cuando compararon el Thermometer con varias l\u00edneas de base en m\u00faltiples tareas, produjo consistentemente medidas de incertidumbre mejor calibradas y requiri\u00f3 mucho menos c\u00e1lculo. Los investigadores tambi\u00e9n descubrieron que, si entrenan un modelo de Thermometer para un LLM m\u00e1s peque\u00f1o, se puede aplicar directamente para calibrar un LLM m\u00e1s grande dentro de la misma familia.<\/p>\n

En el futuro, quieren adaptar Thermometer para tareas de generaci\u00f3n de texto m\u00e1s complejas y aplicar la t\u00e9cnica a LLM a\u00fan m\u00e1s grandes. Los investigadores tambi\u00e9n esperan cuantificar la diversidad y la cantidad de conjuntos de datos etiquetados que se necesitar\u00edan para entrenar un modelo Thermometer para que pueda generalizarse a una nueva tarea.<\/p>\n

La entrada El MIT y MIT-IBM Watson AI Lab crean un m\u00e9todo de calibraci\u00f3n de modelos ling\u00fc\u00edsticos de gran tama\u00f1o<\/a> aparece primero en CASADOMO<\/a>.<\/p>\n<\/div>\n","protected":false},"excerpt":{"rendered":"

Los modelos ling\u00fc\u00edsticos de gran tama\u00f1o a veces generan respuestas inexactas, al tiempo que pueden tener demasiada confianza en las respuestas incorrectas o poca confianza en las correctas, lo que hace que sea dif\u00edcil para un usuario saber cu\u00e1ndo se puede confiar en un modelo. Los investigadores del Instituto Tecnol\u00f3gico de Massachussets (MIT) y del … Sigue leyendo El MIT y MIT-IBM Watson AI Lab crean un m\u00e9todo de calibraci\u00f3n de modelos ling\u00fc\u00edsticos de gran tama\u00f1o<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-25250","post","type-post","status-publish","format-standard","hentry","category-casadomo-com"],"_links":{"self":[{"href":"https:\/\/domosistemas.com\/index.php?rest_route=\/wp\/v2\/posts\/25250","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/domosistemas.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/domosistemas.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/domosistemas.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/domosistemas.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=25250"}],"version-history":[{"count":0,"href":"https:\/\/domosistemas.com\/index.php?rest_route=\/wp\/v2\/posts\/25250\/revisions"}],"wp:attachment":[{"href":"https:\/\/domosistemas.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=25250"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/domosistemas.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=25250"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/domosistemas.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=25250"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}