{"id":22265,"date":"2023-11-20T03:00:54","date_gmt":"2023-11-20T03:00:54","guid":{"rendered":"https:\/\/domosistemas.com\/?p=22265"},"modified":"2023-11-20T03:00:54","modified_gmt":"2023-11-20T03:00:54","slug":"nueva-tecnica-que-permite-a-la-ia-de-los-dispositivos-perimetrales-seguir-aprendiendo-con-el-tiempo","status":"publish","type":"post","link":"https:\/\/domosistemas.com\/?p=22265","title":{"rendered":"Nueva t\u00e9cnica que permite a la IA de los dispositivos perimetrales seguir aprendiendo con el tiempo"},"content":{"rendered":"
\n

Un equipo de investigadores del MIT-IBM Watson AI Lab del Instituto Tecnol\u00f3gico de Massachussets (MIT<\/a>) ha desarrollado una t\u00e9cnica que permite que los modelos de aprendizaje profundo se adapten de manera eficiente a nuevos datos de sensores directamente en un dispositivo de borde. Denominado PockEngine, este m\u00e9todo de entrenamiento en el dispositivo determina qu\u00e9 partes de un enorme modelo de aprendizaje autom\u00e1tico deben actualizarse para mejorar la precisi\u00f3n, y solo almacena y calcula esas partes espec\u00edficas. Realiza la mayor parte de estos c\u00e1lculos mientras se prepara el modelo, antes del tiempo de ejecuci\u00f3n, lo que minimiza la sobrecarga computacional y aumenta la velocidad del proceso de ajuste.<\/p>\n

\"Red
PockEngine utiliza las capas necesarias para llevar a cabo el proceso de retropropagaci\u00f3n para acelerar el aprendizaje y disminuir el tiempo de entrenamiento.<\/figcaption><\/figure>\n

Los modelos de aprendizaje profundo se basan en redes neuronales, que comprenden muchas capas interconectadas de nodos, o neuronas, que procesan datos para hacer una predicci\u00f3n. Cuando se ejecuta el modelo, se produce un proceso llamado inferencia, una entrada de datos (como una imagen) se pasa de una capa a otra hasta que la predicci\u00f3n se genera al final. Durante la inferencia, ya no es necesario almacenar cada capa despu\u00e9s de procesar la entrada.<\/p>\n

Durante el entrenamiento y el ajuste, el modelo pasa por un proceso conocido como retropropagaci\u00f3n. En la propagaci\u00f3n hacia atr\u00e1s, el resultado se compara con la respuesta correcta y luego el modelo se ejecuta a la inversa. Cada capa se actualiza a medida que la salida del modelo se acerca a la respuesta correcta. Debido a que es posible que sea necesario actualizar cada capa, se debe almacenar todo el modelo y los resultados intermedios, lo que hace que el ajuste requiera m\u00e1s memoria que la inferencia.<\/p>\n

Uso de las capas necesarias<\/h2>\n

Sin embargo, no todas las capas de la red neuronal son importantes para mejorar la precisi\u00f3n, e incluso para las capas que son importantes, es posible que no sea requiera actualizar toda la capa. No es necesario almacenar esas capas y trozos de capas. Adem\u00e1s, es posible que no sea necesario volver a la primera capa para mejorar la precisi\u00f3n; el proceso podr\u00eda detenerse en alg\u00fan punto intermedio. PockEngine aprovecha estos factores para acelerar el proceso de ajuste y reducir la cantidad de computaci\u00f3n y memoria requerida.<\/p>\n

El sistema primero ajusta cada capa, una a la vez, en una tarea determinada y mide la mejora de la precisi\u00f3n despu\u00e9s de cada capa individual. De esta manera, PockEngine identifica la contribuci\u00f3n de cada capa, as\u00ed como las compensaciones entre precisi\u00f3n y costo de ajuste, y determina autom\u00e1ticamente el porcentaje de cada capa que necesita ajuste.<\/p>\n

Convencionalmente, el gr\u00e1fico de retropropagaci\u00f3n se genera durante el tiempo de ejecuci\u00f3n, lo que implica una gran cantidad de c\u00e1lculos. En cambio, PockEngine hace esto durante el tiempo de compilaci\u00f3n, mientras el modelo se prepara para la implementaci\u00f3n.<\/p>\n

PockEngine elimina fragmentos de c\u00f3digo para eliminar capas o fragmentos de capas innecesarios, creando un gr\u00e1fico reducido del modelo que se utilizar\u00e1 durante el tiempo de ejecuci\u00f3n. Luego realiza otras optimizaciones en este gr\u00e1fico para mejorar a\u00fan m\u00e1s la eficiencia. Dado que todo esto s\u00f3lo debe hacerse una vez, ahorra gastos computacionales durante el tiempo de ejecuci\u00f3n.<\/p>\n

Entrenamiento del modelo de aprendizaje produnfo m\u00e1s r\u00e1pido<\/h2>\n

Cuando aplicaron PockEngine a modelos de aprendizaje profundo en diferentes dispositivos perif\u00e9ricos, incluidos los chips Apple M1 y los procesadores de se\u00f1ales digitales comunes en muchos tel\u00e9fonos inteligentes y computadoras Raspberry Pi, se realiz\u00f3 el entrenamiento en el dispositivo hasta 15 veces m\u00e1s r\u00e1pido, sin ninguna p\u00e9rdida de precisi\u00f3n. PockEngine tambi\u00e9n redujo significativamente la cantidad de memoria necesaria para realizar ajustes.<\/p>\n

El equipo tambi\u00e9n aplic\u00f3 la t\u00e9cnica al modelo de lenguaje grande Llama-V2. Con modelos de lenguaje grandes, el proceso de ajuste implica proporcionar muchos ejemplos, y es crucial que el modelo aprenda c\u00f3mo interactuar con los usuarios. El proceso tambi\u00e9n es importante para los modelos encargados de resolver problemas complejos o razonar sobre soluciones.<\/p>\n

En el futuro, los investigadores quieren utilizar PockEngine para ajustar modelos a\u00fan m\u00e1s grandes dise\u00f1ados para procesar texto e im\u00e1genes juntos.<\/p>\n

La entrada Nueva t\u00e9cnica que permite a la IA de los dispositivos perimetrales seguir aprendiendo con el tiempo<\/a> aparece primero en CASADOMO<\/a>.<\/p>\n<\/div>\n","protected":false},"excerpt":{"rendered":"

Un equipo de investigadores del MIT-IBM Watson AI Lab del Instituto Tecnol\u00f3gico de Massachussets (MIT) ha desarrollado una t\u00e9cnica que permite que los modelos de aprendizaje profundo se adapten de manera eficiente a nuevos datos de sensores directamente en un dispositivo de borde. Denominado PockEngine, este m\u00e9todo de entrenamiento en el dispositivo determina qu\u00e9 partes … Sigue leyendo Nueva t\u00e9cnica que permite a la IA de los dispositivos perimetrales seguir aprendiendo con el tiempo<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-22265","post","type-post","status-publish","format-standard","hentry","category-casadomo-com"],"_links":{"self":[{"href":"https:\/\/domosistemas.com\/index.php?rest_route=\/wp\/v2\/posts\/22265","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/domosistemas.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/domosistemas.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/domosistemas.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/domosistemas.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=22265"}],"version-history":[{"count":0,"href":"https:\/\/domosistemas.com\/index.php?rest_route=\/wp\/v2\/posts\/22265\/revisions"}],"wp:attachment":[{"href":"https:\/\/domosistemas.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=22265"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/domosistemas.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=22265"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/domosistemas.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=22265"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}