Máquina de Turing neuronal

Máquina de Turing Neuronal

Una máquina de Turing neuronal (MTNs) es un modelo de red neuronal recurrente publicado por Alex Graves en 2014. Las MTNs combinan la capacidad para búsqueda de patrones fuzzy, propia de las redes neuronales, con el poder algorítmico de los ordenadores programables. Una MTN tiene un controlador de red neuronal suplementado con otros recursos en memoria externa, los cuales interactúan con la red. Las interacciones de memoria son diferenciables end-to-end, haciendo posible optimizarlas utilizando descenso de gradiente.^[1]​ Una MTN con un controlador de memoria a corto y largo plazo (por las siglas en inglés, LSTM) puede inferir algoritmos sencillos como copiar, ordenar, y recuerdos asociativos a través de ejemplos de entradas y salidas.^[2]​

Los ordenadores neuronales diferenciables son un tipo concreto de máquina neuronal de Turing, con mecanismos de atención que controlan dónde es activa la memoria, y mejoran el rendimiento.^[3]​

Funcionamiento

Una NTM está formada por dos componentes: un controlador de red neuronal típico y una matriz de memoria con la que interactúa. Como en la mayoría de redes neuronales, el controlador se comunica con el usuario mediante vectores de entrada y salida. Estos vectores de salida son los que sirven para parametrizar las operaciones de lectura y escritura sobre la memoria, y se les llama "cabezas".

Estas operaciones de lectura y escritra son de tipo borroso, de este modo se puede entrenar la red usando descenso de gradiente. Estas operaciones no actúan solo sobre un elemento en la memoria; en su lugar interactúan con todos los elementos que hay alojados, centrando la mayor parte de su atención en un número reducido de elemento e interactuando levemente con el resto. El grado en el que las operaciones actúan sobre elementos concretos de la memoria, mientras ignoran el resto, viene determinado por un mecanismo de enfoque de atención.

La localización de la memoria en la que se enfoca está determinada por un sistema de distribución de peso. Estos pesos vienen determinados por una salida de datos de las cabezas y definen el grado en el que se lee o escribe en cada posición.^[2]​

Referencias

1. «Deep Minds: An Interview with Google's Alex Graves & Koray Kavukcuoglu». Consultado el 17 de mayo de 2016. 
2. Graves, Alex; Wayne, Greg; Danihelka, Ivo (2014). «Neural Turing Machines». arXiv:1410.5401  [cs.NE]. 
3. Administrator. «DeepMind's Differentiable Neural Network Thinks Deeply». www.i-programmer.info. Consultado el 20 de octubre de 2016.