Las redes neuronales profundas han permitido maravillas tecnológicas que van desde el reconocimiento de voz hasta la transición de máquinas a la ingeniería de proteínas, pero su diseño y aplicación, no obstante, carecen de principios. El desarrollo de herramientas y métodos para guiar este proceso es uno de los grandes desafíos de la teoría del aprendizaje profundo. En Ingeniería inversa del kernel de tangente neuronal, proponemos un paradigma para llevar algún principio al arte del diseño de la arquitectura utilizando avances teóricos recientes: primero diseñe una buena función de kernel, a menudo una tarea mucho más fácil, y luego «ingeniería inversa» una equivalencia de net-kernel para traducir el kernel elegido en una red neuronal. Nuestro principal resultado teórico permite el diseño de funciones de activación desde los primeros principios, y lo usamos para crear una función de activación que imita el rendimiento de la red profunda (textrm) con solo una capa oculta y otra que supera ampliamente el rendimiento de la ( textrm) redes en una tarea sintética.
Kernels de vuelta a las redes. Los trabajos fundamentales derivaron fórmulas que mapean desde amplias redes neuronales hasta sus núcleos correspondientes. Obtenemos un mapeo inverso, que nos permite partir de un núcleo deseado y convertirlo nuevamente en una arquitectura de red.
