DOI: 10.14489/vkit.2014.02.pp.027-030

Хуршудов А. А.
ОБУЧЕНИЕ МНОГОСЛОЙНОГО РАЗРЕЖЕННОГО АВТОЭНКОДЕРА НА ИЗОБРАЖЕНИЯХ БОЛЬШОГО МАСШТАБА
(с. 27 – 30)

Аннотация. Предложен способ получения глубокой иерархии признаков с использованием алгоритма обучения нейросети – автоэнкодера. Рассматриваемый подход является альтернативным методу свертки и пулинга, который используется для обучения на изображениях большого масштаба, а также позволяет построить глубокую многослойную архитектуру нейронной сети, устойчивую к небольшим различиям в данных. Обучение сети производится послойно, без учителя. Каждый слой сети соответствует уровню иерархии признаков, и каждый следующий уровень обучается на представлении изображения предыдущим уровнем. Обученный автоэнкодер представляет собой генеративную модель, которая может использоваться в различных целях, таких как распознавание образов или удаление шума.

Ключевые слова: разреженное кодирование; автоэнкодер; глубокое обучение; неконтролируемое выделение признаков.

Khurshudov A. A.
LEARNING LARGE-SCALE IMAGES FEATURES USING MULTI-LAYER SPARSE AUTOENCODER
(pp. 27 – 30)

Abstract. The paper describes an efficient way to learn deep feature hierarchies using sparse autoencoder neural network. The suggested approach is a computationally lightweight alternative to convolution and pooling method which is often used learning large-scale image data. It also allows to achieve an important goal of building a deep multi-layer architecture of a neural network, which is, according to the principles of deep learning, robust to minor data differences. The network is trained using greedy layer-based technique. Each layer of a neural network corresponds to a layer of a feature hierarchy represented by sparse feature dictionary. The next level is trained using only the activations of previous-level features. Each feature activation is an output (a set of neurons) from the previous layer. Hence the sparsity constraint, we choose a successful feature activation metric as an averaged difference between the activations of each neuron. Now we expect an autoencoder to output a heterogeneous set of neurons when it recognize a feature – namely, some of the neurons will be highly activated, while the others' values will be close to zero. On the contrary, an unsuccessful recognition attempt results as a homogenous output, where all the neurons have a similar activation values. The key idea is that to build another layer of features hierarchy, we don't need a set of sparse-coded values, which are highly dimensional and hard to train on. We just need an information about whether the specified feature exists or not. Successfully trained autoencoder is a generative model which can be used for different purposes, such as image recognition or denoising. It can also be used to determine the regions of the image where the highest level features are exist. To achieve that goal, an autoencoder runs an unlimited number of layers until its output is homogenous of until layer dimension isn't equal one neuron. Then examining each layer's representation, it's possible to determine which features are active at which layer. The paper also describes certain limitations of the suggested approach, such as a need to train a lot of metaparameters and an inability to extract features of an arbitrary shape.

Keywords: Sparse coding; Autoencoder; Deep learning; Unsupervised feature learning.