Learning higher-order correlations and symmetries using a periodic activation function
İkili yüksek dereceli açılım serisindeki her terimin, periyodik aktivasyon fonksiyonu kullanılması durumunda, standart toplama, sinir hücresi tarafından gerçekleştirilebileceği gösterilmiştir, iyi genelleme elde edilebilmesi için ağırlıkların belirli değerlere kuantize edilmesi gereği gösterilmiştir. Bu hücrelerden oluşan ve mümkün olan en az sayıda hücre içeren çokkatmanlı ileri beslemeli ağlar, verilerdeki yüksek dereceli ilişkileri ve simetrileri öğrenme yeteneğine sahiptir. Ağın mantıksal bir fonksiyonu öğrenmedeki karmaşıklığı, kombinatoryal olarak artan yüksek dereceli terim sayısı yerine, fonksiyonun gerçekleştirilebilmesi için gereken en az terim sayısıyla orantılıdır.
Yüksek dereceli ilişkilerin ve simetrilerin periyodik aktivasyon fonksiyonu kullanarak öğrenilmesi
We show that bipolar monomials in the higher-order expansion series can be implemented by a standard linear summing unit if a periodic activation function is used. If the associated weights are quantized to certain integrally related values then the unit can implement any, but only one, of the monomials. Since the nonlinear interactions among the input components are incorporated implicitly by the activation function itself, the unit is invariant to the implementation of problems with the same underlying symmetry. Here, two problems are considered to have the same symmetry if they can be derived from each other by a linear transformation and translation of the input space. Consequently, multilayer feedforward networks employing as few of these units as possible at the hidden layer become capable of capturing higher-order correlations and symmetries within the training data. The network's complexity in learning a logical function is not specified by the exponentially increasing number of monomials, but by the minimal number of monomials required for the implementation of the logical function.
