Learning Radial Basis Function Neural Networks with Noisy Input-Output Data Set
Apprentissage de Réseaux de Neurones à Fonctions Radiales de Base avec un Jeu de Données à Entrée-Sortie Bruitées
OPEN ACCESS
This paper deals with the problem of learning radial basis function neural networks to approximate non linear L2 function from Rd to R. Hybrid algorithms are mostly used for this task. Unsupervised learning techniques are used to estimate the center and width parameters of the radial functions and supervised learning techniques are used to estimate the linear parameters. Supervised learning techniques are generally based on the least squares (LS) estimates (or criterion). This estimator is optimal when the training set (zi, yi)i=1,2,..,q is composed of noisy outputs yi, i =1,..,q and exactly known inputs zi, i =1,..,q. However, when collecting the experimental data, it is seldom possible to avoid noise when measuring the inputs zi. The use of least squares estimator produces a biased estimation of the linear parameters in the case of noisy input output training data set, which leads to an erroneous output estimation. This paper proposes the use of an estimation procedure based on the error in variables model to estimate the linear parameters (for supervised learning) when the training set is made up of input and output data corrupted by noise. The geometrical interpretation of the proposed estimation criterion is given in order to illustrate its advantage with respect to the least squares criterion. The improved performances in non linear function approximation is illustrated with a simulation example.
Résumé
Cet article traite du problème de l'apprentissage des réseaux de neurones à fonctions radiales de base pour l'approximation de fonctions non linéaires L2 de Rd vers R. Pour ce type de problème, les algorithmes hybrides sont les plus utilisés. Ils font appel à des techniques d'apprentissage non supervisées pour l'estimation des centres et des paramètres d'échelle des fonctions radiales, et à des techniques d'apprentissage supervisées pour l'estimation des paramètres linéaires. Les méthodes d'apprentissage supervisées reposent généralement sur l'estimateur (ou le critère) des moindres carrées (MC). Cet estimateur est optimal dans le cas où le jeu de données d'apprentissage (zi, yi)i=1,2,..,q est constitué de sorties yi, i =1,..,q bruitées et d'entrées zi, i =1,..,q exactes. Cependant lors de la collecte des données expérimentales il est rarement possible de mesurer l'entrée zi sans bruit. L'utilisation de l'estimateur des MC produit une estimation biaisée des paramètres linéaires dans le cas où le jeux de données d'apprentissage est à entrées et sorties bruitées, ce qui engendre une estimation erronée de la sortie. Cet article propose l'utilisation d'une procédure d'estimation fondée sur le modèle avec variables entachées d'erreurs pour l'estimation des paramètres linéaires (pour l'apprentissage supervisé) dans le cas où le jeux de données d'apprentissage est à entrées et sorties bruitées. L'interprétation géométrique du critère d'estimation proposé est établie afin de mettre en évidence son avantage relativement au critère des moindres carrés. L'amélioration des performances en terme d'approximation de fonctions non linéaires est illustrée sur un exemple.
Radial basis function neural networks, error in variables model, non linear approximation.
Mots clés
Réseaux de neurones à fonctions radiales de base, modèle avec variables entachées d'erreurs, approximation non linéaire.
[1] S. Chen, and S. A. Billings, « Neural networks for nonlinear system modelling and identification », International Journal of Control, Vol. 56, pp. 319-346, 1992.
[2] K. Hornick, M. Stinchcombe, and H. White, « Multilayer feedforward networks are universal approximators », Neural Networks, Vol. 2, pp. 359366, 1989.
[3] J. Parks, and I. W. Sandberg, « Universal approximation using radial-basis function networks », Neural Computation, Vol. 3, pp. 246-257, 1991.
[4] S. chen, « Nonlinear time series modeling and prediction using Gaussian RBF networks with enhanced clustering and RLS learning », IEEE Signal Processing Letters, Vol. 31, pp. 117-118, 1995.
[5] S. Fabri and V. Kadirkamanathan, « Dynamic structure neural networks for stable adaptive control of nonlinear systems », IEEE Transaction on Neural Networks, Vol. 7, pp. 1151-1167, 1996.
[6] D. L. Yu, J. B. Gomm and D. Williams, « Sensor fault diagnosis in a chemical process via RBF neural networks », Control Engineering and Practice, Vol. 7, pp. 49-55, 1999.
[7] S. Lee and R .M. Kil, « A Gaussian potential function network with hierarchically self-organizing learning », Neural Networks, Vol. 4, pp. 207224, 1991.
[8] J. E. Moody, and C. J. Darken, « Fast learning in networks of locally-tuned processing units », Neural Computation, Vol. 1, pp. 281-294, 1989.
[9] J. K. Tungnait and Y. Ye, « Stochastic system identification with noisy input-output measurements using polyspectra », IEEE Transaction on Signal Processing, Vol. 40, pp. 670-683, 1995.
[10] V. Krishnamurthy and A. Logothetis, « Iterative and recursive estimators for hidden markov errors in variables models », IEEE Transaction on Signal Processing, Vol. 44, pp. 639-629, 1996.
[11] W. Abraham, « The fitting of straight lines if both variables are subject to error », Annals of Mathematical Statistics, Vol. 11, pp. 284-300, 1940.
[12] J. Van Gorp, J. Schoukens and R. Pintelon, « Learning neural networks with noise inputs using the errors in variables approach », IEEE Transaction on Neural Networks, Vol. 11, pp. 402-414, 2000.
[13] J. Sietsma and R. Dow, « Creating artificial neural networks that generalize », Neural Networks, Vol. 4, pp. 67-79, 1991.
[14] K. Matsuoka, « Noise injection into inputs in back-propagation learning », IEEE Transactions on Neural Networks, Vol. 22, pp. 436-440, 1992.
[15] C. M. Bishop, « Training with noise is equivalent to Tikhonov regularization », Neural Computation, Vol. 7, pp. 108-116, 1995.
[16] N. W. Townsend and L. Tarassenko, « Estimations of error bounds for RBF networks », IEE Artificial Neural Networks, Vol. 7, pp. 227-232, 1997.
[17] A. K. Seghouane, « Choix de structures de modèles pour traitement robuste », Thèse de Doctorat, Université Paris Sud, Orsay, décembre 2002.
[18] N. B Karayiannis, « Reformulated radial basis neural networks trained by gradient descent », IEEE Transactions on Neural Networks, Vol. 10, pp. 657-671, 1999.
[19] Z. Uykan, C. Guzelis, M. E. Celebi and H. N. Koivo, « Analysis of inputouput clustering for determining centers of RBFN », IEEE Transactions on Neural Networks, Vol. 11, pp. 851-858, 2000.
[20] J. Barry, D. Li Yu, « Selecting radial basis function network centers with recursive orthogonal least squares training », IEEE Transactions on Neural Networks, Vol. 11, pp. 306-314, 2000.
[21] S. Geman, E. Bienenstock and R. Doursat, « Neural networks and the bias/variance dilemma », Neural Computation, Vol. 4, pp. 1-58, 1992.
[22] S. D. Hodges and P. G. Moore, « Data uncertainties and least squares regression », Applied Statistics, Vol. 21, pp. 185-195, 1972.
[23] J. Pfanzagl, « On the measurability and consistency of minimum contrast estimates », Metrika, Vol. 14, pp. 247-276, 1969.
[24] P. M. Reilly, and H. P. Leal, « A Bayesian study of the error-in-variables model », Technometrics, Vol. 23, pp. 221-231, 1981.