El logro de que una computadora aprenda tiene dos problemas, uno epistemológico y otro heurístico.
El problema epistemológico es el de definir el espacio de conceptos que el programa puede aprender.
El problema heurístico es el de los algoritmos para el aprendizaje.
El problema heurístico de los algoritmos para aprendizaje ha sido estudiado con interés y el problema epistemológico ha sido ignorado la mayor parte de las veces.
El diseñador de un sistema que aprende consigue que su programa opere con un conjunto de conceptos fijo y limitado. Si se sigue solo ese curso de acción, los programas nunca llegarán a adquirir la generalidad del nivel humano para aprender. (McC59) indica
una computadora no puede aprender aquello que no se le puede decir
Tendríamos que corregir esta limitación, tal como lo sugiere Murray Shanahan. Tendríamos que decir que solamente puede aprender lo que puede expresar en el lenguaje con el cual hemos equipado al sistema. Para aprender muchos conceptos importantes, debe tener más que un conjunto de pesos. Tanto en (MR94) como en (BM95) se presenta algun progreso en el aprendizaje dentro de un lenguaje lógico.