A UTILIZAÇÃO DE AGENTES INTELIGENTES NO APRIMORAMENTO DO ENSINO A DISTÂNCIA

1.  Resumo

A educação a distância (EAD) é uma realidade mundial que apresenta como uma de suas principais características ter seu desenvolvimento atrelado ao avanço de novas tecnologias computacionais, uma vez que os aprendizes desta modalidade de ensino-aprendizagem frequentemente necessitam do uso do computador na grande maioria de suas atividades. Neste presente trabalho busca-se qualificar e comparar através da análise de sentido exploratória e descritivas, realizadas em três sistemas inteligentes específicos, quais são as potencialidades que softwares com inteligência artificial (IA) possuem, no sentido de promover melhorias e aprimoramentos nesta forma de ensino. Como resultados deste trabalho constatou-se haver elevado crescimento cientifico-tecnológico na área da criação de sistemas de software com níveis satisfatórios de inteligência artificial (IA), em que funcionado como tutores artificiais on-line através da internet, ou diretamente instalados nas maquinas dos alunos, funcionam como professores assistentes, ou seja, estes tutores inteligentes que já promovem ajudam significativa a estudantes que estudam e utilizam ambientes EAD. Portanto, constatamos que a incorporação de softwares inteligentes em ajuda a alunos do ensino a distância, pode realmente contribuir em incrementos de melhorias na EAD.

Palavras-chave: Educação, Distância, Software, Inteligência, Artificial.

2. Abstract

Distance Education (EAD) is a global reality that presents as one of its main characteristics have its development linked to the advancement of new computational technologies, since the apprentices of this modality of teaching-learning Often require the use of the computer in the vast majority of its activities. This paper seeks to qualify and compare through the analysis of exploratory and descriptive sense, carried out in three specific intelligent systems, what are the potentialities that software with artificial intelligence (AI) possess, in to promote improvements and improvements in this form of teaching. As results of this work, there was high scientific- technological growth in the area of software systems creation with satisfactory levels of artificial intelligence (AI), in which it functioned as artificial tutors online through the Internet, or directly installed on the students machines, function as assistant teachers, that is, these intelligent guardians who already promote meaningful help to students who study and use EAD environments. Therefore, we found that the incorporation of intelligent software to help students from distance learning can actually contribute in increments of improvement in EAD.

Key-worlds: Education, Distance, Software, Intelligence, Artificial.

3. INTRODUÇÃO

A educação a distância (EAD) tem passado por várias transformações no decorrer especialmente destas últimas décadas, isto devido a intensa transformação tecnológica que vem ocorrendo dentro dos ambientes sociais humanos, como também dentro dos sistemas de ensino em suas formas gerais. Portanto, ao falarmos ou debatermos sobre EAD, obrigatoriamente temos que falar sobre inovações tecnológicas ora existentes.

Baseado em seu grande crescimento, que de acordo com o censo da educação superior de 2016, do INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS

EDUCACIONAIS (2016), enquanto o ensino presencial teve queda anual de 0,08% nas matrículas, o ensino a distância (EAD) teve expansão de 7,2%. Concorda-se também que junto com este crescimento nasceram vários problemas e também algumas barreiras para se transpor, surgindo assim a necessidade de buscar-se soluções para tais circunstâncias problemáticas que assim se estabeleceram.

Estudos revelam, segundo (NÓR, 2018), que 31% das 341 instituições entrevistadas durante o estudo feito pelo censo, aumentariam seus investimentos em formações totalmente on-line em 2017.

Uma das grandes dificuldades existentes na EAD, ocorrendo de forma assíncrona ou síncrona, é o fato de não se conhecer de maneira efetiva a real condição de aprendizagem dos alunos (aprendizes), ou seja, em virtude de uma natural distância, não existe uma posição ou um status adequado de quão instruído está ou não determinado aluno.

Desta forma criar ferramentas que tenham a capacidade de trabalhar e melhorar estes problemas é de fundamental importância para o andamento da educação a distância sendo, portanto, uma condição bastante apropriada para a utilização de técnicas, como as advindas da inteligência artificial (IA) em auxilio direto a EAD, uma vez que sabido esta modalidade de ensino é uma realidade plenamente efetiva, servido como boa alternativa de colocação de todas as camadas da sociedade em condição igualitária de estudar e se qualificar.

A inteligência artificial (IA) ainda se constitui como um dos grandes paradigmas humanos que vem sendo largamente debatido e estudado conceitualmente desde a década de 1930 do século passado, sem que até mesmo nos dias atuais possua uma definição consensual, em termos de verdade cientifica, como é a sua divisão em IA forte e fraca.

Mas também é verdade que a IA já se constituiu em uma ciência de resultados expressivamente constatados e com eficácia comprovada em muitas áreas do desenvolvimento humano, como é a área da educação, ou de forma mais restrita, do ensino e aprendizagem.

Portanto, a EAD já vem usufruindo de muitos benefícios que a IA tem incorporado a sociedade humana, pois “Através da IA, os ambientes virtuais de aprendizagem EAD evoluíram em importantes aspectos para a aprendizagem: a facilidade do uso, interação com usuário, disponibilidade de feedback para tutor e diminuição da necessidade de encontros presenciais” (KERCKHOVE, 2003 apud SEMENSATO; FRANCELINO; MALTA, 2015, p. 35).

Cabendo a ressalva segundo Jess (2004, p. 15) que afirma, “A incorporação das novas tecnologias no processo de ensino-aprendizagem só faz sentido se contribuir para a melhoria da qualidade do mesmo”.

Desta forma a presença em si só de novas tecnologias não vem a ser uma garantia real de uma melhor qualidade da educação sendo, portanto, que necessariamente haja um mover prático e experimental das melhores e possíveis condições de utilização das novas tecnologias.

Portanto, quando comparamos e observamos os avanços da IA, verificamos que seus benefícios na área de ensino e aprendizagem são mensuráveis e comprovados, como é o caso dos STI´s (Sistemas Tutorias Inteligente).

STI´s são programas de computador que já se encontram presentes em vários cenários de ensino a distância (EAD) existentes no mundo, e que fazendo uso da IA dentro de um sistema devidamente preparado, vem proporcionando uma maior interação entre professores e alunos.

Historicamente sistemas inteligentes ou STI´s (Sistemas Tutorias Inteligente) nascem por volta da década de 60, em meio a própria autoafirmação da IA como ciência, vindo estes a si popularizarem em meados da década de 80. Assim, pode-se afirmar que:

Os Sistemas Tutores Inteligentes (STI) nascem então como iniciativa no intento de tratar as falhas dos sistemas gerativos e podem ser vistos como CAI´s inteligentes dos anos 80. Esta iniciativa foi beneficiada pelo trabalho dos pesquisadores de Inteligência Artificial (IA), que tinham uma permanente preocupação em buscar a melhor forma de representação do conhecimento dentro de um sistema inteligente (JESS, 2004, p. 41).

4. MOTIVAÇÃO

Nesse cenário de crescimento da EAD e evolução dos sistemas que fazem uso da IA, deseja-se neste trabalho demonstrar-se que agentes inteligentes devidamente implementados em sistemas computacionais locais e remotos, comportam-se como tutores em uma simulação aproximada daquilo que vem a ser o trabalho humano de tutoria, portanto, neste sentido pretende-se apresentar em termos comparativos as possíveis virtudes de três sistemas inteligentes quando atuando no apoio do ensino a distância (EAD).

4.1. TEMA

Contribuição de sistemas tutorias inteligentes (STI´s) no apoio a educação a distância (EAD).

5. PROBLEMA

O uso de softwares inteligentes, ou sistemas inteligentes (STI´s) baseados em inteligência artificial (IA) podem proporcionar ajuda real a alunos da EAD? O que são os agentes inteligentes cuja função está voltada para o trabalho de tutoria?

5.1. Objetivo Geral

O objetivo principal que buscamos neste trabalho, é o de determinar por meio de uma comparação detalhada a partir de dados de uma revisão bibliográfica e também experimentais feitas em três sistemas, a eficácia do uso de agentes tutores inteligentes baseados em softwares, no auxílio a estudantes EAD de todos os níveis de ensino.

5.2. Objetivos Específicos

Os demais objetivos que trataremos neste trabalho será o de buscar e analisar quantitativamente a atual demanda de sistemas inteligentes atuantes na EAD.

5.3. ESTRUTURA DA MONOGRAFIA

Os capítulos deste trabalho de conclusão estão dispostos da seguinte forma:

O Capítulo 1 apresenta a conceituação geral do problema a partir de sua introdução.

Este capítulo também apresenta as motivações e objetivos deste trabalho.

No Capítulo 2 apresentamos a conceituação geral de Sistemas Tutores Inteligentes e Agentes, ou seja, é a teoria embasadora do assunto. Este capítulo inicia-se trazendo um breve relato sobre o que é Inteligência Artificial, seus fundamentos, e também algumas das suas características.

Na parte especifica que trata dos Agentes Tutores inteligentes, o Capítulo está dividido em duas seções: a primeira apresenta-se o modelo geral dos STI´s, desde os CAI´s que são seus precursores, além de uma breve descrição sobre seu estado da arte e sua arquitetura geral, ou seja, seus módulos construtores.

No Capítulo 3 descreve-se a metodologia aplicada durante a pesquisa científica, que gerou este trabalho, como também os passos cronológicos que mostram no tempo a ordem de como foi realizou-se a pesquisa, juntamente com os métodos utilizados.

No Capítulo 4 ocorre a abordagem comparativa entre os STI´s que separamos como alvo do nosso estudo, onde através da coleta de dados montamos uma tabela geral com algumas das principais características que um sistema inteligente deve possuir. Ao mesmo tempo em que apresentamos formalmente os STI´s por nós utilizados nesta pesquisa.

Finalmente, no Capítulo 5, apresentamos nossa conclusão geral em cima daquilo que por nós foi observado sobre os benefícios e as dificuldades que apresentam os sistemas inteligentes para neste caso específico serem utilizados com auxílio a estudantes do ensino a distância. Ainda neste capítulo discutiremos possíveis usos futuros de softwares inteligente em ambientes tanto EAD, como presenciais.

6. CONCEITOS GERAIS E REVISÃO DA LITERATURA

Baseando-se em materiais pertinentes e publicados com respeito ao tema do qual trata-se este trabalho, e também ressaltando que tais publicações já existem em um bom número, procurar-se-á de forma adequada coletar-se os principais tópicos destes textos, ou seja, a melhor base teórica possível, procurando-se assim realizar-se um trabalho relevante a esta área do estudo cientifico.

A saber, que venha a trazer novos e relevantes conhecimentos sobre a união entre os elementos da inteligência artificial, e os sistemas de softwares inteligentes, como o são os tutores virtuais inteligentes.

6.1. INTELIGÊNCIA E DEFINIÇÕES

O conceito de inteligência sempre polemizou o ser humano desde os seus primórdios e é claramente alvo de debates relativos as suas definições até os dias atuais, e sabemos que possivelmente perdurará por toda existência humana.

Mas, afinal o que é inteligência? Atualmente pode-se afirmar que existem duas definições de inteligência, ao que podemos chamá-las de formas “consensuais” atualmente aceitas pela comunidade cientifica.

A primeira destas definições de inteligência vem do artigo Mainstream Science on Intelligence, que foi originalmente publicado no Wall Street Journal, em 13 de dezembro de 1994, redigido pela Professora de Psicologia Educacional Linda Gottfredson, enviada para

131 pesquisadores da área e assinada por 52 professores universitários tidos como “especialistas na área de inteligência”, e que afirmava: inteligência (de 131 cientistas convidados), em 1994:

Uma capacidade mental bastante geral que, entre outras coisas, envolve a habilidade de raciocinar, planejar, resolver problemas, pensar de forma abstrata, compreender ideias complexas, aprender rápido e aprender com a experiência. Não é uma mera aprendizagem literária, uma habilidade estritamente acadêmica ou um talento para sair-se bem em provas. Ao contrário disso, o conceito refere-se a uma capacidade mais ampla e mais profunda de compreensão do mundo à sua volta - 'pegar no ar', 'pegar' o sentido das coisas ou 'perceber' uma coisa (WIKIPÉDIA, 2018).

E que segundo, (OLIVEIRA, 2016) surgiu após o polêmico livro A Curva Normal (ou The Bell Curve, em inglês), dos autores, Richard J. Herrnstein e Charles Murray.

A segunda, intitulada de Intelligence: Knowns and Unknowns, que é um relatório feito pela Associação Americana de Psicologia, em 1995:

Os indivíduos diferem na habilidade de entender ideias complexas, de se adaptarem com eficácia ao ambiente, de aprenderem com a experiência, de se engajarem nas várias formas de raciocínio, de superarem obstáculos mediante o pensamento. Embora tais diferenças individuais possam ser substanciais, nunca são completamente consistentes: o desempenho intelectual de uma dada pessoa vai variar em ocasiões distintas, em domínios distintos, a se julgar por critérios distintos. Os conceitos de 'inteligência' são tentativas de aclarar e organizar esse conjunto complexo de fenômenos (WIKIPÉDIA, 2018).

6.2. RESUMO HISTÓRICO DA INTELIGÊNCIA ARTIFICIAL E DEFINIÇÕES

No início dos anos cinquenta do século passado aquele que é também considerado como um dos pais da ciência da computação, questionava em seu artigo Computing Machinery and Intelligence, se máquinas seriam capazes de pensar, afirmando entre outras coisas que "é inteligente uma máquina que é capaz de iludir e passar por inteligente aos olhos dos homens" (TURING, 1950). Desta forma ele propunha a possibilidade da construção de maquinas inteligentes e que seriam capazes de imitar comportamentos humanos.

De modo praticamente e cronologicamente simultâneo, pois a diferença de anos pode ser considerada mínima, John McCarthy (WIKIPEDIA, 2018), cunhou o termo Inteligência Artificial ao mesmo tempo afirmando na Dartmouth College em 1956 que, “A Inteligência Artificial é a ciência e a engenharia de criar e produzir máquinas inteligentes”, tornando-o assim como a conhecemos hoje, a ciência que estuda a Inteligência Artificial.

Entretanto como sabemos, ainda se encontra bastante nebulosas suas concepções, ou seja, partindo do fato de que nós humanos ainda não possuímos definições absolutas que definam nossa própria inteligência, caminhamos ainda em caminhos confusos na busca em definir a inteligência artificial como uma ciência exata.

São várias as tentativas de defini-la, assim como fizeram McCarthy e Hayes em 1969, quando afirmaram que, “uma máquina é inteligente se ela é capaz de solucionar uma classe de problemas que requerem inteligência de seres humanos para serem solucionados” (MCCARTHY e HAYES, 1969).

Até mesmo definições mais restritas existentes nos dias atuais, como as que classificam em dois tipos a inteligência Artificial, ou seja, IA forte e IA fraca, e cabendo também dentro desta visão, as definições que classificam que existem 4 categorias de IA, segundo critérios humanos e racionais. (RUSSEL E NORVIG, 1995). Na Tabela 1 abaixo apresenta-se estas categorias, seguindo-se após as suas definições:

Tabela 1- Categorias atualmente aceitas para a IA

Fonte: o autor

Sistemas que Agem como humanos: Abordagem baseada no teste de Turing (1950) que define o comportamento inteligente como a habilidade de desempenhar-se como um ser humano em todas atividades cognitivas possíveis, o suficiente assim até para enganar o próprio ser humano.

Sistemas que pensam como humanos: Busca comparar o comportamento de entrada e saída de dados de uma máquina, com os processos semelhantes de busca e decisão de sinais do cérebro humano, através de uma abordagem cognitiva.

Sistemas que pensam racionalmente: Tentam imitar ou emular o pensamento lógico racional do ser humano; por exemplo, os sistemas especialistas. Como no sentido de raciocinar e agir como o ser humano, quanto a condição humana de tudo querer calcular.

Sistemas que agem racionalmente: Buscam emular racionalmente o comportamento humano; por exemplo, agentes inteligentes. Está relacionado com comportamentos inteligentes identificados em máquinas e artefatos.

O desenvolvimento da Inteligência Artificial, portanto, percorre assim uma cronologia que vem de meados do século XX, perpetuando-se agora no atual século que vivemos, mas sempre com a característica de estar lado a lado com o processo de evolução dos computadores e de conceitos científicos agregadores, como as redes neurais e a ciência cognitiva.

6.2.1. Redes neurais

Redes neurais artificiais nasceram de um ramo da pesquisa cientifica que tinha interesse em formalizar em uma representação as células nervosas do ser humano a partir do computador, uma vez que nosso cérebro através dos neurônios realiza processamento de dados informais assim como faz o computador.

Uma rede neural pode ser tratada como uma subespecialidade, ou uma subárea da inteligência artificial, ou como um mecanismo que busca, a partir das classes de determinados modelos matemáticos resolver problemas de classificação e de reconhecimento de padrões, consistindo desta forma, uma teoria para o estudo de fenômenos complexos. (JESS, 2004).

Redes neurais artificiais surgiram a partir da pesquisa dos pesquisadores, MacCulloc e Pitts, que em seu “A Logical Calculus of the Ideas Immanent in Nervous Activity”, criaram um modelo que buscava descrever e relacionar, o neurônio biológico com o neurônio artificial (MACCULLOC; PITTS, 1943).

Nesta mesma década o psicólogo Canadense Donald Hebb em seu trabalho intitulado Organization of Behavior, publicou as ideias que resolvia o problema do aprendizado da rede artificial, sugerindo que similarmente ao que acontece no nosso cérebro, devia-se ter fortalecimento das conexões entre os neurônios (ou nos pesos destas conexões) da rede artificial. (HEBB, 1949).

Estes estudos levaram os pesquisadores Dean Edmonds e Marvin Minsky a construírem em 1951 uma máquina que possuía capacidade de aprendizado o SNARC, permitindo assim que, Frank Rosemblatt criasse uma classe de redes simples baseadas em neurônios que denominou de perceptron, rede esta que é detalhada no seu livro, Priciples of Neurodynamics (1962).

Os peceptrons são as redes neurais artificiais mais simples quando se considera como implementá-las, e que segundo seu criador:

Os peceptrons não pretendem servir como cópias detalhadas de qualquer sistema nervoso real. Eles são redes simplificadas, designadas a permitir o estudo de relacionamentos legítimos entre a organização de uma rede de nervo, a organização de seu ambiente, e a performance "psicológica" da qual ela é capaz. (ROSEMBLATT, 1962).

As redes neurais artificiais também foram impulsionadas através do físico Jonh Hopfield, que em 1982 provou que era possível rodar a simulação de um sistema físico por intermédio de um modelo matemático baseado em redes neurais, nascendo o modelo Backpropagation que tornava o Perceptron um modelo bastante ampliado.

6.2.2. Ciência cognitiva

Consideramos ciência cognitiva como a reunião de vários conceitos, entre eles a inteligência artificial, a psicologia cognitiva, a linguística, a filosofia, a neurobiologia e a antropologia, que apresentam como objetivo investigar as questões do conhecimento, chamadas de questões epistemológicas.

Segundo Nakabayashi (2009, p. 26), “ciência cognitiva, por sua vez, é também o campo de estudos que procura entender e imitar os processos mentais dos seres humanos, no contexto da inteligência artificial (IA)”.

Na ciência cognitiva busca-se modelar as aquisições das informações feita pelo ser humano na sua busca de entendimento do próprio mundo através de vários fatores como, as experiências conscientes e inconscientes, os estímulos sensoriais externos e o contexto sociocultural. (NAKABAYASHI, 2009).

6.3. CONCEITOS GERAIS SOBRE SISTEMAS TUTORES INTELIGENTES

A produção de softwares inteligentes tornou-se, portanto, um mover científico que remota do tempo dos primeiros entendimentos sobre IA, e o que ela poderia proporcionar a sociedade humana. Ou seja, desde o começo da IA que os pesquisadores da área já intentavam na criação de sistemas inteligentes que pudessem basear-se em softwares. Diante destas circunstâncias pode-se afirmar que sistemas inteligentes e inteligência artificial sempre caminharam juntos.

De um modo geral a pesquisa cientifica normalmente está envolvida com ambientes educacionais, e que “o incentivo à formação de novos pesquisadores nasce nas salas de aula de milhares de escolas brasileiras, em aulas de ciência, geografia, matemática, física e outras tantas disciplinas” (MACEDO, 2014).

Tornando-se também natural que sistemas de softwares inteligentes apresentam um direcionamento para uso educacional em escala considerável, ainda que saibamos que o desenvolvimento de programas de computador inteligentes possa sim serem aplicados em qualquer área social humana.

Portanto, quanto tratamos do segmento educação e suas ramificações em ensino- aprendizagem, relaciona-se a existência atual dos softwares educacionais com o uso de tecnologia de sistemas inteligentes.

Estes softwares educacionais baseados nas modernas contribuições da inteligência artificial, da psicologia, e da pedagogia, basicamente estão divididos em dois grandes grupos taxinomias e historicamente determinados, que são:

Os CAI´s (Sistemas com Instrução Assistida por Computador), são os pioneiros dos softwares que apresentam determinado grau de uso da IA, e que representam a instrução programada por computador e fundamentados na teoria behaviorista-comportamentalista, assim definidos por (GIRAFFA E VICCARI, 1996).

E os STI´s (Sistemas Tutorias Inteligentes), que segundo Gavidia e Andrade (2003) são programas de computador com propósitos educacionais e que incorporam técnicas interativas de Inteligência Artificial e que oferecem vantagens sobre os CAI´s por terem a capacidade de simular o processo do pensamento humano para auxiliar na resolução de problemas ou em tomadas de decisões (apud, FOWLER, 1991).

Os CAI´s surgem como evolução educacional a partir da década de 60 no século XX, em que já se caracterizavam avanços significativos nas mudanças de paradigmas que naquela época existiam sobre as possibilidades dos sistemas computacionais, ou seja, indagava-se então o que realmente de inteligente poderia ser o computador.

Este avanço provocou na sociedade humana e na área da educação em si mesma uma visão mais ampliada daquilo que os computadores realmente seriam capazes de realizar, sendo deste ambiente que existiam os CAI´s, sistemas que apresentam aos alunos conteúdos direcionados a tomada de atitudes “frente a estímulos apresentados, ou seja, não há uma preocupação com o processo de raciocínio e aprendizado do aluno”. (PIMENTEL, 2004).

Sistemas CAI´s “apresentam uma de suas caraterísticas básicas a tentativa de redução do processo de aprendizagem, a um modelo causal do tipo estímulo-resposta” (COSTA, 1997). Causando desta forma um aprendizado ligado diretamente a forma de comportamento do aluno, ou seja, o aluno aprende os conteúdos dentro do seu próprio ritmo.

Sistemas CAI´s podem ser considerados como a primeira geração de softwares educacionais inteligentes, e que justamente diante disto apresentam algumas características disfuncionais quanto das suas aplicações aos dias atuais, pois “Uma das mais significativas limitações atribuídas aos sistemas CAI´s é que eles não consideram as características cognitivas individuais dos estudantes, como por exemplo: conhecimento prévio do domínio, estilo e capacidade de aprendizagem” (COSTA, 1997).

A natural evolução dos sistemas CAI´s fez que surgissem os sistemas STI´s em meados dos anos 80 no século XX. Nesta década a psicologia tornou-se parte integrante dos estudos da IA, uma vez que o próprio cérebro humano é uma unidade psicológica. E de acordo com Gavidia e Andrade (2003), tiveram início pesquisas que uniram fundamentos estabelecidos da IA e da psicologia cognitiva para a criação dos ICAI´s (Instruções Assistidas por Computador Inteligentes).

Fatos diretamente relacionados, e que permitiram que os pesquisadores Sleeman e Brown (1982), ao analisarem o estado da arte dos sistemas CAI, revisando seus fundamentos, e criando, portanto, o termo STI (Sistemas Tutorias Inteligentes), que distinguiam os antigos CAI´s dos novos ICAI´s.

Ainda segundo Gavidia e Andrade (2003) os ICAI são diferenciados dos seus precursores por apresentarem características da psicologia cognitiva e de pressupostos da IA, que quando aplicados as estruturas educacionais, tendem a facilitar o processo de ensino- aprendizagem.

A Tabela 2 abaixo mostra em termos comparativos as principais diferenças entre os sistemas CAI e os STI.

Tabela 2 - Características dos sistemas CAI E STI

Fonte: (giraffa e viccari, 1996)

6.3.1. STI´s Multi Agentes

Sistemas multi agentes (SMA) são sistemas compostos por múltiplos agentes, ou seja, por um “conjunto de agentes autônomos, possivelmente pré-existentes, que interagem objetivando a resolução de um problema que está além das capacidades de um único indivíduo”. (O’HARE, 1996 apud BASTOS, JUCHEM, 2014).

Os sistemas multi agentes, como na Figura 1, estão incorporados dentro da estrutura dos STI´s, pois “muitos dos ambientes de ensino-aprendizagem computadorizados na modalidade de Sistemas Tutores Inteligentes (STI), utilizam a tecnologia de agentes no seu projeto” (Bolzan, 2002). Sabendo-se também que os SMA´s formam uma área da IA, que é considerada como a IA distribuída, ou seja, a inteligência artificial distribuída por várias partes de um sistema.

Figura 1- Sistema com múltiplos agentes

Fonte: https://pt.slideshare.net/JulianoPadilha1/seminario-de-arquitetura-de-software

6.4. ESTRUTURA DE UM SISTEMA TUTOR INTELIGENTE

Sistemas tutores inteligentes (STI) são estruturas computacionais construídas a partir de vários módulos, onde cada um destes também compõem os modelos utilizados na construção do STI. Portanto, um STI é um software construído através da agregação de vários conhecimentos (modelos), e que ainda segundo Gavidia e Andrade (2003), apresentam o objetivo claro e determinado de procurar proporcionar um ensino adaptado a cada aluno, tentando se aproximar ao comportamento de um professor humano na sala de aula. A Figura 2 mostra um STI juntamente com os módulos que o compõe.

Figura 2 - Módulos existentes em um sistema tutor inteligente

Fonte: o autor

6.5. MODELOS PRESENTES NUM SISTEMA INTELIGENTE

Cada um destes módulos (modelos) define cada funcionalidade implementada no sistema STI, através das técnicas da IA, juntamente com os detalhes da psicologia cognitiva, e dos critérios pedagógicos, em que são baseados, e que segundo Alves e Simões (2000) subdividem-se em modelos: especialistas, controle, aprendiz, pedagógico e interface.

Modelo Especialista

O Modelo do Especialista é onde encontra-se a base do conhecimento, contendo informações sobre um determinado domínio, representando assim o conhecimento de um especialista ou professor. É normalmente considerado o componente central de qualquer STI, pois neste modelo encerra-se a dita inteligência do sistema. (ALVES; SIMÕES, 2000).

É justamente esta base de conhecimento que contém os elementos necessários para que o estudante aprenda sobre o domínio e realize os procedimentos necessários para poder utilizá-los na resolução de problemas.

6.5.1. Modelo pedagógico

O módulo do modelo pedagógico, também chamado de módulo do tutor ou instrutor, relaciona-se com as estratégias de ensino-aprendizagem a serem adotadas sobre o domínio da aplicação, sendo estas geradas a partir das informações de diagnóstico coletadas, da monitoração do aprendiz, e da análise da sequência de táticas de ensino.

Uma estratégia de ensino-aprendizagem envolve seleção e planejamento das atividades a serem apresentadas ao aprendiz. É natural que este módulo possa apresentar como estratégias possíveis questionamentos do tipo, quando interromper o aluno? O que dizer ao aluno? E como dizer algo ao aluno? (ALVES; SIMÕES, 2000)

6.5.2. Modelo da Interface

Determina a melhor forma de interação homem-máquina que deverá ser utilizada pelo STI para efetuar a comunicação com o aprendiz, ou seja, é o componente responsável pelo fluxo de comunicação de entrada e saída, proporcionando e possibilitando que a comunicação sempre ocorra em ambas as direções.

Realizando, portanto, a tradução entre a representação interna do sistema e a linguagem de interface, de maneira que as mensagens vindas do tutor inteligente sejam compreensíveis ao estudante. (ALVES; SIMÕES, 2000).

6.5.3. Modelo do aprendiz

A principal característica que um sistema inteligente deve apresentar, é a de ter a capacidade de se moldar, ou de criar em si mesmo modelos, de acordo com o perfil do aprendiz com o qual ele esteja trabalhando. Desta forma o modelo do aprendiz deve contemplar todos os aspectos do conhecimento e do comportamento do estudante que venha trazer boas consequências no decorrer dos estudos para o seu desempenho e aprendizagem.

Este modelo apresenta-se ainda hoje como um grande desafio para os construtores dos STI, pois para um computador modelar sensações humanas é ainda uma grande barreira que a inteligência artificial vem trabalhando há muito tempo. (ALVES; SIMÕES, 2000).

6.5.4. Modelo de Controle

Assim como o seu próprio nome o declara, o módulo de controle é responsável por gerenciar o funcionamento do sistema tutor. Este módulo apresenta um ciclo de execução que resumiremos a seguir: Primeiro ela buscará selecionar uma estratégia de ensino a partir do seu banco de estratégias. Segundo selecionará o material instrucional da base de conhecimento do domínio, baseado na estratégia escolhida pelo aluno. Terceiro, apresentará o material ao aprendiz, utilizando para isto o módulo de interface.

No quarto e último passo irá diagnosticar e monitorar o progresso do aprendiz. Este módulo é aquele que coordena todas as possíveis ações do tutor, em relação à todas suas funções, interfaces de linguagem natural, troca de informações entre módulos, comunicando- se com outros programas e utilitários do sistema operacional. (ALVES; SIMÕES, 2000).

7. METODOLOGIA

Este trabalho realizou-se baseando-se principalmente em revisões bibliográficas especificas que tratam dos assuntos relacionados diretamente com o nosso tema.

Com base nesta proposta de pesquisa iremos empregar ao longo do trabalho um pouco dos principais métodos de pesquisa, que sejam métodos exploratórios, explicativos e descritivos, pois ainda que seja uma pesquisa fundamentada em uma metodologia principalmente qualitativa, estes métodos acima listados aparecem em várias partes do nosso trabalho, assim como por exemplo, nas descrições do que são sistemas inteligentes.

Portanto, em um primeiro momento procurou-se focar o nosso trabalho em um levantamento minucioso da literatura de que trata nosso tema, em cima de artigos científicos já dispostos sobre o assunto que se encontram disponíveis na internet, e em lugares especializados como o Google Acadêmico.

Após estes levantamentos feitos em cima da literatura adequada, realizou-se uma coleta de dados relevantes a pesquisa, como aqueles que relacionam a Tabela 3, com os significados das características dos STI´s mostrados na seção 4.2, sendo que, direcionados diretamente com a nossa pesquisa, no intuito de evidenciar dentro do nosso trabalho os aspectos relevantes da nossa proposta.

Por fim, buscou-se realizar a comparação entre os três sistemas inteligentes estudados (tutores inteligentes), através dos métodos quantitativos-descritivos. Desta forma busca-se apresentar e demonstrar respostas diante da proposta de problema que nos propomos a resolver, que é a de medir de forma indireta os benefícios que os softwares inteligentes promovem no contexto atual da EAD.

Assim sendo, dentro da nossa pretensão inicial, apresenta-se possíveis resultados concisos dentro da investigação que realizamos em nossa pesquisa, ou seja, que agentes inteligentes como elementos representativos da IA (Inteligência Artificial), estão sendo eficazmente utilizados em auxílio na educação a distância.

8. APRESENTAÇÃO E ANÁLISE DOS RESULTADOS

Neste trabalho procura-se apresentar-se uma constatação feita em dados coletados durante a pesquisa, embasada pela literatura específica, sobre três sistemas tutores inteligentes, que podem ser acessados via Web, e inclusive um dos quais pode ser baixado e instalados em nosso próprio computador.

Também nos propusemos a utilização direta destes sistemas, para que além da literatura trabalhada durante a própria revisão literária, tivéssemos uma base mais fortalecida para darmos uma resposta concisa a aquela que foi a nossa pergunta fundamental da pesquisa, que se expressou pelo tema proposto.

Os sistemas escolhidos utilizadores de agentes inteligentes para analisarmos algumas de suas principais características, foram: PAT2Math, Alice (Algorithm Learning Internet- based Computer Environment), Python Tutor.

Nas próximas seções ainda dentro deste capítulo iremos nos aprofundar nas características individuais destes STI´s, como também nas suas características comuns.

8.1. SISTEMAS ESTUDADOS

8.1.1. PAT2Math

O primeiro sistema web que separamos para análise é o PAT2Math, que é desenvolvido pela Universidade do Vale do Rio dos Sinos (Unisinos), “o PAT2Math é um Sistema Tutor Inteligente desenvolvido que utiliza a técnica de Inteligência Artificial denominada Sistema Especialista” (UNISINOS, 2018). O PAT2Math é um sistema tutorial inteligente que trabalha baseado em blocos de ensino e de tarefas, como fases de um jogo de computador, onde o aluno necessita resolver todos os problemas contidos em uma dada fase, para assim acessar os blocos de equações mais complexos.

Este tutor conta com modernos algoritmos de inteligência artificial que auxilia e corrige o aluno passo a passo na resolução de equações de primeiro e segundo graus, segundo informa a Unisinos (2018), com dicas a cada passo da equação. As versões atuais deste ambiente apresentam também a inovação da escrita à mão, ou seja, você pode preferir escrever diretamente as equações na tela do computador, ou teclar os dados através do teclado do equipamento. Abaixo na Figura 3, observa-se uma das telas de trabalho da plataforma.

Figura 3 - Tela de trabalho da plataforma PAT2MATH

Fonte: http://pat2math.unisinos.br/pat2math/newpatequation

8.1.2. Alice (Ambiente de aprendizado de algoritmos para computador baseado na Internet)

Alice é um ambiente funcional STI, que procura motivar o aprendizado através da criatividade individual dos seus usuários, pois o Alice é projetado para ensinar habilidades de pensamento lógico e computacional (ALICE.ORG, 2018), como também os princípios fundamentais de programação e para ser uma primeira exposição à programação orientada a objetos. Baseado em sistemas inteligentes que apresenta a possibilidade de interação plena entre professores e alunos, resultando em uma ferramenta bastante útil para trabalhar-se em vários níveis de programação.

O Alice apresenta ferramentas para iniciantes, como jovens do ensino médio que não possuam experiência em programar, como também para usuários mais experientes, como por exemplo, professores que desejem ensinar fundamentos da linguagem de programação orientada a objetos para seus alunos. “Alice é um ambiente de programação inovador baseado em blocos que facilita a criação de animações, a criação de narrativas interativas ou a programação de jogos simples em 3D” (ALICE.ORG, 2018). Abaixo, Alice em nosso desktop, figura 4.

Figura 4 – Tela desktop do ambiente STI Alice

Fonte: alice.org

8.1.3. Python Tutor

O Python tutor é um STI que vem revolucionado o ensino da programação por facilitar o ato de programar e depurar programas de forma on-line, diretamente na web. O Python tutor também oferece suporte a outras linguagens como, Java, c, Ruby, c++ e Java script. “Usando esta ferramenta, professores e alunos podem escrever programas em Python diretamente no navegador da web (sem instalar qualquer plugins) ” (GUO, 2013). Atualmente mais de 200.000 pessoas já utilizam esta ferramenta, entre professores e estudantes, oferecendo a relevante vantagem de se poder codificar e depurar códigos das linguagens acima citadas, diretamente na web. Abaixo na Figura 5, tela principal do tutor.

Figura 5 – Tela principal do python tutor

Fonte: http://www.pythontutor.com/

8.2. CARACTERISTICAS DOS SISTEMAS INTELIGENTES E ESPECIALISTAS

Sendo várias as características e os componentes de um sistema inteligente, apresenta-se a seguir algumas destas características principais e os seus conceitos formadores, seguindo-se também da Tabela 3, comparativa das principais funcionalidades dos três STI´s que se estudou neste trabalho.

Objetivo: Critério que visa identificar o objetivo do ambiente;

Domínio (Conteúdo): Critério que visa identificar o conteúdo a ser trabalhado no sistema;

Quantidade, e atividades SMA dos agentes: Critério que visa identificar o número de agentes associados e a presença de atividades multi agente;

Tipo de comunicação: Critério que visa identificar se existe ou não um padrão utilizado para a comunicação entre os agentes;

Linguagem e/ou Ferramenta de Implementação: Critério que visa identificar o tipo de ambiente utilizado para implementar os ambientes;

Estratégias de Ensino utilizada: Critério que visa identificar o tipo de estratégias de ensino utilizada para auxiliar a promover a aprendizagem do conteúdo (domínio) nos usuários dos ambientes;

Interface Gráfica: Critério que visa identificar se o sistema utiliza ou não interfaces gráficas e o grau de adaptabilidade do sistema que ela reflete (exibe) para o usuário;

Ferramentas auxiliares: visa identificar quais as ferramentas auxiliares mais utilizadas em ambientes de ensino-aprendizagem.

Tabela 3 – Principais funcionalidades dos sistemas inteligentes estudados

Fonte: o autor

8.3. ANALISE DOS SISTEMAS ESTUDADOS

Nesta seção separou-se para uma análise mais aprofundada de algumas das características acima apresentadas pelos agentes estudados em seus aspectos gerais, ressaltando-se detalhes fundamentais que envolvem estas funcionalidades, e que são de relevante importância para caracteriza-los como ambientes inteligentes, e que também qualificam estes como tutores, e que são: os objetivos de cada STI, o domínio da aplicação, a sua interface gráfica, a linguagem de programação criadora, as ferramentas de grupo que cada um deles proporciona, e o número de agentes envolvidos ou presentes no sistema.

De um modo geral todos os STI´s estudados apresentam como objetivo principal proporcionar uma melhor condição de aprendizado para seus usuários, quer seja nas áreas do ensino da matemática e do ensino da programação.

Quanto ao domínio, observamos uma condição de interdisciplinaridade nestes três STI´s, uma vez que se nota que ainda que específicos em suas áreas de atuação quanto a ciência em estudo, todos podem perfeitamente serem utilizados e estudados por qualquer pessoa que tenha interesse em aprender sobre, matemática e programação.

Em todos os sistemas estudados a interface gráfica está de acordo com as principais finalidades do STI, onde no geral a interface do ambiente Alice é a que apresenta maior riqueza de detalhes, pois como sua proposta é de mostrar os conceitos da programação a objetos de maneira facilitada, as classes de objetos naturais da programação em Java, mostram-se prontas em figuras 3D, sendo facilmente manipuladas pelo usuário.

Em relação aos sistemas on-line, suas interfaces gráficas, apresente as facilidades desejais para sistemas que utilizam linguagens tipo Java script em seus desenvolvimentos

Considerando-se a linguagem de programação criadora, ou seja, o código no qual o STI é estruturado, em todos os sistemas estudados nota-se a presença da linguagem Java, com a presença de recursos extras em apoio ao Java, como no Python Tutor, que utiliza, Jype e Uuhistle, tecnologias que tornam a aprendizagem mais acessível e mais efetiva, e também o PAT2Math, que utiliza outro recurso Java, a plataforma JADE (Java Agent Development Framework).

Quanto as ferramentas de grupo o PAT2Math e o Alice, promovem controle de ações do usuário, o que é uma virtude quando considerado uma relação de aluno e professor em um ambiente EAD, e além destas condições, apresenta-se também como em Alice ferramentas de comunicação via web, ainda que dos três STI´s estudados, ele é o único a encontrar-se diretamente instalado nas maquinas dos usuários.

Quanto ao Python Tutor, este apresenta ferramentas de visualização programa codificado passo-a-passo, sendo mais direto nas suas respostas e destinado a um público mais experiente.

Já em consideração a quantidade de agentes presentes em cada implementação observamos que três agentes fundamentais presentes em sistemas multi agentes (SMA´s) e representados respectivamente pelos módulos, controle, aprendiz e professor, podem serem encontrados nestes STI´s, de maneira mais nítida nos tutores, Alice e PAT2Math.

Diante disto, acreditamos que todo desenvolvimento computacional é naturalmente benéfico ao ensino-aprendizagem a distância, ainda que nada impeça que sistemas como estes, ou semelhantes a estes venham a serem utilizados numa implementação presencial.

Portanto, diante de uma análise simplificada dos sistemas acima mencionados, pôde- se observar que todos os três sistemas já promovem benefício aos aprendizes que os utilizam, tanto no Brasil, como no restante do mundo, em virtude de comporem bastante bem, as caraterísticas esperadas para um STI.

9. CONCLUSÕES E TRABALHOS FUTUROS

No geral, ainda é muito relativo falar em inteligência de um software, ainda que em termos atuais e comparativamente comentando, é muito claro que os softwares de hoje, são bem mais “inteligentes” do que aqueles de um passado não muito distante.

Desta forma para um estudante que se encontra estudando em ambientes que não sejam as tradicionais salas de aulas, ou seja, ambientes EAD, como pode ser a sua própria residência, ter assistentes que funcionam como professores em qualquer lugar e ao acesso de um smartphone, por exemplo.

Assim sendo, sistemas inteligentes promovem um grande benefício, pois no geral, uma das grandes virtudes destes sistemas e o poder de corrigir erros em tempo real e fazer sugestões aos aprendizes em tempo real ou não, mais sempre com esta característica de realizar feedbacks ao aluno

Neste presente trabalho temo-nos aprofundado mais ainda neste paradigma contemporâneo, de consideramos que a inteligência artificial deixou de ser uma condição não só presente na nossa sociedade em termos de debates e considerações, mas também um elemento atuante, como nos robôs, por exemplo, que já atuam em muitas áreas da vida humana. Tais e possíveis atuações futuras já geram preocupações em alguns setores da sociedade, e em especial na comunidade cientifica, que conhece de forma mais concreta as

possíveis consequências que a inteligência artificial pode nos trazer.

Em se tratando da nossa monografia e o assunto central por nós trabalhado que foi sobre o uso de sistemas inteligentes na educação, concluímos que avanços tecnológicos preconizados pelo conceito de serem inteligentes vieram para ficar, pois ainda que não possuamos um conceito determinístico do que vem a ser inteligência, podemos sim afirmar que nossas máquinas atuais contam com características das quais podemos atribuir este nome, ou seja, inteligência.

Formando-se, portanto, uma condição de dúvida inevitável em nossa mente assim com Alan Turing (1950), que cremos, também se indagava sobre o que as maquinas podiam e poderiam fazer, quando afirmou que “maquinas poderiam pensar, ainda que fossem pensamentos de máquina”. (TURING, 1950).

Ainda assim para nós o conceito de inteligência continua numa esfera relativa, pois sabemos que nossas máquinas e nossos softwares são criações nossas dentro do nosso conceito de inteligência, portanto, produtos por nós mesmos criados e programados.

Realidade é que softwares chamados inteligentes já atuam em todos os setores e áreas da vida humana, como por exemplo, a educação, onde sim, já possuímos sistemas que podemos considerar como inteligentes, no caso, os tutores inteligentes que podem ter uma atuação direta no ensino-aprendizagem, proporcionando ao estudante EAD uma ferramenta a mais para seu desenvolvimento.

Observamos vários sistemas possuidores de inteligência artificial e separamos três deles para realizarmos considerações mais aprofundadas que foram dois sistemas primariamente on-line, que são os sistemas Python e PAT2Math e o sistema Alice, que apresenta como diferencial a condição de sua instalação poder ser feita diretamente na máquina do usuário.

10. POSSIBILIDADES DE TRABALHOS FUTUROS

Finalmente, durante a pesquisa também tivemos contato com outros sistemas como o Scratch, criado pelo MIT (Massachusetts Institute of Technology) que também pensamos em relacioná-lo em nossa pesquisa, mas não conseguimos os dados suficientes sobre suas funcionalidades, mas apresenta benefícios semelhantes ao sistema Alice, pois trata-se de um ambiente voltado também ao ensino primário da programação de computadores.

Também conhecemos e utilizamos um sistema compilador da linguagem C on-line o onlineGDB (www.onlinegdb.com/online_c_compiler), que se aproxima de um tutor, mais falta-lhe algumas características que não o colocam numa condição de igualdade com o Python Tutor, ficando, portanto, a possibilidade de estudá-los com maior profundidade no futuro.

Ainda se relacionando a possíveis trabalhos futuros, pretendemos estudar alguns aplicativos para Smartphone que atualmente resolvem equações matemáticas através da foto tirada da equação, como o Math Solver, que “roda” em plataformas android, e que diante de tais características, pode-se supor que apresenta elevado grau de inteligência artificial no seu projeto.

Acreditamos que possivelmente novas tecnologias irão aparecer no campo dos softwares inteligentes melhorando os seus módulos constituintes e os tornando dentro de uma visão racional, mais humanos.

11. REFERÊNCIAS

ALVES, M, B, M; SIMÕES, P, W, T, A. Tutores inteligentes. Santa Catarina. Disponível em: <http://www.inf.ufsc.br/~edla.ramos/infoedu/alunos/alunos99/trabfinal/tutoriais.htm>.

Acesso em: 7 de novembro de 2018.

BASTOS, R, M; JUCHEM, M. Arquiteturas de agentes. Faculdade de informática pucrs – brazil. Technical report series number 013 april, 2001.

BOLZAN, Willian; GIRAFFA, L, M, M. Estudo comparativo sobre Sistemas Tutores Inteligentes Multiagentes Web. XI SEMINCO - Seminário de computação - Number 024 July, 2002.

BROWN, J.S., BURTON, R.R. An investigation of computer coaching for informal learning activities. Technical Report, Defense Advanced Research Project Agency, Human Resources Lab., Lowry AFB, CO. 1978.

COSTA, Evandro de Barros. Um modelo de ambiente interativo de aprendizagem baseado numa arquitetura multi-agentes. Coordenação de Pós-Graduação em Engenharia Elétrica da Universidade Federal da Paraíba, Campina Grande - PB, 1997.

HEBB, Donald (1949). The Organization of Behavior. New York: Wiley & Sons.

GUO, Philip. J. Online Python Tutor: Embeddable Web-Based Program Visualization for CS Education. Google, Inc. Mountain View, CA, USA, 2003.

INTELIGÊNCIA. In: WIKIPÉDIA, a enciclopédia livre. Flórida: Wikimedia Foundation, 2018. Disponível em:

<https://pt.wikipedia.org/w/index.php?title=Intelig%C3%AAncia&oldid=53461983>. Acesso em: 19 de outubro de 2018.

JESS, Gil Marcos. Inteligência Artificial e Tecnologias da Inteligência – Um Repensar Segundo os Processos da Elaboração Matemática. Programa de Pós-graduação em Educação/Mestrado, Universidade Federal do Paraná, Curitiba, 2004.

JOHN MCCARTHY. In: WIKIPÉDIA, a enciclopédia livre. Flórida: Wikimedia Foundation, 2018. Disponível em:

<https://www.pt.wikipedia.org/w/index.php?title=John_McCarthy&oldid=53559034>. Acesso em: 05 dez. 2018.

MACEDO, Jorge. Despertar para a pesquisa nasce por incentivo da escola. 25 de janeiro 2014. Disponível em: < https://www.em.com.br/app/noticia/tecnologia/2014/01/25/interna_tecnologia,491508/despe rtar-para-a-pesquisa-nasce-por-incentivo-da-escola.shtml>. Acesso em: 10 de dezembro 2018.

MCCULLOCH W., PITTS W. A Logical Calculus of the Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics, 5, p. 115-133, 1943.

McCARTHY J; HAYES P.J. Some philosophical problems from the standpoint of artificial intelligence. In D. Michie and B. Meltzer, editors, Machine Intelligence 4, pages 463-502. Edinburgh University Press, Edinburgh, GB, 1969.

NAKABAYASHI, Luciana Akemi. A contribuição da inteligência artificial (IA) na filosofia da mente. Mestrado em Tecnologias da Inteligência e Design Digital. PUC-São Paulo, 2009.

NÓR, Bárbara. Cursos EAD estão crescendo no Brasil. 1 fevereiro 2018. Disponível em:

<https://exame.abril.com.br/carreira/cursos-ead-estao-crescendo-no-brasil/>. Acesso em: 19 de novembro, 2018.

OLIVEIRA, João Batista Araújo. O que sabemos sobre inteligência: 12 pontos de consenso

| Capítulo 3. 14 de março 2016. Disponível em: < http://www.alfaebeto.org.br/blog/serie-qi- inteligencia-3/>. Acesso em: 05 de dezembro, 2018.

ROSEMBLATT, Frank. Principles of Neurodynamics. Spartam Books, Nova York, 1962.RUSSEL, Stuart; NORVIG, Peter. Artificial Intelligence: a Modern Approach. Pearson,

1995.

SEMENSATO, M, R; FRANCELINO, L, A; MALTA, L, S. O uso da inteligência artificial na educação à distância. Revista Cesuca Virtual: Conhecimento sem Fronteiras - issn 2318-4221 - v.2, n. 4, ago/2015

SLEEMAN, D.H. Intelligent tutoring systems: a review (Report No. IR011683). Stanford, CA: Stanford University, School of Education & Department of Computer Science. 1984.

PIMENTEL, Edson Pinheiro. Aprendizagem via sistemas tutores inteligentes: o estado da arte. Anais da 56ª Reunião Anual da SBPC - Cuiabá, MT - julho/2004

TURING, Alan Mathison. Computing machinery and intelligence. Mind, no 59, 1950.

VICCARI, R.M., GIRAFFA, L, M, M. Sistemas Tutores Inteligentes: abordagem tradicional x abordagem de agentes. In: XIII SBIA – Simposio Brasileiro de Inteligencia Artificial, Tutoria – T6. Curitiba-PR, 1996.

<Http://www.inep.gov.br/> INEP - Instituto Nacional de Estudos e Pesquisas Educacionais. Ministério da Educação. Acesso em: 16 de novembro de 2018.

<Https://www.alice.org/>. Acesso em: 10 de novembro. 2018.

<Http://www.projeto.unisinos.br/pat2math/index.html#section-works>. Acessado em: 10 novembro de 2018.