23.11.03
NLTK: Procesamiento del Lenguaje Natural con Python
Las personas interesadas en la aplicación del lenguaje multiplataforma
de script Python [1]
[2]
[3],
al procesamiento del lenguaje natural (PLN o NLP),
pueden encontrar en Natural
Language Toolkit (NLTK) un conjunto de herramientas de desarrollo,
de uso
libre, de gran interés y potencial. Este "kit" está formado
por varias librerías o módulos, implementados en dicho lenguaje,
y orientados a la manipulación
de los diversos aspectos involucrados en el PLN:
tokenización, parsing, clasificación, gramáticas
libres de contexto (CFG),
representación y procesamiento de información probabilística,
visualización gráfica de estructuras y procesos del lenguaje,
expresiones
regulares, lenguajes formales y autómatas
de estados finitos (FSM,
un modelo teórico de representación de estados en número
finito o forma simplificada y sencilla de modelar lenguajes naturales;
ejemplo
de máquina de estados representada en Prolog), etc.
"NLTK [...] is a suite of Python libraries and programs for
symbolic and statistical natural language processing. [...] includes graphical
demonstrations and sample data. It is accompanied by extensive documentation,
including tutorials that explain the underlying concepts behind the language
processing tasks supported by the toolkit.
[...] is ideally suited to students who are learning NLP
or conducting research in NLP
or closely related areas, including empirical linguistics, cognitive science,
artificial intelligence, information retrieval, and machine learning. NLTK
has been used successfully as a teaching tool, as an individual study tool,
and as a platform for prototyping and building research systems."
NLTK forma
parte de un conjunto
más amplio de proyectos relacionados con el PLN
y en general con la lingüística computacional, agrupados bajo
la denominación genérica OpenNLP
a fin de adquirir una cierta consistencia y coordinación entre ellos
(ver al respecto el documento "About"):
"OpenNLP provides the organizational structure for coordinating
several different projects which approach some aspect of Natural Language
Processing. [...] also defines a set of Java interfaces and implements
some basic infrastructure for NLP
components."
En la página del proyecto NLTK,
de aplicación inicialmente orientada a la labor
docente y de investigación llevada a cabo en cursos universitarios
relacionados con técnicas de PLN,
está disponible numerosa
documentación
(tutoriales, documentación de la API,
informes técnicos, artículos, etc.), existiendo además
una
lista
de correo para estar al tanto de las últimas novedades al respecto,
así como otros
canales de colaboración y ayuda.
Mencionaremos por último, a modo de ejemplo de aplicaciones referidas
al PLN,
otra interesante herramienta, HDRUG
(Gertjan van Noord,
Universidad de Groningen, Holanda), entorno gráfico de usuario para
el desarrollo de gramáticas lógicas,
parser y generadores
para el manejo del lenguaje natural. Este paquete de herramientas está
escrito para su ejecución en el entorno Sicstus
Prolog (básicamente una implementación de ISO
Prolog, con extensiones adicionales; no es de uso gratuito, aunque
se puede obtener una copia de evaluación, previa
petición) y si bien parece un proyecto algo desactualizado,
tiene el interés de mostrar la materialización práctica
de una plataforma de PLN,
utilizando el lenguaje Prolog en la parte referida al motor lógico
y de inferencia y la base de conocimientos.
Por otro lado, Gertjan
van Noord es también autor de otros
interesantes programas, la mayor parte relacionados con diversos aspectos
del PLN, entre otros:
-
FSA Utilities.
Colección de utilidades para construir (desde expresiones regulares),
manipular, visualizar, y aplicar, autómatas finitos (la interfaz
gráfica solo funciona bajo SICStus Prolog; existe una demostración
en línea).
-
TextCat Language
Guesser. Este programa (implementación de un algoritmo de clasificación),
decide en qué lenguaje está escrito un texto, siendo unos
60 los idiomas reconocidos (demostración
en línea).
-
Elex with Prolog.
Herramienta para construir programas escáner o tokenizadores, capaces
de reconocer símbolos compuestos (palabras, números, espacios
en blanco, signos de puntuación, etc.), dentro de una cadena de
caracteres.
-
SICStus
Prolog interface to ISO regular expression functions. Como el propio
nombre indica, se trata de una librería de predicados para manejar
expresiones regulares bajo la implementación SICStus Prolog, en sistemas
Unix y Linux.
La interfaz gráfica de las herramientas HDRUG y FSA Utilities
está resuelta mediante Tcl/Tk
(ver los enlaces que sobre este paquete para el desarrollo de GUI's,
soportado
por la implementación Sicstus
Prolog, se referenciaron en una anterior
anotación).
[0] comentarios | # | lista |
