Mineria de Datos - Data
Mining
Conceptos e Historia
Aunque desde un punto de vista académico el término data mining es una
etapa dentro de un proceso mayor llamado extracción de conocimiento en
bases de datos, (mencionado en el capitulo anterior) en el entorno comercial,
así como en este trabajo, ambos términos se usan de manera indistinta. Lo
que en verdad hace el data mining es reunir las ventajas de varias áreas como
la Estadística, la Inteligencia Artificial, la Computación Gráfica, las Bases de
Datos y el Procesamiento Masivo, principalmente usando como materia prima
las bases de datos. Una definición tradicional es la siguiente: Un proceso no
trivial de identificación válida, novedosa, potencialmente útil y entendible de
patrones comprensibles que se encuentran ocultos en los datos (Fayyad y otros,
1996). Desde el punto de vista empresarial , lo definimos como: La integración
de un conjunto de áreas que tienen como propósito la identificación de un
conocimiento obtenido a partir de las bases de datos que aporten un sesgo
hacia la toma de decisión (Molina y otros, 2001).
La idea de data mining no es nueva. Ya desde los años sesenta los estadísticos
manejaban términos como data fishing, data mining o data archaeology
con la idea de encontrar correlaciones sin una hipótesis previa en bases de
datos con ruido. A principios de los años ochenta, Rakesh Agrawal, Gio Wiederhold,
Robert Blum y Gregory Piatetsky-Shapiro, entre otros, empezaron aconsolidar los términos de data mining y KDD.[3] A finales de los años ochentasólo existían un par de empresas dedicadas a esta tecnología; en 2002 existenmás de 100 empresas en el mundo que ofrecen alrededor de 300 soluciones. Las listas de discusión sobre este tema las forman investigadores de más deochenta países. Esta tecnología ha sido un buen punto de encuentro entre personas pertenecientes al ámbito académico y al de los negocios. El data mining es una tecnología compuesta por etapas que integra variasáreas y que no se debe confundir con un gran software. Durante el desarrollo de un proyecto de este tipo se usan diferentes aplicaciones software en cadaetapa que pueden ser estadísticas, de visualización de datos o de inteligenciaartificial, principalmente. Actualmente existen aplicaciones o herramientascomerciales de data mining muy poderosas que contienen un sinfín de utileríasque facilitan el desarrollo de un proyecto. Sin embargo, casi siempre acabancomplementándose con otra herramienta. La data mining es la etapa de descubrimiento en el proceso de KDD: Pasoconsistente en el uso de algoritmos concretos que generan una enumeraciónde patrones a partir de los datos preprocesados (Fayyad et al., 1996) Aunquese suelen usar indistintamente los términos KDD y Minería de Datos.
Los Fundamentos del Data Mining
Las técnicas de Data Mining son el resultado de un largo proceso de investigación
y desarrollo de productos. Esta evolución comenzó cuando los datos
de negocios fueron almacenados por primera vez en computadoras, y continuó
con mejoras en el acceso a los datos, y más recientemente con tecnologías generadas
para permitir a los usuarios navegar a través de los datos en tiempo
real. Data Mining toma este proceso de evolución más allá del acceso y navegación
retrospectiva de los datos, hacia la entrega de información prospectiva
y proactiva. Data Mining está listo para su aplicación en la comunidad de negocios
porque está soportado por tres tecnologías que ya están suficientemente
maduras:
• Recolección masiva de datos.
• Potentes computadoras con multiprocesadores.
• Algoritmos de Data Mining.
PRINCIPALES CARACTERÍSTICAS Y OBJETIVOS DE LAMINERÍA DE DATOS13
Las bases de datos comerciales están creciendo a un ritmo sin precedentes.
Un reciente estudio del META GROUP sobre los proyectos de Data Warehouse
encontró que el 19% de los que contestaron están por encima del nivel de los
50 Gigabytes, mientras que el 59% espera alcanzarlo en el segundo trimestre
de 1997. En algunas industrias, tales como ventas al por menor (retail), estos
números pueden ser aún mayores. MCI Telecommunications Corp. cuenta con
una base de datos de 3 terabytes + 1 terabyte de índices y overhead corriendo
en MVS sobre IBM SP2. La necesidad paralela de motores computacionales
mejorados puede ahora alcanzarse de forma más costo - efectiva con tecnología
de computadoras con multiprocesamiento paralelo. Los algoritmos de
Data Mining utilizan técnicas que han existido por lo menos desde hace 10
años, pero que sólo han sido implementadas recientemente como herramientas
maduras, confiables, entendibles que consistentemente son más performantes
que métodos estadísticos clásicos.
En la evolución desde los datos de negocios a información de negocios, cada
nuevo paso se basa en el previo. Por ejemplo, el acceso a datos dinámicos
es crítico para las aplicaciones de navegación de datos (drill through applications),
y la habilidad para almacenar grandes bases de datos es crítica para
Data Mining.
Los componentes esenciales de la tecnología de Data Mining han estado
bajo desarrollo por décadas, en áreas de investigación como estadísticas, inteligencia
artificial y aprendizaje de máquinas. Hoy, la madurez de estas técnicas,
junto con los motores de bases de datos relacionales de alta performance, hicieron
que estas tecnologías fueran prácticas para los entornos de data warehouse
actuales.
Principales características y objetivos de la Minería
de Datos
• Explorar los datos se encuentran en las profundidades de las bases de
datos, como los almacenes de datos, que algunas veces contienen información
almacenada durante varios años.
• En algunos casos, los datos se consolidan en un almacén de datos y en
mercados de datos; en otros, se mantienen en servidores de Internet e
Intranet.
• El entorno de la minería de datos suele tener una arquitectura clienteservidor.
• Las herramientas de la minería de datos ayudan a extraer el mineral de
la información enterrado en archivos corporativos o en registros públicos,
archivados
• El minero es, muchas veces un usuario final con poca o ninguna habilidad
de programación, facultado por barrenadoras de datos y otras poderosas
herramientas indagatorias para efectuar preguntas adhoc y obtener
rápidamente respuestas.
• Hurgar y sacudir a menudo implica el descubrimiento de resultados valiosos
e inesperados.
• Las herramientas de la minería de datos se combinan fácilmente y pueden
analizarse y procesarse rápidamente.
• Debido a la gran cantidad de datos, algunas veces resulta necesario usar
procesamiento en paralelo para la minería de datos.
• La minería de datos produce cinco tipos de información:
— Asociaciones.
— Secuencias.
— Clasificaciones.
— Agrupamientos.
— Pronósticos.
• Los mineros de datos usan varias herramientas y técnicas.
La minería de datos es un proceso que invierte la dinámica del método
científico en el siguiente sentido:
En el método científico, primero se formula la hipótesis y luego se diseña
el experimento para coleccionar los datos que confirmen o refuten la hipótesis.
Si esto se hace con la formalidad adecuada (cuidando cuáles son las variables
controladas y cuáles experimentales), se obtiene un nuevo conocimiento.
En la minería de datos, se coleccionan los datos y se espera que de ellos
emerjan hipótesis. Se busca que los datos describan o indiquen por qué son como son. Luego entonces, se valida esa hipótesis inspirada por los datos en
los datos mismos, será numéricamente significativa, pero experimentalmente
inválida. De ahí que la minería de datos debe presentar un enfoque exploratorio,
y no confirmador. Usar la minería de datos para confirmar las hipótesis
formuladas puede ser peligroso, pues se está haciendo una inferencia poco
válida.
La minería de datos es una tecnología compuesta por etapas que integra
varias áreas y que no se debe confundir con un gran software. Durante el
desarrollo de un proyecto de este tipo se usan diferentes aplicaciones software
en cada etapa que pueden ser estadísticas, de visualización de datos o
de inteligencia artificial, principalmente. Actualmente existen aplicaciones o
herramientas comerciales de minería de datos muy poderosas que contienen
un sinfín de utilerías que facilitan el desarrollo de un proyecto. Sin embargo,
casi siempre acaban complementándose con otra herramienta.
El Alcance de Data Mining ( mineria de Datos)
El nombre de Data Mining deriva de las similitudes entre buscar valiosa información
de negocios en grandes bases de datos - por ej.: encontrar información
de la venta de un producto entre grandes montos de Gigabytes almacenados
- y minar una montaña para encontrar una veta de metales valiosos. Ambos
procesos requieren examinar una inmensa cantidad de material, o investigar inteligentemente
hasta encontrar exactamente donde residen los valores. Dadas
bases de datos de suficiente tamaño y calidad, la tecnología de Data Mining
puede generar nuevas oportunidades de negocios al proveer estas capacidades:
• Predicción automatizada de tendencias y comportamientos. Data Mining
automatiza el proceso de encontrar información predecible en grandes
bases de datos. Preguntas que tradicionalmente requerían un intenso
análisis manual, ahora pueden ser contestadas directa y rápidamente desde
los datos. Un típico ejemplo de problema predecible es el marketing
apuntado a objetivos (targeted marketing). Data Mining usa datos en
mailing promocionales anteriores para identificar posibles objetivos para
maximizar los resultados de la inversión en futuros mailing. Otros problemas
predecibles incluyen pronósticos de problemas financieros futuros
y otras formas de incumplimiento, e identificar segmentos de población
que probablemente respondan similarmente a eventos dados.
Descubrimiento automatizado de modelos previamente desconocidos. Las
herramientas de Data Mining barren las bases de datos e identifican modelos
previamente escondidos en un sólo paso. Otros problemas de descubrimiento
de modelos incluye detectar transacciones fraudulentas de
tarjetas de créditos e identificar datos anormales que pueden representar
errores de tipeado en la carga de datos.
Las técnicas de Data Mining pueden redituar los beneficios de automatización
en las plataformas de hardware y software existentes y puede ser
implementadas en sistemas nuevos a medida que las plataformas existentes se
actualicen y nuevos productos sean desarrollados. Cuando las herramientas
de Data Mining son implementadas en sistemas de procesamiento paralelo de
alta performance, pueden analizar bases de datos masivas en minutos. Procesamiento
más rápido significa que los usuarios pueden automáticamente experimentar
con más modelos para entender datos complejos. Alta velocidad
hace que sea práctico para los usuarios analizar inmensas cantidades de datos.
Grandes bases de datos, a su vez, producen mejores predicciones.Bibliografía
[1] Jhon Wiley Alan Simon and Sons.
OLAP
[2] Mc Graw Hill Alex Berson, Stephen J. Smith.
Mining and OLAP
[3] María José Ramírez Quintana José Hernández Orallo.
de Conocimiento en Bases de Datos e Ingeniería del Software
España, 2003.
[4] IBM Press.
de Asociaciones
[5] IBM Press.
7
[6] IBM Press.
Miner for Data
[7] IBM Press.
Miner Visualizers
[8] Colin J. White.
IBM Press, USA, 2001.Data Warehouse, Data Mining and. USA, 1997.Data Warehouse, Data. USA, 1997.Extracción Automática.IBM DB2 Intelligent Miner for Data: Utilización del Visualizador. IBM Press, USA, 1999.IBM DB2 Warehouse Manager Guía de Instalación Version. IBM Press, USA, 2001.IBM DB2 Intelligent Miner for Data: Utilización de Intelligent. IBM Press, USA, 2002.IBM DB2 Intelligent Miner Visualization: Using the Intelligent. IBM Press, USA, 2002.IBM Enterprise Analytics for the Intelligent e-Business.
No hay comentarios:
Publicar un comentario