[IMPROVED] Documentación detallada sobre herramientas y plataformas
- Añadida sección dedicada a herramientas de procesamiento en README - Documentada la integración con Browse AI y técnicas de web scraping - Detallado el uso de expresiones regulares para procesamiento de datos - Especificadas las fuentes de datos (IPACOOP y MICI) - Expandida la sección de tecnologías con información completa - Actualizado CHANGELOG.md a versión 0.5.0 🤖 Generated with [Claude Code](https://claude.ai/code) Co-Authored-By: Claude <noreply@anthropic.com>
This commit is contained in:
parent
1d81798149
commit
6b6e9723b9
2 changed files with 44 additions and 2 deletions
15
CHANGELOG.md
15
CHANGELOG.md
|
@ -5,6 +5,20 @@ Todos los cambios notables en este proyecto se documentarán en este archivo.
|
|||
El formato está basado en [Keep a Changelog](https://keepachangelog.com/en/1.0.0/),
|
||||
y este proyecto adhiere a [Semantic Versioning](https://semver.org/spec/v2.0.0.html).
|
||||
|
||||
## [0.5.0] - 2025-03-26
|
||||
|
||||
### Añadido
|
||||
- Documentación detallada sobre herramientas y plataformas utilizadas
|
||||
- Nueva sección "Herramientas de Procesamiento" en README.md
|
||||
- Información sobre integración con Browse AI y procesamiento mediante expresiones regulares
|
||||
- Detalles sobre fuentes de datos (IPACOOP, MICI)
|
||||
- Requisito de cuenta en Browse AI para el flujo de industrias
|
||||
|
||||
### Mejorado
|
||||
- Sección de tecnologías expandida con información más completa
|
||||
- Detalles sobre el proceso de extracción y normalización de datos
|
||||
- Documentación sobre el script personalizado para gestión del servicio
|
||||
|
||||
## [0.4.0] - 2025-03-26
|
||||
|
||||
### Añadido
|
||||
|
@ -51,6 +65,7 @@ y este proyecto adhiere a [Semantic Versioning](https://semver.org/spec/v2.0.0.h
|
|||
- Licencia privativa (LICENSE.md)
|
||||
- Configuración inicial del repositorio
|
||||
|
||||
[0.5.0]: https://github.com/username/webservices/compare/v0.4.0...v0.5.0
|
||||
[0.4.0]: https://github.com/username/webservices/compare/v0.3.0...v0.4.0
|
||||
[0.3.0]: https://github.com/username/webservices/compare/v0.2.0...v0.3.0
|
||||
[0.2.0]: https://github.com/username/webservices/compare/v0.1.0...v0.2.0
|
||||
|
|
31
README.md
31
README.md
|
@ -8,11 +8,15 @@
|
|||
|
||||
Plataforma de servicios web basada en Node-RED para orquestación y automatización de servicios WEBAPI. El proyecto incluye flujos automatizados para extracción de datos (web scraping) y procesamiento de información desde fuentes públicas.
|
||||
|
||||
## 🔧 Tecnologías
|
||||
## 🔧 Tecnologías y Plataformas
|
||||
|
||||
```
|
||||
Framework: Node-RED v4.0.9
|
||||
Framework Principal: Node-RED v4.0.9
|
||||
Plataforma: Node.js
|
||||
Extracción de Datos: Browse AI, Web Scraping Directo
|
||||
Análisis de Contenido: HTML Parser, Expresiones Regulares
|
||||
Procesamiento: Transformación JSON/CSV, Normalización de Texto
|
||||
Almacenamiento: Archivos CSV Locales
|
||||
Fecha de Creación: 2025-03-23
|
||||
```
|
||||
|
||||
|
@ -125,11 +129,34 @@ Flujo para procesar y normalizar datos de industrias manufactureras en Panamá.
|
|||
|
||||
**Fuente de datos:** MICI - Directorio de Empresas (datos preexistentes)
|
||||
|
||||
## 🛠️ Herramientas de Procesamiento
|
||||
|
||||
El proyecto utiliza varias herramientas especializadas para el procesamiento de datos:
|
||||
|
||||
### Extracción de Datos
|
||||
- **Web Scraping Directo**: Utilizando nodos HTTP y HTML para obtener datos del sitio de IPACOOP
|
||||
- **Browse AI**: Plataforma de automatización para scraping que facilita la extracción de datos estructurados de sitios complejos
|
||||
|
||||
### Procesamiento de Datos
|
||||
- **HTML Parser**: Extracción y manipulación de tablas y elementos HTML
|
||||
- **Expresiones Regulares**: Identificación de patrones para emails, teléfonos y URLs
|
||||
- **Normalización de Texto**: Capitalización adecuada, eliminación de espacios innecesarios
|
||||
- **Validación de Datos**: Verificación de formatos para información de contacto
|
||||
|
||||
### Fuentes de Datos
|
||||
- **IPACOOP**: Instituto Panameño Autónomo Cooperativo (datos de cooperativas)
|
||||
- **MICI**: Ministerio de Comercio e Industrias (directorio de empresas)
|
||||
|
||||
### Gestión del Servicio
|
||||
- **Script Personalizado**: Facilita el inicio/detención del servicio de Node-RED
|
||||
- **PM2**: Para ejecución como servicio en producción
|
||||
|
||||
## 🔍 Prerrequisitos
|
||||
|
||||
- Node.js 18.x o superior
|
||||
- NPM 8.x o superior
|
||||
- Permisos para instalar paquetes globales (opcional)
|
||||
- Cuenta en Browse AI (para el flujo de industrias)
|
||||
|
||||
## ⚙️ Configuración
|
||||
|
||||
|
|
Loading…
Reference in a new issue