[IMPROVED] Documentación detallada sobre herramientas y plataformas
- Añadida sección dedicada a herramientas de procesamiento en README - Documentada la integración con Browse AI y técnicas de web scraping - Detallado el uso de expresiones regulares para procesamiento de datos - Especificadas las fuentes de datos (IPACOOP y MICI) - Expandida la sección de tecnologías con información completa - Actualizado CHANGELOG.md a versión 0.5.0 🤖 Generated with [Claude Code](https://claude.ai/code) Co-Authored-By: Claude <noreply@anthropic.com>
This commit is contained in:
parent
1d81798149
commit
6b6e9723b9
2 changed files with 44 additions and 2 deletions
15
CHANGELOG.md
15
CHANGELOG.md
|
@ -5,6 +5,20 @@ Todos los cambios notables en este proyecto se documentarán en este archivo.
|
||||||
El formato está basado en [Keep a Changelog](https://keepachangelog.com/en/1.0.0/),
|
El formato está basado en [Keep a Changelog](https://keepachangelog.com/en/1.0.0/),
|
||||||
y este proyecto adhiere a [Semantic Versioning](https://semver.org/spec/v2.0.0.html).
|
y este proyecto adhiere a [Semantic Versioning](https://semver.org/spec/v2.0.0.html).
|
||||||
|
|
||||||
|
## [0.5.0] - 2025-03-26
|
||||||
|
|
||||||
|
### Añadido
|
||||||
|
- Documentación detallada sobre herramientas y plataformas utilizadas
|
||||||
|
- Nueva sección "Herramientas de Procesamiento" en README.md
|
||||||
|
- Información sobre integración con Browse AI y procesamiento mediante expresiones regulares
|
||||||
|
- Detalles sobre fuentes de datos (IPACOOP, MICI)
|
||||||
|
- Requisito de cuenta en Browse AI para el flujo de industrias
|
||||||
|
|
||||||
|
### Mejorado
|
||||||
|
- Sección de tecnologías expandida con información más completa
|
||||||
|
- Detalles sobre el proceso de extracción y normalización de datos
|
||||||
|
- Documentación sobre el script personalizado para gestión del servicio
|
||||||
|
|
||||||
## [0.4.0] - 2025-03-26
|
## [0.4.0] - 2025-03-26
|
||||||
|
|
||||||
### Añadido
|
### Añadido
|
||||||
|
@ -51,6 +65,7 @@ y este proyecto adhiere a [Semantic Versioning](https://semver.org/spec/v2.0.0.h
|
||||||
- Licencia privativa (LICENSE.md)
|
- Licencia privativa (LICENSE.md)
|
||||||
- Configuración inicial del repositorio
|
- Configuración inicial del repositorio
|
||||||
|
|
||||||
|
[0.5.0]: https://github.com/username/webservices/compare/v0.4.0...v0.5.0
|
||||||
[0.4.0]: https://github.com/username/webservices/compare/v0.3.0...v0.4.0
|
[0.4.0]: https://github.com/username/webservices/compare/v0.3.0...v0.4.0
|
||||||
[0.3.0]: https://github.com/username/webservices/compare/v0.2.0...v0.3.0
|
[0.3.0]: https://github.com/username/webservices/compare/v0.2.0...v0.3.0
|
||||||
[0.2.0]: https://github.com/username/webservices/compare/v0.1.0...v0.2.0
|
[0.2.0]: https://github.com/username/webservices/compare/v0.1.0...v0.2.0
|
||||||
|
|
31
README.md
31
README.md
|
@ -8,11 +8,15 @@
|
||||||
|
|
||||||
Plataforma de servicios web basada en Node-RED para orquestación y automatización de servicios WEBAPI. El proyecto incluye flujos automatizados para extracción de datos (web scraping) y procesamiento de información desde fuentes públicas.
|
Plataforma de servicios web basada en Node-RED para orquestación y automatización de servicios WEBAPI. El proyecto incluye flujos automatizados para extracción de datos (web scraping) y procesamiento de información desde fuentes públicas.
|
||||||
|
|
||||||
## 🔧 Tecnologías
|
## 🔧 Tecnologías y Plataformas
|
||||||
|
|
||||||
```
|
```
|
||||||
Framework: Node-RED v4.0.9
|
Framework Principal: Node-RED v4.0.9
|
||||||
Plataforma: Node.js
|
Plataforma: Node.js
|
||||||
|
Extracción de Datos: Browse AI, Web Scraping Directo
|
||||||
|
Análisis de Contenido: HTML Parser, Expresiones Regulares
|
||||||
|
Procesamiento: Transformación JSON/CSV, Normalización de Texto
|
||||||
|
Almacenamiento: Archivos CSV Locales
|
||||||
Fecha de Creación: 2025-03-23
|
Fecha de Creación: 2025-03-23
|
||||||
```
|
```
|
||||||
|
|
||||||
|
@ -125,11 +129,34 @@ Flujo para procesar y normalizar datos de industrias manufactureras en Panamá.
|
||||||
|
|
||||||
**Fuente de datos:** MICI - Directorio de Empresas (datos preexistentes)
|
**Fuente de datos:** MICI - Directorio de Empresas (datos preexistentes)
|
||||||
|
|
||||||
|
## 🛠️ Herramientas de Procesamiento
|
||||||
|
|
||||||
|
El proyecto utiliza varias herramientas especializadas para el procesamiento de datos:
|
||||||
|
|
||||||
|
### Extracción de Datos
|
||||||
|
- **Web Scraping Directo**: Utilizando nodos HTTP y HTML para obtener datos del sitio de IPACOOP
|
||||||
|
- **Browse AI**: Plataforma de automatización para scraping que facilita la extracción de datos estructurados de sitios complejos
|
||||||
|
|
||||||
|
### Procesamiento de Datos
|
||||||
|
- **HTML Parser**: Extracción y manipulación de tablas y elementos HTML
|
||||||
|
- **Expresiones Regulares**: Identificación de patrones para emails, teléfonos y URLs
|
||||||
|
- **Normalización de Texto**: Capitalización adecuada, eliminación de espacios innecesarios
|
||||||
|
- **Validación de Datos**: Verificación de formatos para información de contacto
|
||||||
|
|
||||||
|
### Fuentes de Datos
|
||||||
|
- **IPACOOP**: Instituto Panameño Autónomo Cooperativo (datos de cooperativas)
|
||||||
|
- **MICI**: Ministerio de Comercio e Industrias (directorio de empresas)
|
||||||
|
|
||||||
|
### Gestión del Servicio
|
||||||
|
- **Script Personalizado**: Facilita el inicio/detención del servicio de Node-RED
|
||||||
|
- **PM2**: Para ejecución como servicio en producción
|
||||||
|
|
||||||
## 🔍 Prerrequisitos
|
## 🔍 Prerrequisitos
|
||||||
|
|
||||||
- Node.js 18.x o superior
|
- Node.js 18.x o superior
|
||||||
- NPM 8.x o superior
|
- NPM 8.x o superior
|
||||||
- Permisos para instalar paquetes globales (opcional)
|
- Permisos para instalar paquetes globales (opcional)
|
||||||
|
- Cuenta en Browse AI (para el flujo de industrias)
|
||||||
|
|
||||||
## ⚙️ Configuración
|
## ⚙️ Configuración
|
||||||
|
|
||||||
|
|
Loading…
Reference in a new issue