devs/bin/rate_update.py

#!/usr/bin/env python3
"""
Rate Update Script

Este script actualiza las tarifas por hora de diferentes tipos de programadores
por región utilizando la API de Perplexity para obtener datos actualizados.

Licencia: AGPL-3.0
Modified: 2025-03-12
"""

import os
import glob
import re
import json
import logging
import requests
import sys
import subprocess
import importlib.util
from pathlib import Path

# Configuración de logging
logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
    handlers=[logging.StreamHandler()]
)
logger = logging.getLogger('rate_update')

# Verificar si pycountry está instalado, si no, instalarlo
def check_install_pycountry():
    """Verifica si pycountry está instalado y lo instala si es necesario."""
    if importlib.util.find_spec("pycountry") is None:
        logger.info("La biblioteca pycountry no está instalada.")
        
        # Verificar si pip está disponible
        try:
            # Primero comprobamos si pip está instalado
            pip_check = subprocess.run([sys.executable, "-m", "pip", "--version"], 
                                      stdout=subprocess.PIPE, 
                                      stderr=subprocess.PIPE)
            
            if pip_check.returncode == 0:
                logger.info("Instalando la biblioteca pycountry...")
                try:
                    subprocess.check_call([sys.executable, "-m", "pip", "install", "pycountry"])
                    logger.info("Biblioteca pycountry instalada correctamente.")
                except subprocess.CalledProcessError as e:
                    logger.error(f"Error al instalar pycountry: {e}")
                    logger.warning("Continuando sin validación de códigos de país.")
                    return False
            else:
                logger.error("pip no está instalado. No se puede instalar pycountry automáticamente.")
                logger.error("Por favor, instale pip: sudo apt-get install python3-pip")
                logger.error("O instale pycountry manualmente: sudo apt-get install python3-pycountry")
                sys.exit(1)
                
        except FileNotFoundError:
            logger.error("No se pudo ejecutar pip. El sistema no puede encontrar el ejecutable de Python.")
            logger.error("Por favor, verifique su instalación de Python.")
            sys.exit(1)
    
    # Intentamos importar pycountry
    try:
        global pycountry
        import pycountry
        return True
    except ImportError:
        logger.warning("No se puede importar pycountry. Continuando sin validación de códigos de país.")
        return False

# Directorio base del proyecto
BASE_DIR = Path(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
CONFIG_DIR = BASE_DIR / 'bin' / 'config'

# Archivo de configuración para el modelo de IA
MODEL_CONFIG_FILE = CONFIG_DIR / 'rate_model.ai'

def get_ai_model():
    """Obtener el modelo de IA configurado."""
    try:
        with open(MODEL_CONFIG_FILE, 'r') as f:
            return f.read().strip()
    except FileNotFoundError:
        logger.warning(f"Archivo de configuración {MODEL_CONFIG_FILE} no encontrado. Usando modelo predeterminado 'o1'.")
        return "o1"

def get_perplexity_api_key():
    """Obtener la clave API de Perplexity desde una variable de entorno."""
    api_key = os.environ.get('PERPLEXITY_API_KEY')
    if not api_key:
        logger.error("No se encontró la clave API de Perplexity. Establezca la variable de entorno PERPLEXITY_API_KEY.")
        sys.exit(1)
    return api_key

def query_perplexity(prompt, model="o1"):
    """Realizar una consulta a la API de Perplexity."""
    api_key = get_perplexity_api_key()
    
    url = "https://api.perplexity.ai/chat/completions"
    headers = {
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json"
    }
    
    data = {
        "model": model,
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant that provides accurate salary information for developers worldwide. Respond only with numeric values in USD with 2 decimal places."
            },
            {
                "role": "user",
                "content": prompt
            }
        ],
        "max_tokens": 100
    }
    
    try:
        response = requests.post(url, headers=headers, json=data)
        response.raise_for_status()
        result = response.json()
        
        # Extraer solo el valor numérico de la respuesta
        content = result.get('choices', [{}])[0].get('message', {}).get('content', '')
        # Intentar encontrar un número con 2 decimales en la respuesta
        match = re.search(r'\$?(\d+\.\d{2})', content)
        if match:
            return float(match.group(1))
        
        # Si no encuentra un formato exacto, intentar convertir toda la respuesta a float
        try:
            # Eliminar cualquier símbolo de moneda y espacios
            cleaned_content = re.sub(r'[^\d.]', '', content)
            return round(float(cleaned_content), 2)
        except ValueError:
            logger.error(f"No se pudo extraer un valor numérico de la respuesta: {content}")
            return None
            
    except requests.exceptions.RequestException as e:
        logger.error(f"Error al conectar con la API de Perplexity: {e}")
        return None

# Variable global para indicar si pycountry está disponible
pycountry_available = False

def is_valid_country_code(code):
    """
    Verifica si un código de país de 2 letras es válido.
    Usa pycountry si está disponible, o una lista básica de códigos comunes.
    También acepta códigos especiales 'ww' y 'la'.
    """
    # Códigos especiales para propósitos internos
    if code in ['ww', 'la']:  # worldwide y Latin America
        return True
    
    # Lista básica de códigos de país comunes (ISO 3166-1 alpha-2)
    common_country_codes = [
        'af', 'al', 'dz', 'as', 'ad', 'ao', 'ai', 'aq', 'ag', 'ar', 
        'am', 'aw', 'au', 'at', 'az', 'bs', 'bh', 'bd', 'bb', 'by', 
        'be', 'bz', 'bj', 'bm', 'bt', 'bo', 'ba', 'bw', 'br', 'bn', 
        'bg', 'bf', 'bi', 'cv', 'kh', 'cm', 'ca', 'ky', 'cf', 'td', 
        'cl', 'cn', 'co', 'km', 'cg', 'cd', 'ck', 'cr', 'ci', 'hr', 
        'cu', 'cy', 'cz', 'dk', 'dj', 'dm', 'do', 'ec', 'eg', 'sv', 
        'gq', 'er', 'ee', 'et', 'fk', 'fo', 'fj', 'fi', 'fr', 'gf', 
        'pf', 'ga', 'gm', 'ge', 'de', 'gh', 'gi', 'gr', 'gl', 'gd', 
        'gp', 'gu', 'gt', 'gn', 'gw', 'gy', 'ht', 'va', 'hn', 'hk', 
        'hu', 'is', 'in', 'id', 'ir', 'iq', 'ie', 'il', 'it', 'jm', 
        'jp', 'jo', 'kz', 'ke', 'ki', 'kp', 'kr', 'kw', 'kg', 'la', 
        'lv', 'lb', 'ls', 'lr', 'ly', 'li', 'lt', 'lu', 'mo', 'mk', 
        'mg', 'mw', 'my', 'mv', 'ml', 'mt', 'mh', 'mq', 'mr', 'mu', 
        'yt', 'mx', 'fm', 'md', 'mc', 'mn', 'me', 'ms', 'ma', 'mz', 
        'mm', 'na', 'nr', 'np', 'nl', 'nc', 'nz', 'ni', 'ne', 'ng', 
        'nu', 'nf', 'mp', 'no', 'om', 'pk', 'pw', 'ps', 'pa', 'pg', 
        'py', 'pe', 'ph', 'pn', 'pl', 'pt', 'pr', 'qa', 're', 'ro', 
        'ru', 'rw', 'bl', 'sh', 'kn', 'lc', 'mf', 'pm', 'vc', 'ws', 
        'sm', 'st', 'sa', 'sn', 'rs', 'sc', 'sl', 'sg', 'sx', 'sk', 
        'si', 'sb', 'so', 'za', 'gs', 'ss', 'es', 'lk', 'sd', 'sr', 
        'sj', 'sz', 'se', 'ch', 'sy', 'tw', 'tj', 'tz', 'th', 'tl', 
        'tg', 'tk', 'to', 'tt', 'tn', 'tr', 'tm', 'tc', 'tv', 'ug', 
        'ua', 'ae', 'gb', 'us', 'uy', 'uz', 'vu', 've', 'vn', 'vg', 
        'vi', 'wf', 'eh', 'ye', 'zm', 'zw'
    ]
    
    # Si pycountry está disponible, lo usamos para validación
    global pycountry_available
    if pycountry_available:
        try:
            # Verifica si el código existe en pycountry
            return pycountry.countries.get(alpha_2=code.upper()) is not None
        except (AttributeError, Exception) as e:
            logger.warning(f"Error al validar el código de país '{code}' con pycountry: {e}")
            # Fallback a la lista básica
    
    # Si pycountry no está disponible o falló, usamos la lista básica
    return code.lower() in common_country_codes

def parse_rate_filename(filename):
    """
    Analiza el nombre del archivo de tarifa para extraer el tipo de programador y la región.
    Formato: [tipo_de_programador]_[código_país].rate
    Valida el código de país usando pycountry.
    """
    base_name = os.path.basename(filename)
    match = re.match(r'([a-z]+)_([a-z]{2})\.rate$', base_name)
    
    if not match:
        # Para archivos como kdevs.rate que no siguen el patrón estándar
        if base_name.endswith('.rate'):
            programmer_type = base_name.replace('.rate', '')
            return programmer_type, None
        return None, None
    
    programmer_type, region_code = match.groups()
    
    # Validar el código de país
    if not is_valid_country_code(region_code):
        logger.warning(f"Código de país no válido '{region_code}' en el archivo {base_name}")
        # Aun así continuamos con el proceso
    
    return programmer_type, region_code

def generate_prompt(programmer_type, region_code):
    """Genera un prompt para consultar a Perplexity sobre la tarifa horaria."""
    region_map = {
        'ww': 'mundial',
        'la': 'Latinoamérica',
        'pa': 'Panamá',
        'co': 'Colombia',
        'mx': 'México',
        'ar': 'Argentina',
        'br': 'Brasil',
        'cl': 'Chile',
        'pe': 'Perú',
        'ec': 'Ecuador',
        'us': 'Estados Unidos',
        'ca': 'Canadá',
        'uk': 'Reino Unido',
        'de': 'Alemania',
        'fr': 'Francia',
        'es': 'España',
        'it': 'Italia'
    }
    
    # Archivos especiales como kdevs.rate se manejan de forma diferente
    if programmer_type == 'kdevs':
        # Simplemente mantener el valor actual para kdevs.rate
        return None
    
    programmer_map = {
        'bash': 'programador de scripts Bash/Shell',
        'python': 'desarrollador Python',
        'fullstack': 'desarrollador Full Stack',
        'frontend': 'desarrollador Frontend',
        'backend': 'desarrollador Backend',
        'devops': 'ingeniero DevOps',
        'mobile': 'desarrollador de aplicaciones móviles',
        'java': 'desarrollador Java',
        'php': 'desarrollador PHP',
        'ruby': 'desarrollador Ruby',
        'dotnet': 'desarrollador .NET',
        'data': 'científico de datos',
        'ml': 'ingeniero de Machine Learning',
        'cloud': 'arquitecto Cloud',
        'odoo': 'desarrollador Odoo'
    }
    
    region_name = region_map.get(region_code, f'región con código {region_code}')
    programmer_description = programmer_map.get(programmer_type, f'desarrollador {programmer_type}')
    
    prompt = f"¿Cuál es la tarifa por hora promedio en dólares estadounidenses (USD) para un {programmer_description} en {region_name} en 2025? Responde solo con el valor numérico con dos decimales."
    
    return prompt

def update_rate_files():
    """Actualiza los archivos de tarifas con datos de Perplexity."""
    # Obtener modelo configurado
    model = get_ai_model()
    logger.info(f"Usando modelo de IA: {model}")
    
    # Buscar todos los archivos .rate
    rate_files = glob.glob(str(CONFIG_DIR / '*.rate'))
    logger.info(f"Encontrados {len(rate_files)} archivos de tarifas para actualizar.")
    
    for rate_file in rate_files:
        programmer_type, region_code = parse_rate_filename(rate_file)
        
        if programmer_type is None:
            logger.warning(f"No se pudo analizar el nombre del archivo: {rate_file}, saltando.")
            continue
        
        # Si es un archivo especial como kdevs.rate
        if region_code is None:
            prompt = generate_prompt(programmer_type, None)
            # Saltamos los archivos especiales que no necesitan actualización
            if prompt is None:
                logger.info(f"Saltando archivo especial: {os.path.basename(rate_file)}")
                continue
        else:
            prompt = generate_prompt(programmer_type, region_code)
        
        logger.info(f"Consultando tarifa para {programmer_type}" + 
                   (f" en región {region_code}" if region_code else ""))
        
        # Consultar a Perplexity
        rate = query_perplexity(prompt, model)
        
        if rate is not None:
            # Guardar el resultado en el archivo
            with open(rate_file, 'w') as f:
                f.write(f"{rate:.2f}\n")
            logger.info(f"Actualizado {os.path.basename(rate_file)} con valor: {rate:.2f}")
        else:
            logger.error(f"No se pudo obtener la tarifa para {programmer_type}" + 
                        (f" en región {region_code}" if region_code else ""))

if __name__ == "__main__":
    
    logger.info("Iniciando actualización de tarifas...")
    
    # Verificar e instalar pycountry si es necesario
    pycountry_available = check_install_pycountry()
    
    # Actualizar la variable global
    globals()['pycountry_available'] = pycountry_available
    
    # Mostrar estado de validación de países
    if pycountry_available:
        logger.info("Validación de códigos de país habilitada con pycountry.")
    else:
        logger.info("Usando lista interna para validación básica de códigos de país.")
    
    # Actualizar los archivos de tarifas
    update_rate_files()
    
    logger.info("Proceso de actualización de tarifas completado.")