Se busca desarrollador de Java para modificar y mejorar un webcrawler

Hola Que tal, podriamos conversar por chat para revisar su requerimiento con mas detalle y poder darte una mejor estimacion en tiempos y costos. Saludos

Buenos días. (el presupuesto es aleatorio) Soy Pablo, y hace 15 años que trabajo entorno a Java (web, desktop y mobile), en mi perfil tienes un mayor detalle de mi experiencia y referencias varias. Podrías contarme un poco el lado técnico de la implementacion de los crawlers (idealmente ver su código) y describirme las tareas que requieres en lo inmediato? Si lo deseas, escríbeme y platicamos por chat. Saludos, Pablo.

Buenos dias. Estoy interesado en apoyarte en este requisito. Te cuento que para que los las consultas no tengan errores es muy relativo a los servidores que consultas (no responden, caidas, cambios estrcuturales). Pero puedo apoyarte junto a las mejores practicas para hacr posible que tu requerimiento se cumpla. Dejame un mensaje y hablamos un poco mas.

Buen día estimado, tengo bastante experiencia relacionada con el web scraping, aunque he trabajado con java, para el caso del scraping lo he gestionado principalmente con python, por sus librerías exclusivas para este tipo de tareas independientemente del lenguaje; para lograr el scraping de las 10,000 ligas en el menor tiempo posible lo indispensable es el buen manejo de los hilos en el lenguaje trabajado, preferiblemente evitarlo pero de ser necesario aplicar proxys o en su defecto ejecución del programa desde diferentes hosts