Hallo,
ich habe Interesse an einer Zusammenarbeit.
Sie benötigen für Ihr Projekt zwei Module, zum einen den Web-Crawler, der die von Ihnen geforderten Daten extrahiert und zum anderen ein Auswertungs-Modul.
Sie schreiben, dass die Daten in einer Online-Datenbank gespeichert werden sollen. Bedeutet das, dass das Auswertungs-Modul als eine Web-Applikation entwickelt werden soll?
Der Web-Crawler kann zwar auch als Web-Applikation entwickelt werden, dies kann aber oft Probleme mit Laufzeit-Timeouts mit sich bringen.
Ich habe vor einigen Jahren eine solche Applikation (Web-Crawler und Auswertung) mit PHP entwickelt. Dabei wurden Produkte von bis zu 20 verschiedenen Shops (eBay, Amazon, staples, tiger, bestbuy, apple, ...) extrahiert. Die ebenfalls mit PHP entwickelte Auswertung ermöglichte dem Anwender die Ansicht der extrahierten Daten und den Verlauf über die Tage und Wochen.
Ich würde Ihnen folgende Systemstruktur vorschlagen:
- VPS - Windows - Server mit Web-Crawler als Service installiert
- Datenbank auf VPS - Windows-Server (egal, Vorschlag: mySQL)
- Auswertungs-Modul als Web-Applikation mit Java oder PHP (kann auch auf VPS installiert sein oder auf separatem Web-Server)
Wir sollten am Besten Ihr Vorhaben im Detail besprechen und ich erstelle Ihnen dann Komplettangebot.
Ich würde mich über eine Kontaktaufnahme freuen.
Mit freundlichen Grüssen
Boris Feifel