Automat zbierający dane ze stron www i zapisujący wyniki do bazy danych

Napisanie programu/skryptu który odwiedza wybrane strony internetowe i przegląda wszystkie pod strony według wyrażeń regularnych. Zakładamy ze odwiedzane strony to będą blogi. Aplikacja może zahardcodować logikę dla 5 wskazanych blogów.

Aplikacja powinna zbierać wszystkie komentarze i zapisywać je do bazy danych wraz z metadanymi (autor, data). Przy odwiedzaniu danej witryny pierwszy raz musi przejrzeć wszystkie podstrony natomiast jak odświeżana jest baza wpisów to podstrony powstałe/dodane dawno temu mają być odświeżane rzadziej a te nowsze częściej. Jeśli aplikacja napotka nowe komentarze mają zostać dodane do bazy danych. Również fakt zmodyfikowania/usunięcia komentarza ma zostać odnotowany.

Poza samym skryptem oczekuje przygotowania i zaprojektowania samej bazy danych. oczekuje dostarczenia: skrypt tworzący bazę danych, aplikacje/scrypt do analizowania, oraz aplikacje www. Zależy mi aby cała logika była w aplikacji nie w serwerze bazodanowym. Zdaje sobie sprawę z niższej wydajności takiego rozwiązania.

Dodatkowo powinien być przygotowany interfejs WWW o następujących funkcjonalnościach:

• wyświetlenie wszystkich komentarz chronologicznie

• filtrowanie komentarzy na podstawie źródła, autora, czy zawiera linki, długości (ilość znaków większe niź, mniejsze niż)

• Możliwość wykrywania zmian w komentarzach, wyświetlania tylko zmienionych, tylko usuniętych komentarz.

Interfejs WWW jest najmniej istotny, szata graficzna jest nieistotna, wydajność jest na ostatnim miejscu, autor może spokojnie założyć ze aplikacja będzie wykorzystywana przez 4 użytkowników, żadnego logowania,

Zastosowane technologie

Preferowany Python, akceptowalny .NET, baza danych MySQL, PostgreSQL, Firebird, akceptowalny również MSSQL

C# Programming HTML5 Python SQL

Project ID: #7025726

About the project