Czego szukasz?

Wpisz temat, narzędzie lub problem do rozwiązania.

← Wszystkie artykuły

RSS i automatyzacja: jak zbierać nowe wpisy z wielu stron w jednym miejscu

Trzy strumienie jasnych kartek zbiegają się w stos pod pomarańczowym symbolem RSS

RSS pozwala zbierać nowe wpisy z wielu stron bez ręcznego odwiedzania każdej z nich. Kanał udostępnia uporządkowaną listę publikacji, którą może odczytać czytnik, skrypt albo workflow. Najwięcej pracy zaczyna się jednak po pobraniu danych: trzeba rozpoznać nowości, uniknąć duplikatów i nie zgubić wpisów podczas błędu.

W tym poradniku zbudujemy prosty model takiego procesu i sprawdzimy jego część odpowiedzialną za zapis. Przykład SQLite można wykorzystać niezależnie od tego, czy kanały pobierasz własnym programem, czy przez n8n.

Kanał nie jest kopią całej strony

RSS zwykle zawiera tytuł, link, identyfikator i opis elementu. Wydawca decyduje, czy opis jest skrótem, czy pełniejszą treścią. Kanał może obejmować tylko ostatnie publikacje, więc nie traktuj go jako gwarantowanego archiwum.

Atom rozwiązuje podobny problem, ale ma inny format i reguły identyfikatorów. Czytnik obsługujący oba warianty może przedstawić je w jednej liście. Skrypt powinien korzystać z parsera danego formatu, zamiast wyszukiwać tagi wyrażeniem regularnym.

W RSS identyfikator guid nie musi być adresem strony. W Atom element id również należy traktować zgodnie ze znaczeniem identyfikatora, a nie automatycznie otwierać jako URL.

Kanał Trybu Technicznego jest dostępny pod adresem RSS bloga. To dobry punkt startowy do czytnika i kontrolowanego testu odczytu.

Najprostszy proces zbierania nowości

Rozdziel zadanie na etapy:

  1. Pobierz kanał z listy zaufanych adresów.
  2. Sprawdź odpowiedź HTTP i limit rozmiaru.
  3. Przetwórz dokument parserem RSS lub Atom.
  4. Zamień elementy na wspólny format wewnętrzny.
  5. Zapisz nieznane identyfikatory.
  6. Osobno obsłuż wysłanie zestawienia lub dalsze przetwarzanie.

Takie rozdzielenie pozwala ponowić pobranie bez automatycznego ponowienia wszystkich skutków ubocznych. Awaria kanału jednej strony nie powinna kasować wcześniej zapisanych wpisów z innych źródeł.

Do cyklicznego uruchomienia wystarczy cron. Gdy planujesz filtrowanie, kilka integracji i czytelny widok przebiegów, rozważ porównanie crona i n8n.

Wspólny format danych

Na granicy parsera przygotuj niewielki rekord:

{
  "id": "article-42",
  "title": "Przykładowy poradnik",
  "url": "https://example.com/poradnik/"
}

To syntetyczny przykład. Identyfikator pochodzi z kanału, a adres jest linkiem do publikacji. Tytuł nie nadaje się na klucz unikalny: może się zmienić albo powtórzyć.

Jeśli źródło nie podaje stabilnego identyfikatora, przyjmij jawną strategię zastępczą, na przykład kanoniczny link. Sprawdź wtedy, jak obsłużysz zmianę adresu i parametry śledzące. Nie wymyślaj nowego losowego ID przy każdym pobraniu, bo każdy przebieg uzna stare wpisy za nowe.

Datę publikacji warto zachować, lecz nie używać jako jedynego mechanizmu deduplikacji. Wydawca może poprawić czas, opublikować starszy materiał albo dodać kilka wpisów w tej samej sekundzie.

Zapis bez duplikatów w SQLite

Poniższy moduł przyjmuje już sparsowane rekordy. Zapisz go jako store.py:

import sqlite3

def save_entries(connection, feed_url, entries):
    connection.execute('''CREATE TABLE IF NOT EXISTS entries(
        feed TEXT NOT NULL, entry_id TEXT NOT NULL,
        title TEXT NOT NULL, url TEXT NOT NULL,
        PRIMARY KEY(feed, entry_id))''')
    inserted = 0
    with connection:
        for item in entries:
            if not item.get('id'):
                raise ValueError('Missing stable entry ID')
            cursor = connection.execute(
                'INSERT OR IGNORE INTO entries VALUES (?, ?, ?, ?)',
                (feed_url, item['id'], item['title'], item['url']))
            inserted += cursor.rowcount
    return inserted

Klucz składa się z adresu kanału i identyfikatora elementu. Dzięki temu identyczne ID pochodzące od dwóch różnych wydawców nie oznacza automatycznie tej samej publikacji.

Przykładowe wywołanie:

import sqlite3
from store import save_entries

items = [{"id": "article-42", "title": "Przykład",
          "url": "https://example.com/poradnik/"}]
with sqlite3.connect("feeds.db") as connection:
    print(save_entries(connection, "https://example.com/feed/", items))

Pierwsze uruchomienie doda jeden rekord, kolejne zero. Parametry SQL są przekazywane osobno od tekstu zapytania. Transakcja pozwala wycofać nowe wpisy z partii, jeżeli pojawi się brak identyfikatora.

W teście sprawdzono pierwszy zapis, ponowienie, ten sam identyfikator w innym kanale i wycofanie błędnej partii. Nie był to test kompletnego klienta sieciowego ani dostarczania newslettera.

Przykład ignoruje aktualizacje już znanych elementów. Jeśli chcesz śledzić poprawki tytułu, dodaj osobną politykę aktualizacji oraz czas ostatniego odczytu. Zmiana tytułu nie musi oznaczać nowego powiadomienia.

Pobieranie powinno szanować serwer źródłowy

Nie ma potrzeby pobierać każdego kanału co kilka sekund. Dobierz częstotliwość do tempa publikacji i akceptowalnego opóźnienia.

Jeżeli serwer zwraca ETag, można zachować tę wartość i użyć If-None-Match w kolejnym żądaniu. Odpowiedź 304 oznacza brak nowej reprezentacji do pobrania w tym mechanizmie. Nie próbuj parsować jej jak świeżego dokumentu XML.

Ustaw timeout oraz ograniczenie rozmiaru odpowiedzi. Kontroluj przekierowania i nie pobieraj dowolnego adresu dostarczonego przez anonimowego użytkownika bez dodatkowych ograniczeń. Dla prywatnego agregatora najprostsza jest stała lista znanych kanałów.

Podstawy diagnostyki odpowiedzi pokazuje testowanie API przez cURL. Zasady timeoutu i kodów HTTP są przydatne również przy RSS.

Zapis i wysyłka to dwa różne etapy

Jeżeli po zapisaniu wpisu proces padnie przed wysłaniem wiadomości, prosty znacznik „już widziano” może spowodować pominięcie powiadomienia. Jeśli wyślesz wiadomość przed zapisem i wtedy nastąpi błąd, ponowienie może wysłać ją drugi raz.

Rozwiązaniem jest osobny stan dostarczenia. Zapisuj nową publikację i zadanie wysyłki w jednej transakcji. Następny etap pobiera oczekujące zadania, wysyła je i zapisuje wynik. Nadal trzeba uwzględnić możliwość niejednoznacznego timeoutu u odbiorcy.

Nie obiecuj „dokładnie jednej wiadomości” bez mechanizmu potwierdzania i deduplikacji po stronie docelowej. Praktyczne zasady omawia retry w automatyzacji.

Co monitorować w agregatorze

Zapisuj czas ostatniego poprawnego pobrania osobno dla każdego kanału, liczbę nowych elementów i kategorię błędu. Brak nowych wpisów jest normalny; brak udanego odczytu przez kilka dni może oznaczać problem.

Treść kanału traktuj jako dane zewnętrzne. Nie renderuj surowego HTML bez oczyszczenia i nie pozwalaj, aby tekst artykułu sterował późniejszymi narzędziami AI. Zasady rejestrowania wyników znajdziesz w monitorowaniu własnych automatyzacji.

Najczęstsze pytania

Czy RSS obejmuje wszystkie stare wpisy?

Nie musi. Wiele kanałów publikuje ograniczoną liczbę najnowszych elementów.

Czy tytuł wystarczy do wykrywania duplikatów?

Nie. Używaj stabilnego identyfikatora w kontekście danego kanału i jawnej strategii dla źródeł bez ID.

Czy przykład pobiera kanał z internetu?

Nie. Testowany moduł odpowiada za zapis już przygotowanych rekordów. Warstwę HTTP i parser trzeba dodać osobno.

Czy brak nowych wpisów oznacza awarię?

Nie. Kontroluj przede wszystkim poprawność ostatniego pobrania, a liczbę publikacji interpretuj w kontekście źródła.

Źródła

Data publikacji: 15.11.2026.

KP
O AUTORZE

Krystian Proć

Tworzę narzędzia do pracy z danymi, systemy backendowe i automatyzacje. Pracuję z SQL, PHP, TypeScriptem i Dockerem; rozwijam m.in. dragon-island.com. AI pomaga mi przyspieszać pracę, a architekturę, weryfikację i decyzje techniczne biorę na siebie. Na Trybie Technicznym dzielę się doświadczeniami z budowania i utrzymywania własnych projektów.

Dyskusja

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *