DLE Parser PRO

DLE Parser PRO, harici kaynaklardaki içeriklerin otomatik olarak içe aktarılması, işlenmesi, çevrilmesi ve yayımlanması için geliştirilmiş kapsamlı bir DataLife Engine çözümüdür. HTML ayrıştırma, RSS/Atom akışları, hibrit RSS + HTML modu, Sitemap üzerinden içe aktarma, görsel işleme, DLE ek alanları, kopya koruması, AI ile yeniden yazım ve DLE Multi-Language entegrasyonunu tek modülde birleştirir.

Sistem; haber siteleri, tematik portallar, bloglar, toplayıcılar ve içerik projeleri için tasarlandı. Bu projeler için önemli olan içeriği kopyalamak değil, yayına hazır bir gönderi elde etmektir: temizlenmiş HTML, yerel görseller, kategoriler, etiketler, ek alanlar, SEO dostu URL’ler, çeviriler ve işlemenin her aşaması için tanılama.

Modül mimarisi: dört ayrıştırma modu

HTML Parser — klasik web kazıma

• İçerikleri doğrudan kaynak sitenin HTML yapısından çıkarır
• İçerik listelerini doğru işler: ayrıştırıcı bulduğu her kapsayıcıyı dolaşır ve her bloğun içindeki bağlantıyı arar
• URL tabanlı ilerleme: son işlenen içerik sayfadaki sırasına göre değil, URL’sine göre takip edilir
• İşleme yönü seçimi: yeniden eskiye veya eskiden yeniye
• Ayarlanabilir sayfalama: /page/{page}/, ?page={page}, /p/{page}, /offset/{page} ve özel kalıplar
• Başlık, tam metin, kategoriler, ana görsel ve ek alanlar CSS seçicileriyle çıkarılır
• İçerik, tüm belge DOM’undan öğe silmeden, yalnızca seçilen blok içinde yerel olarak temizlenir
• Metindeki görseller otomatik indirilir, harici bağlantılar yerel bağlantılarla değiştirilir
• DLE ek alanları desteği: dosyalar, görseller, videolar, galeriler, HTML blokları ve metin değerleri

RSS/Atom Parser — haber akışlarıyla çalışma

• RSS 2.0, RSS 1.0 (RDF) ve Atom 1.0 desteği
• İçerik content:encoded, description ve Atom content’ten alınır
• media, content, dc ve atom namespace’lerinin işlenmesi
• Görseller enclosure, media:content, media:thumbnail, media:group ve HTML içerikten alınır
• Ana görsel ayrıca makale sayfasında Open Graph ve Twitter meta etiketleriyle aranır
• Akıştaki kategoriler çıkarılır ve DLE kategorileriyle eşleştirilir
• new_to_old ve old_to_new modları için ayrı cursor stratejisi; RSS’in üstündeki yeni içerikler atlanmaz
• RSS içeriği, hariç tutma seçicileriyle reklam ve servis bloklarından temizlenir

Hybrid Parser — RSS ve HTML bir arada

• RSS, güncel içeriklerin listesini hızla almak için kullanılır
• HTML sayfası; tam metin, görseller, kategoriler ve ek alanlar için kullanılır
• Kategori birleştirme politikalı HTML category selector: RSS first, HTML fallback veya HTML priority
• Sorunlu bir içerikte takılıp kalmaz: item-level failure tracking, fail cursor advancement ve yeniden deneme limiti
• RSS ve HTML verileri, daha eksiksiz kaynağa öncelik verilerek birleştirilir
• Medya ve ek alanlar makalenin HTML sürümünden indirilir
• RSS’te yalnızca özetin, sayfada ise tam içeriğin bulunduğu siteler için en uygun mod

Sitemap Parser — sitemap.xml’den içe aktarma

• Normal sitemap.xml dosyaları ve iç içe sitemap’ler içeren sitemap index desteği
• İçerik URL’lerinin listesi Sitemap’ten otomatik alınır
• Tekrarlanan çalıştırmaları hızlandırmak ve kaynak sitenin yükünü azaltmak için sitemap envanteri önbelleğe alınır
• İşleme yönü seçimi: yeniden eskiye veya eskiden yeniye
• Başlık, tam metin, kategoriler, görseller ve ek alanlar CSS seçicileriyle çıkarılır
• Toplam URL sayısı ve işleme ilerlemesi takip edilir
• Daha önce içe aktarılmış içeriklerin yeniden yayımlanması engellenir

AI ile yeniden yazım, çeviri ve DLE Multi-Language

DeepSeek ve OpenAI ile AI işleme

• AI sağlayıcısı olarak DeepSeek veya OpenAI
• Başlığın, kısa açıklamanın ve tam metnin yeniden yazılması
• Uzun makalelerin güvenli parçalara bölünerek chunk tabanlı işlenmesi
• Yeniden yazım ve çeviri sırasında HTML yapısı korunur: paragraflar, listeler, başlıklar, blockquote, code/pre
• Medya öğeleri AI işlemesinden önce korunur: görseller, figure, picture, iframe, video ve pre/code blokları geçici olarak işaretçilerle değiştirilir
• AI işlemesinden sonra medya öğeleri otomatik geri yüklenir
• Başlık, kısa açıklama, tam metin ve etiketler için ayarlanabilir istemler
• AI metnin bir kısmını kaynak dilde bıraktıysa şüpheli parçalar yeniden işlenir
• Bozuk listeleri ve kapanmamış etiketleri önlemek için AI yanıtından sonra HTML ayrıca normalleştirilir

DLE Multi-Language entegrasyonu

• Etkin diller DLE Multi-Language yapılandırmasından otomatik belirlenir
• Dil sütunları doldurulur: title_{iso}, short_story_{iso}, full_story_{iso}, tags_{iso}
• Tam içerik, kısa açıklama, başlık ve etiketler her etkin dile çevrilir
• Ana dil sürümü çevirilerden ayrı saklanır
• Her dil sürümü için çevrilmiş başlıktan alt_name üretilir
• Veritabanı hatalarını önlemek için kaydetmeden önce dil sütunlarının varlığı kontrol edilir
• Etiket fallback’i: AI etiketleri çeviremediyse modül etiketleri önceden çevrilmiş içerikten oluşturur
• Farklı dil senaryoları desteklenir: sitenin ana dili kaynak sitenin dilinden farklı olabilir

Yayımlamadan önce test ve önizleme

Gerçek bir dry-run pipeline

• Kaynağın test edilmesi gerçek ayrıştırmayla aynı pipeline’ı kullanır
• Dry-run modu içeriği veritabanına kaydetmez, ama işlemenin nihai sonucunu gösterir
• Önizleme; nihai başlığı, kısa açıklamayı, tam metni, kategorileri, görselleri, xfields’i, etiketleri ve kopya kararını içerir
• Temizleme, AI ile yeniden yazım, çeviri, görsel indirme ve ek alan işlemesinden sonraki gerçek sonucu görürsünüz
• Arayüz, tam simülasyonun birkaç dakika sürebileceği ve AI/API istekleri kullanabileceği konusunda uyarır
• Test sonucu, gerçek CRON çalıştırmasında yayımlanacak olana olabildiğince yakındır

CSS seçicileri ve veri çıkarma

Genişletilmiş selector engine

• Temel CSS seçicileri: etiketler, sınıflar, ID’ler, öznitelikler
• Virgülle ayrılmış gruplar: h1, .title, [itemprop="headline"]
• İç içe öğeler, doğrudan alt öğeler ve komşu öğeler: .article .text, .post > p, h1 + .lead
• Tek öğede birden fazla sınıf: .post.featured
• Öznitelikler: [href], [data-src], [itemprop="articleBody"], [class*="content"]
• Bir dizi sözde sınıf: desteklenen sınırlar içinde :first-child, :last-child, :nth-child(), :contains(), :not(), :is(), :where(), :has()
• Test modunda çok karmaşık veya desteklenmeyen seçiciler için uyarılar
• Yönetim panelinde örneklerle ve desteklenen sözdiziminin açıklamasıyla ayrıntılı yardım

DLE ek alanları

Dosya, medya ve galeri indirme

• Her kaynak için istenen sayıda ek alan
• Her alan için CSS seçici, çıkarma özniteliği ve işlem türü belirlenir
• Desteklenen öznitelikler: href, src, data-src, data-href, content, text, html
• Desteklenen işlemler: URL/metni kaydet, dosya indir, görsel indir, video indir, harici videoyu kaydet, galeri oluştur
• Galeriler bulunan tüm öğeleri otomatik dolaşır ve sonucu DLE biçiminde kaydeder
• Dosyalar ve videolar uploads/public_files/ klasörüne kaydedilir
• Görseller boyut meta verileriyle birlikte uploads/posts/ klasörüne kaydedilir
• HTML blokları, içerik temizleme politikası uygulanarak ek alanlara kaydedilebilir

Görseller ve medya

Profesyonel görsel işleme

• Tam metindeki görseller otomatik indirilir
• HTTPS, yönlendirmeler ve göreli URL’ler desteklenir
• Görseller tarihe göre klasörlenerek saklanır
• İçerikteki harici URL’ler yerel kopyalarla değiştirilir
• JPEG, PNG, GIF ve WebP desteği
• İsteğe bağlı WebP dönüştürme
• Dönüştürme kapalıyken özgün biçim doğru şekilde korunur
• GD veya Imagick ile oranları koruyarak yeniden boyutlandırma
• Görseller figure, picture, img, srcset, lazy-load öznitelikleri ve meta etiketlerden çıkarılır

Kategoriler ve etiketler

Akıllı kategori yönetimi

• Kategoriler RSS, HTML ve Sitemap sayfalarından çıkarılır
• Kaynak site kategorilerinin DLE kategorileriyle görsel eşleştirilmesi
• Eşleşmeyen içerikler için varsayılan kategori
• Bir içerik için birden fazla kategori
• Hybrid modunda RSS ve HTML’den gelen kategoriler için birleştirme politikası

Etiket üretimi ve çevirisi

• Etiketler AI ile otomatik üretilir
• AI geçerli bir sonuç döndürmezse kategorilerden, başlıktan ve metinden fallback üretimi
• DLE Multi-Language için etiket çevirisi
• AI etiket çevirisi kullanılamıyorsa tags_{iso} için çevrilmiş içerikten fallback
• Etiket listesinin normalleştirilmesi: gereksiz ifadeler, tekrarlar ve fazla uzun kalıplar temizlenir

Kopya koruması ve güvenilir ilerleme

Kopya önleme sistemi

• Kopya kontrolünden önce URL’ler normalleştirilir
• source_url, GUID, başlık ve içerik fingerprint’ine göre kontrol
• Kopya atlaması, sahte kaydetme hatası olmadan doğru işlenir
• Kaynak tamamen sıfırlandığında dedupe ilerlemesi temizlenir
• URL parametreleri, sondaki eğik çizgi veya izleme parametreleri değişse bile tekrar yayımlama engellenir

İlerleme ve cursor modeli

• HTML kaynakları sayfadaki konum sayacı yerine URL cursor kullanır
• RSS ve Sitemap, new_to_old ve old_to_new için ayrı stratejiler kullanır
• Hybrid modu kontrollü hatalarda bile cursor’u ilerletir; kaynak tek bir içerikte takılı kalmaz
• İlerlemeyi sıfırlamak kaynağın ilgili dedupe kayıtlarını da temizler

Yapılandırılmış kayıtlar, istatistik ve izleme

Yapılandırılmış kayıtlar

• Ayrıştırmanın her aşaması structured event olarak kaydedilir
• Kayıt; source_id, source_type, source_name, item_url, stage, status, message, duration_ms ve ek bağlam içerir
• fetch, parse, download_images, ai_rewrite, translate, generate_tags, translate_tags, db_save ve kopya kontrolü aşamaları ayrı ayrı kaydedilir
• Kayıtlar, zamanın nerede harcandığını veya hatanın nerede oluştuğunu hızla anlamaya yardımcı olur

Kaynak sağlığı izleme

• Son başarılı çalıştırmanın takibi
• Fail streak — art arda kaç hata olduğu
• Duplicate rate — kaynağın kalitesini değerlendirmek için
• Average fetch time ve average run time
• Her kaynak için işlenen içeriklere dair daha doğru istatistikler

Cloudflare, proxy ve ağ katmanı

İki seviyeli koruma aşma sistemi

• Tarayıcı başlıklarını taklit eden gelişmiş cURL
• İstekler arasında cookie saklama
• Cloudflare ve JavaScript challenge’larını aşmak için FlareSolverr entegrasyonu
• İsteğe bağlı HTTP/SOCKS5 proxy desteği
• Koruma sayfası tespit edildiğinde FlareSolverr’a otomatik geçiş
• Korumayı aşmak gerekmediğinde normal cURL’e sorunsuz dönüş

Yönetim paneli

Kaynaklar ve ayarlar

• HTML, RSS/Atom, Hybrid ve Sitemap kaynakları ekleme ve düzenleme
• Kaynakları açma ve kapatma
• İlerlemeyi sıfırlama ve yeniden işleme
• Modlar, seçiciler, ek alanlar ve ayarlar hakkında ayrıntılı yardım
• Tam ayrıştırma simülasyonu başlatılırken sunucu limitleri hakkında uyarılar
• Yayımlamadan önce nihai gönderinin yerleşik önizlemesi
• DLE’nin eski ve yeni AJAX endpoint’leri desteği

Round-Robin zamanlayıcı

• Yük etkin kaynaklar arasında eşit dağıtılır
• Kaynaklar otomatik olarak sırayla işlenir
• Bir CRON çalıştırmasında işlenecek içerik sayısı ayarlanabilir
• CRON endpoint’i secret key ile korunur
• Her çalıştırma yapılandırılmış biçimde kaydedilir
• Aynı cron işleminin paralel çalışmasına karşı lock koruması

Kullanım avantajları

• Otomasyon: içeriği almaktan hazır gönderiyi DLE’ye kaydetmeye kadar tüm döngü
• Çok dillilik: DLE Multi-Language dil alanlarının otomatik doldurulması
• Esneklik: farklı kaynak türleri için dört çalışma modu
• İçerik kalitesi: AI ile yeniden yazım, çeviri, etiket üretimi ve korunan HTML yapısı
• Güvenilirlik: kopya koruması, sağlam cursor, kontrollü hata yönetimi
• Şeffaflık: yapılandırılmış kayıtlar, sağlık metrikleri ve yayından önce anlaşılır önizleme
• Medya: görsellerin, dosyaların, videoların ve galerilerin yerel saklanması
• Ölçeklenebilirlik: Round-Robin ile işlenen sınırsız sayıda kaynak
• Uyumluluk: güncel DLE sürümleri ve PHP 7.4–8.4 desteği

Kullanım senaryoları

• Haber toplayıcılar: birden fazla RSS, HTML ve Sitemap kaynağından düzenli içe aktarma
• Tematik bloglar: yabancı içeriğin sitenin ana diline uyarlanması ve çevrilmesi
• Çok dilli siteler: içeriklerin dil sürümlerinin otomatik doldurulması
• İnceleme portalları: incelemelerin, talimatların, rehberlerin ve teknik makalelerin aktarılması
• Bölgesel medya: yerel kaynaklardan yayınların toplanıp işlenmesi
• Eğitim projeleri: ders materyallerinin, kılavuzların ve dokümantasyonun aktarılması
• İçerik portalları: kopya, kategori ve etiket kontrolüyle bölümlerin toplu doldurulması

Teknik gereksinimler ve uyumluluk

• DLE: 14.x – 20.0
• PHP: 7.4 – 8.4
• PHP eklentileri: CURL, DOM, XPath, libxml, GD veya Imagick, JSON, mbstring
• MySQL/MariaDB: DLE sürümünüzün desteklediği uyumlu bir sürüm
• Erişim izinleri: /uploads/posts/, /uploads/public_files/, /engine/data/, /engine/cache/ klasörlerine yazma
• AI API: yeniden yazım, çeviri veya etiket üretimi kullanılıyorsa DeepSeek veya OpenAI
• CRON: görev zamanlayıcıyı ayarlama erişimi
• FlareSolverr: isteğe bağlı; yalnızca Cloudflare/JavaScript korumalı siteler için gerekir