DLE Parser PRO

DLE Parser PRO, harici kaynaklardaki içeriklerin otomatik olarak içe aktarılması, işlenmesi, çevrilmesi ve yayımlanması için geliştirilmiş kapsamlı bir DataLife Engine çözümüdür. HTML ayrıştırma, RSS/Atom akışları, hibrit RSS + HTML modu, Sitemap üzerinden içe aktarma, görsel işleme, DLE ek alanları, kopya koruması, AI ile yeniden yazım ve DLE Multi-Language entegrasyonunu tek modülde birleştirir.

Sistem; haber siteleri, tematik portallar, bloglar, toplayıcılar ve içerik projelerinin sahipleri için tasarlandı. Onlar için önemli olan içeriği yalnızca kopyalamak değil, yayına hazır bir gönderi elde etmektir: temizlenmiş HTML, yerel görseller, kategoriler, etiketler, ek alanlar, SEO dostu URL’ler, çeviriler ve işlemenin her aşaması için tanılama.

Öne çıkanlar

• Dört mod: HTML sayfaları, RSS/Atom, hibrit RSS + HTML ve Sitemap — neredeyse her site bağlanabilir
• Seçiciler sorun değil: AI önerir; bir seçici işe yaramazsa modül makaleyi sayfada kendisi bulur — menü, yorum ve reklam olmadan
• İstediğiniz AI: DeepSeek, OpenAI, Claude, Gemini, OpenRouter ve OpenAI uyumlu API’ye sahip her servis — yeniden yazım, çeviri, etiketler ve meta açıklama
• Güncel modeller kendiliğinden: anahtar girilir girilmez model listesi fiyatlarıyla birlikte sağlayıcıdan yüklenir
• Hazır haber: görseller sizin sunucunuzda, kategoriler, etiketler, SEO dostu URL, ek alanlar ve SEO — tıpkı DLE yönetim panelinden eklerken olduğu gibi
• Tam kontrol: filtreler, değiştirmeler, kaynak başına limitler, kopya koruması ve yayımlamadan önce önizlemeli test

Modül mimarisi: dört ayrıştırma modu

HTML Parser — klasik web kazıma

• İçerikleri doğrudan kaynak sitenin HTML yapısından çıkarır
• İçerik listelerini doğru işler: ayrıştırıcı bulduğu her kapsayıcıyı dolaşır ve her bloğun içindeki bağlantıyı arar
• URL tabanlı ilerleme: son işlenen içerik sayfadaki sırasına göre değil, URL’sine göre takip edilir
• İşleme yönü seçimi: yeniden eskiye veya eskiden yeniye
• Ayarlanabilir sayfalama: /page/{page}/, ?page={page}, /p/{page}, /offset/{page} ve özel kalıplar
• Başlık, tam metin, kategoriler, ana görsel ve ek alanlar CSS seçicileriyle çıkarılır
• İçerik, tüm belge DOM’undan öğe silmeden, yalnızca seçilen blok içinde yerel olarak temizlenir
• Metindeki görseller otomatik indirilir, harici bağlantılar yerel bağlantılarla değiştirilir
• DLE ek alanları desteği: dosyalar, görseller, videolar, galeriler, HTML blokları ve metin değerleri

RSS/Atom Parser — haber akışlarıyla çalışma

• RSS 2.0, RSS 1.0 (RDF) ve Atom 1.0 desteği
• İçerik content:encoded, description ve Atom content’ten alınır
• media, content, dc ve atom namespace’lerinin işlenmesi
• Görseller enclosure, media:content, media:thumbnail, media:group ve HTML içerikten alınır
• Ana görsel ayrıca makale sayfasında Open Graph ve Twitter meta etiketleriyle aranır
• Akıştaki kategoriler çıkarılır ve DLE kategorileriyle eşleştirilir
• new_to_old ve old_to_new modları için ayrı cursor stratejisi; RSS’in üstündeki yeni içerikler atlanmaz
• RSS içeriği, hariç tutma seçicileriyle reklam ve servis bloklarından temizlenir

Hybrid Parser — RSS ve HTML bir arada

• RSS, güncel içeriklerin listesini hızla almak için kullanılır
• HTML sayfası; tam metin, görseller, kategoriler ve ek alanlar için kullanılır
• Kategori birleştirme politikalı HTML category selector: RSS first, HTML fallback veya HTML priority
• Sorunlu bir içerikte takılıp kalmaz: item-level failure tracking, fail cursor advancement ve yeniden deneme limiti
• RSS ve HTML verileri, daha eksiksiz kaynağa öncelik verilerek birleştirilir
• Medya ve ek alanlar makalenin HTML sürümünden indirilir
• RSS’te yalnızca özetin, sayfada ise tam içeriğin bulunduğu siteler için en uygun mod

Sitemap Parser — sitemap.xml’den içe aktarma

• Normal sitemap.xml dosyaları ve iç içe sitemap’ler içeren sitemap index desteği
• İçerik URL’lerinin listesi Sitemap’ten otomatik alınır
• Tekrarlanan çalıştırmaları hızlandırmak ve kaynak sitenin yükünü azaltmak için sitemap envanteri önbelleğe alınır
• İşleme yönü seçimi: yeniden eskiye veya eskiden yeniye
• Başlık, tam metin, kategoriler, görseller ve ek alanlar CSS seçicileriyle çıkarılır
• Toplam URL sayısı ve işleme ilerlemesi takip edilir
• Daha önce içe aktarılmış içeriklerin yeniden yayımlanması engellenir

AI ile yeniden yazım, çeviri ve DLE Multi-Language

AI işleme: altı sağlayıcı seçeneği

• DeepSeek, OpenAI, Anthropic Claude, Google Gemini, OpenRouter ve OpenAI uyumlu API’ye sahip her servis: Groq, Mistral, xAI, Together, Fireworks, Moonshot, Z.ai, Qwen, YandexGPT ve yerel Ollama ile LM Studio
• Anahtar girilir girilmez güncel modeller sağlayıcıdan otomatik yüklenir: arama ve 1 milyon token fiyatı içeren sade bir liste; istenen model elle de girilebilir
• “Test connection” düğmesi — modele token tüketimi ve fiyatıyla birlikte kısa bir istek
• Sonuç dili: başlık, metin, açıklama ve etiketler seçilen dilde yazılır — yabancı kaynakları çevirmek için kullanışlı
• AI ile haber meta açıklaması (140–160 karakter) ve meta etiketlerin otomatik doldurulması
• Uyarı veya AI işlemesini durdurma seçenekli aylık harcama limiti; modellere göre harcamalar “Statistics” sekmesinde görünür
• Servis aşırı yüklendiğinde yeniden deneme ve eski ayarları kabul etmeyen modeller için parametrelerin otomatik uyarlanması
• Başlığın, kısa açıklamanın ve tam metnin yeniden yazılması
• Uzun makalelerin güvenli parçalara bölünerek chunk tabanlı işlenmesi
• Yeniden yazım ve çeviri sırasında HTML yapısı korunur: paragraflar, listeler, başlıklar, blockquote, code/pre
• Medya öğeleri AI işlemesinden önce korunur: görseller, figure, picture, iframe, video ve pre/code blokları geçici olarak işaretçilerle değiştirilir
• AI işlemesinden sonra medya öğeleri otomatik geri yüklenir
• Başlık, kısa açıklama, tam metin ve etiketler için ayarlanabilir istemler
• AI metnin bir kısmını kaynak dilde bıraktıysa şüpheli parçalar yeniden işlenir
• Bozuk listeleri ve kapanmamış etiketleri önlemek için AI yanıtından sonra HTML ayrıca normalleştirilir

DLE Multi-Language entegrasyonu

• Etkin diller DLE Multi-Language yapılandırmasından otomatik belirlenir
• Dil alanları doldurulur: her dil için başlık, kısa ve tam açıklama, etiketler, haber adresi (SEO dostu URL), meta açıklama ve anahtar kelimeler
• Bir dile çeviri başarısız olursa o dil sürümü kaydedilmez — kaynak dildeki metin başka dilin alanına düşmez
• Tam içerik, kısa açıklama, başlık ve etiketler her etkin dile çevrilir
• Ana dil sürümü çevirilerden ayrı saklanır
• Veritabanı hatalarını önlemek için kaydetmeden önce dil sütunlarının varlığı kontrol edilir
• Etiket fallback’i: AI tags’i çeviremediyse modül etiketleri önceden çevrilmiş içerikten oluşturur
• Farklı dil senaryoları desteklenir: sitenin ana dili kaynak sitenin dilinden farklı olabilir

Kaynak bazında filtreler, değiştirmeler ve yayımlama

• Zorunlu kelimeler ve yasaklı kelimeler, minimum metin uzunluğu, içeriğin maksimum yaşı — token harcamamak için AI’dan önce kontrol edilir
• Kurallara göre metin değiştirme, düzenli ifadelerle de
• Her kaynak için: hemen yayımla veya moderasyona gönder, haber yazarı, ana sayfada gösterim, yorum izni ve günlük haber limiti
• Kaynakları dosyaya dışa ve içe aktarma — ayarları siteler arasında bir dakikada taşıyın

Yayımlamadan önce test ve önizleme

Gerçek bir dry-run pipeline

• Kaynağın test edilmesi gerçek ayrıştırmayla aynı pipeline’ı kullanır
• Dry-run modu içeriği veritabanına kaydetmez, ama işlemenin nihai sonucunu gösterir
• Önizleme; nihai başlığı, kısa açıklamayı, tam metni, kategorileri, görselleri, xfields’i, tags’i ve duplicate verdict’i içerir
• Test; temizleme, AI ile yeniden yazım, çeviri, görsel indirme ve ek alan işlemesinden sonraki gerçek sonucu görmenizi sağlar
• Arayüze bir uyarı eklendi: tam simülasyon birkaç dakika sürebilir ve AI/API istekleri kullanabilir
• Test sonucu, gerçek CRON çalıştırmasında yayımlanacak olana olabildiğince yakındır

CSS seçicileri ve veri çıkarma

Genişletilmiş selector engine

• Temel CSS seçicileri desteği: etiketler, sınıflar, ID’ler, öznitelikler
• Virgülle ayrılmış grup desteği: h1, .title, [itemprop="headline"]
• İç içe öğeler, doğrudan alt öğeler ve komşu öğeler desteği: .article .text, .post > p, h1 + .lead
• Tek öğede birden fazla sınıf desteği: .post.featured
• Öznitelik desteği: [href], [data-src], [itemprop="articleBody"], [class*="content"]
• Bir dizi sözde sınıf desteği: desteklenen sınırlar içinde :first-child, :last-child, :nth-child(), :contains(), :not(), :is(), :where(), :has()
• Test modunda çok karmaşık veya desteklenmeyen seçiciler için uyarılar
• Yönetim panelinde örneklerle ve desteklenen sözdiziminin açıklamasıyla ayrıntılı yardım

DLE ek alanları

Dosya, medya ve galeri indirme

• Her kaynak için istenen sayıda ek alan ayarlanabilir
• Her alan için CSS seçici, çıkarma özniteliği ve işlem türü belirlenir
• Desteklenen öznitelikler: href, src, data-src, data-href, content, text, html
• Desteklenen işlemler: URL/metni kaydet, dosya indir, görsel indir, video indir, harici videoyu kaydet, galeri oluştur
• Galeriler bulunan tüm öğeleri otomatik dolaşır ve sonucu DLE biçiminde kaydeder
• Dosyalar ve videolar uploads/public_files/ klasörüne kaydedilir
• Görseller boyut meta verileriyle birlikte uploads/posts/ klasörüne kaydedilir
• HTML blokları, içerik temizleme politikası uygulanarak ek alanlara kaydedilebilir

Görseller ve medya

Profesyonel görsel işleme

• Tam metindeki görseller otomatik indirilir
• HTTPS, yönlendirmeler ve göreli URL’ler desteklenir
• Görseller tarihe göre klasörlenerek saklanır
• İçerikteki harici URL’ler yerel kopyalarla değiştirilir
• JPEG, PNG, GIF, WebP ve AVIF desteği
• İsteğe bağlı WebP veya AVIF dönüştürme
• Minimum görsel genişliği — simgeler ve sayaçlar habere girmez
• DLE şablonunuzdan filigran
• Maksimum genişlik ve yüksekliğe göre orantılı küçültme
• Dönüştürme kapalıyken özgün biçim doğru şekilde korunur
• GD veya Imagick ile oranları koruyarak yeniden boyutlandırma
• Görseller figure, picture, img, srcset, lazy-load öznitelikleri ve meta etiketlerden çıkarılır

Kategoriler ve etiketler

Akıllı kategori yönetimi

• Kategoriler RSS, HTML ve Sitemap sayfalarından çıkarılır
• Kaynak site kategorilerinin DLE kategorileriyle görsel eşleştirilmesi
• Eşleşmeyen içerikler için varsayılan kategori desteği
• Bir içerik için birden fazla kategori desteği
• Hybrid modunda RSS ve HTML’den gelen kategoriler için birleştirme politikası

Etiket üretimi ve çevirisi

• Etiketler AI ile otomatik üretilir
• AI geçerli bir sonuç döndürmezse kategorilerden, başlıktan ve metinden fallback etiket üretimi
• DLE Multi-Language için etiket çevirisi
• AI etiket çevirisi kullanılamıyorsa tags_{iso} için çevrilmiş içerikten fallback
• Etiket listesinin normalleştirilmesi: gereksiz ifadeler, tekrarlar ve fazla uzun kalıplar temizlenir

Kopya koruması ve güvenilir ilerleme

Kopya önleme sistemi

• Kopya kontrolünden önce URL’ler normalleştirilir
• source_url, GUID, başlık ve içerik fingerprint’ine göre kontrol
• Duplicate skip, sahte kaydetme hatası olmadan doğru işlenir
• Kaynak tamamen sıfırlandığında dedupe ilerlemesi temizlenir
• URL parametreleri, trailing slash veya tracking parametreleri değişse bile tekrar yayımlama engellenir

Progress ve cursor modeli

• HTML kaynakları sayfadaki konum sayacı yerine URL cursor kullanır
• RSS ve Sitemap, new_to_old ve old_to_new için ayrı stratejiler kullanır
• Hybrid modu kontrollü hatalarda bile cursor’u ilerletir; kaynak tek bir içerikte takılı kalmaz
• İlerlemeyi sıfırlamak kaynağın ilgili dedupe kayıtlarını da temizler

Structured logs, istatistik ve izleme

Yapılandırılmış kayıtlar

• Ayrıştırmanın her aşaması structured event olarak kaydedilir
• Kayıt; source_id, source_type, source_name, item_url, stage, status, message, duration_ms ve ek bağlam içerir
• fetch, parse, download_images, ai_rewrite, translate, generate_tags, translate_tags, db_save ve duplicate check aşamaları ayrı ayrı kaydedilir
• Kayıtlar, zamanın nerede harcandığını veya hatanın nerede oluştuğunu hızla anlamaya yardımcı olur

Kaynakların health monitoring’i

• Son başarılı çalıştırmanın takibi
• Fail streak — art arda kaç hata olduğunu görmek için
• Duplicate rate — kaynağın kalitesini değerlendirmek için
• Average fetch time ve average run time
• Her source için işlenen içeriklere dair daha doğru istatistikler

Cloudflare, proxy ve ağ katmanı

İki seviyeli koruma aşma sistemi

• Tarayıcı başlıklarını taklit eden Enhanced cURL
• İstekler arasında cookie persistence desteği
• Cloudflare ve JavaScript challenge’larını aşmak için FlareSolverr entegrasyonu
• İsteğe bağlı HTTP/SOCKS5 proxy desteği
• Koruma sayfası tespit edildiğinde FlareSolverr’a otomatik geçiş
• Korumayı aşmak gerekmediğinde normal cURL’e graceful fallback

Yönetim paneli

Kaynak ve ayar yönetimi

• HTML, RSS/Atom, Hybrid ve Sitemap kaynakları ekleme ve düzenleme
• Kaynakları açma ve kapatma
• İlerlemeyi sıfırlama ve yeniden işleme
• Rusça, İngilizce, Ukraynaca ve İspanyolca arayüz; DLE yönetim paneli tarzında ve hiçbir ekranda yatay kaydırma olmadan
• Sorunlarda anlaşılır ipuçları: site sayfalarını betiklerle oluşturuyorsa veya robotlara kapalıysa modül doğrudan RSS’ini ya da sitemap’ini bağlamanızı önerir
• Ayrıntılı dokümantasyon: doc.dlemod.com
• Tam ayrıştırma simülasyonu başlatılırken sunucu limitleri hakkında uyarılar
• Yayımlamadan önce nihai içeriğin yerleşik preview’ı
• DLE’nin eski ve yeni AJAX endpoint’leri desteği

Güvenlik

• Kaynak içerikler zararlı koddan temizlenir: betikler, tehlikeli öznitelikler ve yabancı sitelerden gelen iframe’ler kaldırılır
• Sayfa, görsel ve dosya indirirken sunucunun iç adreslerine yapılan isteklere karşı koruma
• Tüm yönetim paneli işlemleri istek sahteciliğine karşı korunur; ayarlardaki AI anahtarları gizlenir

Round-Robin zamanlayıcı

• Yük etkin kaynaklar arasında eşit dağıtılır
• Kaynakların otomatik rotasyonu
• Bir CRON çalıştırmasında işlenecek içerik sayısı ayarlanabilir
• CRON endpoint’i secret key ile korunur
• Her çalıştırmanın structured logging’i
• Aynı cron işleminin paralel çalışmasına karşı lock koruması

Kullanım avantajları

• Otomasyon: içeriği almaktan hazır gönderiyi DLE’ye kaydetmeye kadar tüm döngü
• Çok dillilik: DLE Multi-Language dil alanlarının otomatik doldurulması
• Esneklik: farklı kaynak türleri için dört çalışma modu
• İçerik kalitesi: AI ile yeniden yazım, çeviri, etiket üretimi ve korunan HTML yapısı
• Güvenilirlik: kopya koruması, sağlam cursor, controlled failure handling
• Şeffaflık: structured logs, health metrics ve yayından önce anlaşılır preview
• Medya: görsellerin, dosyaların, videoların ve galerilerin yerel saklanması
• Ölçeklenebilirlik: Round-Robin ile işlenen sınırsız sayıda kaynak
• Uyumluluk: güncel DLE sürümleri ve PHP 7.4-8.4 desteği

Kullanım senaryoları

• Haber toplayıcılar: birden fazla RSS, HTML ve Sitemap kaynağından düzenli içe aktarma
• Tematik bloglar: yabancı içeriğin sitenin ana diline uyarlanması ve çevrilmesi
• Çok dilli siteler: içeriklerin dil sürümlerinin otomatik doldurulması
• İnceleme portalları: incelemelerin, talimatların, rehberlerin ve teknik makalelerin aktarılması
• Bölgesel medya: yerel kaynaklardan yayınların toplanıp işlenmesi
• Eğitim projeleri: ders materyallerinin, kılavuzların ve dokümantasyonun aktarılması
• İçerik portalları: kopya, kategori ve etiket kontrolüyle bölümlerin toplu doldurulması

Teknik gereksinimler ve uyumluluk

• DLE: 15.1 – 21.0
• PHP: 7.4 - 8.4
• PHP eklentileri: CURL, DOM, XPath, libxml, GD veya Imagick, JSON, mbstring
• MySQL/MariaDB: DLE sürümünüzün desteklediği uyumlu bir sürüm
• Erişim izinleri: /uploads/posts/, /uploads/public_files/, /engine/data/, /engine/cache/ klasörlerine yazma
• AI API: yeniden yazım, çeviri veya etiket üretimi kullanılıyorsa desteklenen sağlayıcılardan herhangi birinin anahtarı (veya yerel Ollama / LM Studio sunucusu)
• CRON: görev zamanlayıcıyı ayarlama erişimi
• FlareSolverr: isteğe bağlı; yalnızca Cloudflare/JavaScript korumalı siteler için gerekir