DLE Parser PRO, harici kaynaklardaki içeriklerin otomatik olarak içe aktarılması, işlenmesi, çevrilmesi ve yayımlanması için geliştirilmiş kapsamlı bir DataLife Engine çözümüdür. HTML ayrıştırma, RSS/Atom akışları, hibrit RSS + HTML modu, Sitemap üzerinden içe aktarma, görsel işleme, DLE ek alanları, kopya koruması, AI ile yeniden yazım ve DLE Multi-Language entegrasyonunu tek modülde birleştirir.
Sistem; haber siteleri, tematik portallar, bloglar, toplayıcılar ve içerik projelerinin sahipleri için tasarlandı. Onlar için önemli olan içeriği yalnızca kopyalamak değil, yayına hazır bir gönderi elde etmektir: temizlenmiş HTML, yerel görseller, kategoriler, etiketler, ek alanlar, SEO dostu URL’ler, çeviriler ve işlemenin her aşaması için tanılama.
Öne çıkanlar
- Dört mod: HTML sayfaları, RSS/Atom, hibrit RSS + HTML ve Sitemap — neredeyse her site bağlanabilir
- Seçiciler sorun değil: AI önerir; bir seçici işe yaramazsa modül makaleyi sayfada kendisi bulur — menü, yorum ve reklam olmadan
- İstediğiniz AI: DeepSeek, OpenAI, Claude, Gemini, OpenRouter ve OpenAI uyumlu API’ye sahip her servis — yeniden yazım, çeviri, etiketler ve meta açıklama
- Güncel modeller kendiliğinden: anahtar girilir girilmez model listesi fiyatlarıyla birlikte sağlayıcıdan yüklenir
- Hazır haber: görseller sizin sunucunuzda, kategoriler, etiketler, SEO dostu URL, ek alanlar ve SEO — tıpkı DLE yönetim panelinden eklerken olduğu gibi
- Tam kontrol: filtreler, değiştirmeler, kaynak başına limitler, kopya koruması ve yayımlamadan önce önizlemeli test
- Rewrite & Quality PRO ile çalışır: haberler beceriler ve kalite kontrolüyle yeniden yazıma gönderilebilir, yeniden yazımdan sonra yayımlanır
- Kaynağa bağlantı: kaynak makalenin adresi ek alana kaydedilir, haberin altında göstermek şablonda tek satırdır
Modül mimarisi: dört ayrıştırma modu
HTML Parser — klasik web kazıma
- İçerikleri doğrudan kaynak sitenin HTML yapısından çıkarır
- İçerik listelerini doğru işler: ayrıştırıcı bulduğu her kapsayıcıyı dolaşır ve her bloğun içindeki bağlantıyı arar
- URL tabanlı ilerleme: son işlenen içerik sayfadaki sırasına göre değil, URL’sine göre takip edilir
- İşleme yönü seçimi: yeniden eskiye veya eskiden yeniye
- Ayarlanabilir sayfalama:
/page/{page}/, ?page={page}, /p/{page}, /offset/{page} ve özel kalıplar
- Başlık, tam metin, kategoriler, ana görsel ve ek alanlar CSS seçicileriyle çıkarılır
- İçerik, tüm belge DOM’undan öğe silmeden, yalnızca seçilen blok içinde yerel olarak temizlenir
- Metindeki görseller otomatik indirilir, harici bağlantılar yerel bağlantılarla değiştirilir
- DLE ek alanları desteği: dosyalar, görseller, videolar, galeriler, HTML blokları ve metin değerleri
RSS/Atom Parser — haber akışlarıyla çalışma
- RSS 2.0, RSS 1.0 (RDF) ve Atom 1.0 desteği
- İçerik
content:encoded, description ve Atom content’ten alınır
- media, content, dc ve atom namespace’lerinin işlenmesi
- Görseller enclosure, media:content, media:thumbnail, media:group ve HTML içerikten alınır
- Ana görsel ayrıca makale sayfasında Open Graph ve Twitter meta etiketleriyle aranır
- Akıştaki kategoriler çıkarılır ve DLE kategorileriyle eşleştirilir
- new_to_old ve old_to_new modları için ayrı cursor stratejisi; RSS’in üstündeki yeni içerikler atlanmaz
- RSS içeriği, hariç tutma seçicileriyle reklam ve servis bloklarından temizlenir
Hybrid Parser — RSS ve HTML bir arada
- RSS, güncel içeriklerin listesini hızla almak için kullanılır
- HTML sayfası; tam metin, görseller, kategoriler ve ek alanlar için kullanılır
- Kategori birleştirme politikalı HTML category selector: RSS first, HTML fallback veya HTML priority
- Sorunlu bir içerikte takılıp kalmaz: item-level failure tracking, fail cursor advancement ve yeniden deneme limiti
- RSS ve HTML verileri, daha eksiksiz kaynağa öncelik verilerek birleştirilir
- Medya ve ek alanlar makalenin HTML sürümünden indirilir
- RSS’te yalnızca özetin, sayfada ise tam içeriğin bulunduğu siteler için en uygun mod
Sitemap Parser — sitemap.xml’den içe aktarma
- Normal sitemap.xml dosyaları ve iç içe sitemap’ler içeren sitemap index desteği
- İçerik URL’lerinin listesi Sitemap’ten otomatik alınır
- Tekrarlanan çalıştırmaları hızlandırmak ve kaynak sitenin yükünü azaltmak için sitemap envanteri önbelleğe alınır
- İşleme yönü seçimi: yeniden eskiye veya eskiden yeniye
- Başlık, tam metin, kategoriler, görseller ve ek alanlar CSS seçicileriyle çıkarılır
- Toplam URL sayısı ve işleme ilerlemesi takip edilir
- Daha önce içe aktarılmış içeriklerin yeniden yayımlanması engellenir
AI ile yeniden yazım, çeviri ve DLE Multi-Language
AI işleme: altı sağlayıcı seçeneği
- DeepSeek, OpenAI, Anthropic Claude, Google Gemini, OpenRouter ve OpenAI uyumlu API’ye sahip her servis: Groq, Mistral, xAI, Together, Fireworks, Moonshot, Z.ai, Qwen, YandexGPT ve yerel Ollama ile LM Studio
- Anahtar girilir girilmez güncel modeller sağlayıcıdan otomatik yüklenir: arama ve 1 milyon token fiyatı içeren sade bir liste; istenen model elle de girilebilir
- “Test connection” düğmesi — modele token tüketimi ve fiyatıyla birlikte kısa bir istek
- Sonuç dili: başlık, metin, açıklama ve etiketler seçilen dilde yazılır — yabancı kaynakları çevirmek için kullanışlı
- AI ile haber meta açıklaması (140–160 karakter) ve meta etiketlerin otomatik doldurulması
- Uyarı veya AI işlemesini durdurma seçenekli aylık harcama limiti; modellere göre harcamalar “Statistics” sekmesinde görünür
- Servis aşırı yüklendiğinde yeniden deneme ve eski ayarları kabul etmeyen modeller için parametrelerin otomatik uyarlanması
- Başlığın, kısa açıklamanın ve tam metnin yeniden yazılması
- Uzun makalelerin güvenli parçalara bölünerek chunk tabanlı işlenmesi
- Yeniden yazım ve çeviri sırasında HTML yapısı korunur: paragraflar, listeler, başlıklar, blockquote, code/pre
- Medya öğeleri AI işlemesinden önce korunur: görseller, figure, picture, iframe, video ve pre/code blokları geçici olarak işaretçilerle değiştirilir
- AI işlemesinden sonra medya öğeleri otomatik geri yüklenir
- Başlık, kısa açıklama, tam metin ve etiketler için ayarlanabilir istemler
- AI metnin bir kısmını kaynak dilde bıraktıysa şüpheli parçalar yeniden işlenir
- Bozuk listeleri ve kapanmamış etiketleri önlemek için AI yanıtından sonra HTML ayrıca normalleştirilir
DLE Multi-Language entegrasyonu
- Etkin diller DLE Multi-Language yapılandırmasından otomatik belirlenir
- Dil alanları doldurulur: her dil için başlık, kısa ve tam açıklama, etiketler, haber adresi (SEO dostu URL), meta açıklama ve anahtar kelimeler
- Bir dile çeviri başarısız olursa o dil sürümü kaydedilmez — kaynak dildeki metin başka dilin alanına düşmez
- Tam içerik, kısa açıklama, başlık ve etiketler her etkin dile çevrilir
- Ana dil sürümü çevirilerden ayrı saklanır
- Veritabanı hatalarını önlemek için kaydetmeden önce dil sütunlarının varlığı kontrol edilir
- Etiket fallback’i: AI tags’i çeviremediyse modül etiketleri önceden çevrilmiş içerikten oluşturur
- Farklı dil senaryoları desteklenir: sitenin ana dili kaynak sitenin dilinden farklı olabilir
Kaynak bazında filtreler, değiştirmeler ve yayımlama
- Zorunlu kelimeler ve yasaklı kelimeler, minimum metin uzunluğu, içeriğin maksimum yaşı — token harcamamak için AI’dan önce kontrol edilir
- Kurallara göre metin değiştirme, düzenli ifadelerle de
- Her kaynak için: hemen yayımla veya moderasyona gönder, haber yazarı, ana sayfada gösterim, yorum izni ve günlük haber limiti
- Kaynakları dosyaya dışa ve içe aktarma — ayarları siteler arasında bir dakikada taşıyın
Yayımlamadan önce test ve önizleme
Gerçek bir dry-run pipeline
- Kaynağın test edilmesi gerçek ayrıştırmayla aynı pipeline’ı kullanır
- Dry-run modu içeriği veritabanına kaydetmez, ama işlemenin nihai sonucunu gösterir
- Önizleme; nihai başlığı, kısa açıklamayı, tam metni, kategorileri, görselleri, xfields’i, tags’i ve duplicate verdict’i içerir
- Test; temizleme, AI ile yeniden yazım, çeviri, görsel indirme ve ek alan işlemesinden sonraki gerçek sonucu görmenizi sağlar
- Arayüze bir uyarı eklendi: tam simülasyon birkaç dakika sürebilir ve AI/API istekleri kullanabilir
- Test sonucu, gerçek CRON çalıştırmasında yayımlanacak olana olabildiğince yakındır
CSS seçicileri ve veri çıkarma
Genişletilmiş selector engine
- Temel CSS seçicileri desteği: etiketler, sınıflar, ID’ler, öznitelikler
- Virgülle ayrılmış grup desteği:
h1, .title, [itemprop="headline"]
- İç içe öğeler, doğrudan alt öğeler ve komşu öğeler desteği:
.article .text, .post > p, h1 + .lead
- Tek öğede birden fazla sınıf desteği:
.post.featured
- Öznitelik desteği:
[href], [data-src], [itemprop="articleBody"], [class*="content"]
- Bir dizi sözde sınıf desteği: desteklenen sınırlar içinde
:first-child, :last-child, :nth-child(), :contains(), :not(), :is(), :where(), :has()
- Test modunda çok karmaşık veya desteklenmeyen seçiciler için uyarılar
- Yönetim panelinde örneklerle ve desteklenen sözdiziminin açıklamasıyla ayrıntılı yardım
DLE ek alanları
Dosya, medya ve galeri indirme
- Her kaynak için istenen sayıda ek alan ayarlanabilir
- Her alan için CSS seçici, çıkarma özniteliği ve işlem türü belirlenir
- Desteklenen öznitelikler:
href, src, data-src, data-href, content, text, html
- Desteklenen işlemler: URL/metni kaydet, dosya indir, görsel indir, video indir, harici videoyu kaydet, galeri oluştur
- Galeriler bulunan tüm öğeleri otomatik dolaşır ve sonucu DLE biçiminde kaydeder
- Dosyalar ve videolar
uploads/public_files/ klasörüne kaydedilir
- Görseller boyut meta verileriyle birlikte
uploads/posts/ klasörüne kaydedilir
- HTML blokları, içerik temizleme politikası uygulanarak ek alanlara kaydedilebilir
Görseller ve medya
Profesyonel görsel işleme
- Tam metindeki görseller otomatik indirilir
- HTTPS, yönlendirmeler ve göreli URL’ler desteklenir
- Görseller tarihe göre klasörlenerek saklanır
- İçerikteki harici URL’ler yerel kopyalarla değiştirilir
- JPEG, PNG, GIF, WebP ve AVIF desteği
- İsteğe bağlı WebP veya AVIF dönüştürme
- Minimum görsel genişliği — simgeler ve sayaçlar habere girmez
- DLE şablonunuzdan filigran
- Maksimum genişlik ve yüksekliğe göre orantılı küçültme
- Dönüştürme kapalıyken özgün biçim doğru şekilde korunur
- GD veya Imagick ile oranları koruyarak yeniden boyutlandırma
- Görseller
figure, picture, img, srcset, lazy-load öznitelikleri ve meta etiketlerden çıkarılır
Kategoriler ve etiketler
Akıllı kategori yönetimi
- Kategoriler RSS, HTML ve Sitemap sayfalarından çıkarılır
- Kaynak site kategorilerinin DLE kategorileriyle görsel eşleştirilmesi
- Eşleşmeyen içerikler için varsayılan kategori desteği
- Bir içerik için birden fazla kategori desteği
- Hybrid modunda RSS ve HTML’den gelen kategoriler için birleştirme politikası
Etiket üretimi ve çevirisi
- Etiketler AI ile otomatik üretilir
- AI geçerli bir sonuç döndürmezse kategorilerden, başlıktan ve metinden fallback etiket üretimi
- DLE Multi-Language için etiket çevirisi
- AI etiket çevirisi kullanılamıyorsa
tags_{iso} için çevrilmiş içerikten fallback
- Etiket listesinin normalleştirilmesi: gereksiz ifadeler, tekrarlar ve fazla uzun kalıplar temizlenir
Kopya koruması ve güvenilir ilerleme
Kopya önleme sistemi
- Kopya kontrolünden önce URL’ler normalleştirilir
- source_url, GUID, başlık ve içerik fingerprint’ine göre kontrol
- Duplicate skip, sahte kaydetme hatası olmadan doğru işlenir
- Kaynak tamamen sıfırlandığında dedupe ilerlemesi temizlenir
- URL parametreleri, trailing slash veya tracking parametreleri değişse bile tekrar yayımlama engellenir
Progress ve cursor modeli
- HTML kaynakları sayfadaki konum sayacı yerine URL cursor kullanır
- RSS ve Sitemap, new_to_old ve old_to_new için ayrı stratejiler kullanır
- Hybrid modu kontrollü hatalarda bile cursor’u ilerletir; kaynak tek bir içerikte takılı kalmaz
- İlerlemeyi sıfırlamak kaynağın ilgili dedupe kayıtlarını da temizler
Structured logs, istatistik ve izleme
Yapılandırılmış kayıtlar
- Ayrıştırmanın her aşaması structured event olarak kaydedilir
- Kayıt;
source_id, source_type, source_name, item_url, stage, status, message, duration_ms ve ek bağlam içerir
- fetch, parse, download_images, ai_rewrite, translate, generate_tags, translate_tags, db_save ve duplicate check aşamaları ayrı ayrı kaydedilir
- Kayıtlar, zamanın nerede harcandığını veya hatanın nerede oluştuğunu hızla anlamaya yardımcı olur
Kaynakların health monitoring’i
- Son başarılı çalıştırmanın takibi
- Fail streak — art arda kaç hata olduğunu görmek için
- Duplicate rate — kaynağın kalitesini değerlendirmek için
- Average fetch time ve average run time
- Her source için işlenen içeriklere dair daha doğru istatistikler
Cloudflare, proxy ve ağ katmanı
İki seviyeli koruma aşma sistemi
- Tarayıcı başlıklarını taklit eden Enhanced cURL
- İstekler arasında cookie persistence desteği
- Cloudflare ve JavaScript challenge’larını aşmak için FlareSolverr entegrasyonu
- İsteğe bağlı HTTP/SOCKS5 proxy desteği
- Koruma sayfası tespit edildiğinde FlareSolverr’a otomatik geçiş
- Korumayı aşmak gerekmediğinde normal cURL’e graceful fallback
Yönetim paneli
Kaynak ve ayar yönetimi
- HTML, RSS/Atom, Hybrid ve Sitemap kaynakları ekleme ve düzenleme
- Kaynakları açma ve kapatma
- İlerlemeyi sıfırlama ve yeniden işleme
- Rusça, İngilizce, Ukraynaca ve İspanyolca arayüz; DLE yönetim paneli tarzında ve hiçbir ekranda yatay kaydırma olmadan
- Sorunlarda anlaşılır ipuçları: site sayfalarını betiklerle oluşturuyorsa veya robotlara kapalıysa modül doğrudan RSS’ini ya da sitemap’ini bağlamanızı önerir
- Ayrıntılı dokümantasyon: doc.dlemod.com
- Tam ayrıştırma simülasyonu başlatılırken sunucu limitleri hakkında uyarılar
- Yayımlamadan önce nihai içeriğin yerleşik preview’ı
- DLE’nin eski ve yeni AJAX endpoint’leri desteği
Güvenlik
- Kaynak içerikler zararlı koddan temizlenir: betikler, tehlikeli öznitelikler ve yabancı sitelerden gelen iframe’ler kaldırılır
- Sayfa, görsel ve dosya indirirken sunucunun iç adreslerine yapılan isteklere karşı koruma
- Tüm yönetim paneli işlemleri istek sahteciliğine karşı korunur; ayarlardaki AI anahtarları gizlenir
Round-Robin zamanlayıcı
- Yük etkin kaynaklar arasında eşit dağıtılır
- Kaynakların otomatik rotasyonu
- Bir CRON çalıştırmasında işlenecek içerik sayısı ayarlanabilir
- CRON endpoint’i secret key ile korunur
- Her çalıştırmanın structured logging’i
- Aynı cron işleminin paralel çalışmasına karşı lock koruması
Kullanım avantajları
- Otomasyon: içeriği almaktan hazır gönderiyi DLE’ye kaydetmeye kadar tüm döngü
- Çok dillilik: DLE Multi-Language dil alanlarının otomatik doldurulması
- Esneklik: farklı kaynak türleri için dört çalışma modu
- İçerik kalitesi: AI ile yeniden yazım, çeviri, etiket üretimi ve korunan HTML yapısı
- Güvenilirlik: kopya koruması, sağlam cursor, controlled failure handling
- Şeffaflık: structured logs, health metrics ve yayından önce anlaşılır preview
- Medya: görsellerin, dosyaların, videoların ve galerilerin yerel saklanması
- Ölçeklenebilirlik: Round-Robin ile işlenen sınırsız sayıda kaynak
- Uyumluluk: güncel DLE sürümleri ve PHP 7.4-8.4 desteği
Kullanım senaryoları
- Haber toplayıcılar: birden fazla RSS, HTML ve Sitemap kaynağından düzenli içe aktarma
- Tematik bloglar: yabancı içeriğin sitenin ana diline uyarlanması ve çevrilmesi
- Çok dilli siteler: içeriklerin dil sürümlerinin otomatik doldurulması
- İnceleme portalları: incelemelerin, talimatların, rehberlerin ve teknik makalelerin aktarılması
- Bölgesel medya: yerel kaynaklardan yayınların toplanıp işlenmesi
- Eğitim projeleri: ders materyallerinin, kılavuzların ve dokümantasyonun aktarılması
- İçerik portalları: kopya, kategori ve etiket kontrolüyle bölümlerin toplu doldurulması
Teknik gereksinimler ve uyumluluk
- DLE: 15.1 – 21.0
- PHP: 7.4 - 8.4
- PHP eklentileri: CURL, DOM, XPath, libxml, GD veya Imagick, JSON, mbstring
- MySQL/MariaDB: DLE sürümünüzün desteklediği uyumlu bir sürüm
- Erişim izinleri:
/uploads/posts/, /uploads/public_files/, /engine/data/, /engine/cache/ klasörlerine yazma
- AI API: yeniden yazım, çeviri veya etiket üretimi kullanılıyorsa desteklenen sağlayıcılardan herhangi birinin anahtarı (veya yerel Ollama / LM Studio sunucusu)
- CRON: görev zamanlayıcıyı ayarlama erişimi
- FlareSolverr: isteğe bağlı; yalnızca Cloudflare/JavaScript korumalı siteler için gerekir
Русский
English
Українська
Türkçe