Ana içeriğe atla

Nutch "java.lang.Exception: java.lang.RuntimeException: x point org.apache.nutch.net.URLNormalizer not found" Hatası


Intellij'de Inject yaparken aşağıdaki hatayı aldığınızda runtime/local'in altındaki nutch-site.xml'de

    <property>
        <name>plugin.folders</name>
        <value>./src/plugin</value>
        <description>Directories where nutch plugins are located. Each
            element may be a relative or absolute path. If absolute, it is used
            as is. If relative, it is searched for on the classpath.
        </description>
    </property>

kısmını kaldırın.
2013-12-24 10:21:24,687 WARN  mapred.LocalJobRunner - job_local2051814256_0001
java.lang.Exception: java.lang.RuntimeException: x point org.apache.nutch.net.URLNormalizer not found.
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:354)
Caused by: java.lang.RuntimeException: x point org.apache.nutch.net.URLNormalizer not found.
    at org.apache.nutch.net.URLNormalizers.<init>(URLNormalizers.java:122)
    at org.apache.nutch.crawl.InjectorJob$UrlMapper.setup(InjectorJob.java:90)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:142)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)
    at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:223)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
    at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334)
    at java.util.concurrent.FutureTask.run(FutureTask.java:166)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:722)
2013-12-24 10:21:24,884 ERROR crawl.InjectorJob - InjectorJob: java.lang.RuntimeException: job failed: name=inject urls, jobid=job_local2051814256_0001
    at org.apache.nutch.util.NutchJob.waitForCompletion(NutchJob.java:54)
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:224)
    at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:242)
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:264)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:273)

Yorumlar

Bu blogdaki popüler yayınlar

Selenium - XPath Kodları

XPath, XML Path Absolute XPath: root node u verir ve / ile başlar Elementin path inde herhangi bir değişiklik yapılırsa, test kodu hata verir. Örn:  html/body/div[1]/section/div[1]/div/div/div/div[1]/div/div/div/div/div[3]/div[1]/div/h4[1]/b Relative XPath: xml dokümanındaki elementi verir ve // ile başlar Örn : //*[@class='featured-box']//*[text()='Testing'] XPath Kombinasyonları: Belli bir tagin belli bir attribute değeri ile kullanımı Herhangi bir tag in belli bir attribute değeri ile kullanımı "and" operatörü "or" operatörü Belirli bir değer ile başlayan attribute Metnin bir kısmını içeren attribute Sadece text() Herhangi bir attribute un değeri Belli Bir Tag'ın Belli Bir Attribute Değeri ile Kullanımı (Specific tag with specific attribute value) Html Kodu < input   id = "Lid"  .....   > input:tag adı (etiket adı) id : attribute Lid : attribute değeri Selenium Kodu driver.findElement(By.x...

Test Otomasyonu için Intellij IDEA Maven Projesi Oluşturma

Intellij IDEA - File - Project - New tıklayın.  Soldan Maven ı seçin.  İleriye basın.  Group ID, sizin projenizi tanımlayan bir isim olmalı. Bu alanı doldurun. ArtifactId, projenizin adı. Bu alanı doldurun. Project name, artifactID alanına yazdığınız değer gelir. Finish e basın. İlk olarak karşınıza projenizin pom.xml dosyası gelecek. Buraya ilgili bağımlılıkları ekleyin. Selenium için;  https://www.seleniumhq.org/download/maven.jsp  adresindeki güncel bağımlılığı <dependencies> </dependencies> satırlarının arasına ekleyin. Daha sonra sağ altta çıkan uyarıda Import linkine basın. Böylelikle maven belirttiğiniz versiyonun dosyalarını alacaktır. Test framework ü olarak kullandığımız JUnit bağımlılığı için  https://mvnrepository.com/artifact/junit/junit  adresindeki güncel versiyonundan aldığınız satırları yine aynı  <dependencies> </dependencies> satırlarının arasına ekleyin. Daha sonra sağ altta çıkan uya...

Selenium- WebDriver, WebElement

WebDriver Web tarayıcısını test etmeye yarayan instance. WebDriver driver; driver = new FirefoxDriver(); driver.get("https://www.google.com"); Web uygulamasını test etme : Web tarayıcısını kontrol etme, element bulma ve debugging yapmayı gerektirir.  Web tarayıcısını kontrol etmeye yarayanlar: get navigate close manage switchTo quit Web elementi seçme findElement findElements click ... Debugging getTitle getCurrentUrl getWindowHandle... WebElement Web sayfasındaki elementleri bulma ve işlem yapmaya yarar. By sınıfını kullanır. WebElement element = driver.findElement(By.id("Lid")); By daki element locatorlar: id name classname tagname cssSelector linkText partialLinkText xpath