Ana içeriğe atla

Nutch 2.2 'yi Intellij'de Çalıştırma


          İlk olarak pom.xml'i oluşturun. pom.xml'de  <build> kısmında <sourceDirectory> bölümüne plugin'ini kaynak kod olarak göstermeniz gerekir. (ikincisi yeni eklenen plugin için gerekli)
<resources>
            <resource>
                <directory>${basedir}/src/plugin/SaveFile/src/java</directory>
            </resource>
</resources>
          Ana dizindeki conf klasöründe;
    • nutch-site.xml'e aşağıdakini ekleyin.

  •     <property>
            <name>storage.data.store.class</name>
            <value>org.apache.gora.hbase.store.HBaseStore</value>
            <description>Default class for storing data</description>
        </property>
     
    • gora-properties'e aşağıdakini ekleyip, sql kısmını kapayın.
  •  gora.datastore.default=org.apache.gora.hbase.store.HBaseStore
    • ivy/ivy.xml'de aşağıdaki kısmı açıp sql kısmını kapayın.
  •    
        <dependency org="org.apache.gora" name="gora-hbase" rev="0.3" conf="*->default" />

         Yine conf  klasöründe nutch-site.xml'e aşağıdakini ekleyin. (yeni eklenen plugin için gerekli)
  •     <property>
            <name>plugin.folders</name>
            <value>./src/plugin</value>
            <description>Directories where nutch plugins are located. Each
                element may be a relative or absolute path. If absolute, it is used
                as is. If relative, it is searched for on the classpath.
            </description>
        </property>

    Terminal açıp nutch'ın dizininde "ant runtime" komutunu çalıştırın.

    İşlem bittikten sonra runtime/conf/nutch-site.xml'deki plugin.folders özelliğini silin.

    runtime/local dizinine urls klasörü ekleyin. Bu klasörün içine seed.txt dosyası ekleyip içine "http://www.ornek.com" şeklinde url girin.

    Intelliji açın. Import Project deyip pom.xml i seçin.

    En sağda Maven Projects'ten clean ve compile edin.

    Daha sonra "Edit Configurations" tan InjectorJob, GeneraterJob, FetcherJob, ParserJob, DbUpdaterJob  Application larını tanımlayın.

    Arguments kısımlarını uygun olarak yazın.

    Daha sonra tek tek sırayla bunları çalıştırın.

Yorumlar

Bu blogdaki popüler yayınlar

Selenium WebDriver - Dinamik Web Tablolarla Kod Örnekleri

Verisi sürekli değişen tablolarda XPath kullanılması gerekir. Bunu da tablonun satır ve sütun sayı bilgileriyle yapmak daha doğru olur. Tablo 1: Şirket Grup Kapanış Şimdiki Ücret % Değişim IL&FS Transportation A 337.4 66.5 + 5.4 GRUH Finance Li A 383.8 998.9 + 2.3 IDFC Bank A 351.4 715.9 + 5.1 YES Bank Ltd. A 697.9 669.3 + 3.2 IRB Infrastructure A 271 724.8 + 3.1 Escorts Ltd. A 113.4 890.3 + 5.1 Cox & Kings L A 867 900.8 + 5.5 Bharat Electroni A 176.5 849 + 7.5 Nestle India A 64.8 187.3 + 7.6 Cox & Kings L A 749.4 729.5 + 9.5 JK Tyre & Industries A 687 601.4 + 6 Navin Fluorine Inter A 416.7 865.3 + 8.9 NIIT Technologies A 966.9 117.2 + 9.4 DCB Bank A 853.2 760.2 + 2.4 UCO Bank A 358 719.6 + 9 Coffee Day Enterpris A 53.8 538.6 + 4.1 Kirloskar Oil Engine A 134.1 102.8 + 7.7 Repco Home Finance L A 96.2 449.9 + 8.9 Ajanta Pharma Lt A 161.3 838 + 4.4 CESC Ltd. A 817 490.5 + 4.7 JaiprakashAssociates A 247.3 961.1 + 7.1 Vakrangee A 888.3 652.9 ...

Selenium Actions Sınıfını Kullanarak Klavye ve Fare İşlemleri

Karmaşık kullanıcı hareketlerini (sağ tıklama, iki kere tıklama, sürükleme,...) taklit etmek için kullanılan API. Doğrudan Klavye veya Fare kullanmak yerine bu sınıf kullanılır. Build patternini uygular: yöntem çağrıları tarafından belirtilen tüm eylemleri içeren bir CompositeAction oluşturur. Kullanıcı hareketlerini uygulayan fonksiyonları kullanmak için Actions ve Action sınıfını import etmek gerekir: Actions sınıfı ve Action sınıfı, WebDriver API'sinin org.openqa.selenium.Interactions paketinde bulunur. import org.openqa.selenium.interactions.Actions; import org.openqa.selenium.interactions.Action; Yöntemlerini kullanmaya çağırmak için Actions sınıfı nesnesine ihtiyaç vardır.  Actions actions = new Actions(WebDriver nesnesi); Üzerinde işlem yapılacak elementi bulmak gerekiyor. WebElement webElement = driver.findElement(...);  actions.contextClick(webElement).perform(); //contextClick, element üzerinde sağ tıklar. Bu sınıfının bazı fonksiyonl...

Test Otomasyonu için Intellij IDEA Maven Projesi Oluşturma

Intellij IDEA - File - Project - New tıklayın.  Soldan Maven ı seçin.  İleriye basın.  Group ID, sizin projenizi tanımlayan bir isim olmalı. Bu alanı doldurun. ArtifactId, projenizin adı. Bu alanı doldurun. Project name, artifactID alanına yazdığınız değer gelir. Finish e basın. İlk olarak karşınıza projenizin pom.xml dosyası gelecek. Buraya ilgili bağımlılıkları ekleyin. Selenium için;  https://www.seleniumhq.org/download/maven.jsp  adresindeki güncel bağımlılığı <dependencies> </dependencies> satırlarının arasına ekleyin. Daha sonra sağ altta çıkan uyarıda Import linkine basın. Böylelikle maven belirttiğiniz versiyonun dosyalarını alacaktır. Test framework ü olarak kullandığımız JUnit bağımlılığı için  https://mvnrepository.com/artifact/junit/junit  adresindeki güncel versiyonundan aldığınız satırları yine aynı  <dependencies> </dependencies> satırlarının arasına ekleyin. Daha sonra sağ altta çıkan uya...