Ana içeriğe atla

Nutch 2.2 'yi Intellij'de Çalıştırma


          İlk olarak pom.xml'i oluşturun. pom.xml'de  <build> kısmında <sourceDirectory> bölümüne plugin'ini kaynak kod olarak göstermeniz gerekir. (ikincisi yeni eklenen plugin için gerekli)
<resources>
            <resource>
                <directory>${basedir}/src/plugin/SaveFile/src/java</directory>
            </resource>
</resources>
          Ana dizindeki conf klasöründe;
    • nutch-site.xml'e aşağıdakini ekleyin.

  •     <property>
            <name>storage.data.store.class</name>
            <value>org.apache.gora.hbase.store.HBaseStore</value>
            <description>Default class for storing data</description>
        </property>
     
    • gora-properties'e aşağıdakini ekleyip, sql kısmını kapayın.
  •  gora.datastore.default=org.apache.gora.hbase.store.HBaseStore
    • ivy/ivy.xml'de aşağıdaki kısmı açıp sql kısmını kapayın.
  •    
        <dependency org="org.apache.gora" name="gora-hbase" rev="0.3" conf="*->default" />

         Yine conf  klasöründe nutch-site.xml'e aşağıdakini ekleyin. (yeni eklenen plugin için gerekli)
  •     <property>
            <name>plugin.folders</name>
            <value>./src/plugin</value>
            <description>Directories where nutch plugins are located. Each
                element may be a relative or absolute path. If absolute, it is used
                as is. If relative, it is searched for on the classpath.
            </description>
        </property>

    Terminal açıp nutch'ın dizininde "ant runtime" komutunu çalıştırın.

    İşlem bittikten sonra runtime/conf/nutch-site.xml'deki plugin.folders özelliğini silin.

    runtime/local dizinine urls klasörü ekleyin. Bu klasörün içine seed.txt dosyası ekleyip içine "http://www.ornek.com" şeklinde url girin.

    Intelliji açın. Import Project deyip pom.xml i seçin.

    En sağda Maven Projects'ten clean ve compile edin.

    Daha sonra "Edit Configurations" tan InjectorJob, GeneraterJob, FetcherJob, ParserJob, DbUpdaterJob  Application larını tanımlayın.

    Arguments kısımlarını uygun olarak yazın.

    Daha sonra tek tek sırayla bunları çalıştırın.

Yorumlar