Not Defteri

Türkçe karakteri büyük harfe çevirirken mesela i yi I olarak çevirebiliyor Java.  Java'da toUpperCase(Locale locale) fonksiyonu için; http://bilgisayardunyam.blogspot.com.tr/2008/07/java-touppercase-tolowercase.html

Permission denied hatası alındığında hadoop'ta klasörü/dosyayı kopyalamak istediğiniz yer için izin hakkınız yok demektir. O yüzden ~/ yazmanız gerekir. sudo scp -r /home/sinem/Desktop/tez/karisik-idea-pc hdpusr@10.1.34.50:~/ Hadoop'tan yerel makineye dosya kopyalama Yerel makinede aşağıdaki kod yazılır. scp -r hdpusr@10.1.34.50:~/sinemTez/sinem/invisible_sinem/ /home/sinem/Desktop/kk

bin dizininde aşağıdaki komutu çalıştırın: ./hbase org.apache.hadoop.hbase.mapreduce.Export webpage sinem

Eğer nutch'ı bir ide'den çalıştırıyorsanız ve seed dosyasından sadece bir url'i generate ediyorsa generate komutundaki -topN parametresini kontrol edin. Değeri bir ise sadece bir url alır. -topN 'nin amacı seed dosyasındaki ve önceden tabloda bulunan url lerin kaçını crawl edeceğini belirtmek. Bir url'in generate edilip edilmediğini anlamak için de tabloda o url'in markers (mk) alanının gnrmrk değerinin olup olmadığına bakın. Eğer nutch'ı runtime/local'den çalıştırıyorsanız ve plugin'ininizin çalışmadığını görüyorsanız plugin'de input olarak kullandığınız dosyanın runtime/local dizininde olduğundan emin olun.

          İlk olarak pom.xml'i oluşturun. pom.xml'de  <build> kısmında <sourceDirectory> bölümüne plugin'ini kaynak kod olarak göstermeniz gerekir. (ikincisi yeni eklenen plugin için gerekli) <resources>             <resource>                 <directory>${basedir}/src/plugin/SaveFile/src/java</directory>             </resource> </resources>           Ana dizindeki conf klasöründe; nutch-site.xml'e aşağıdakini ekleyin.     <property>         <name>storage.data.store.class</name>         <value>org.apache.gora.hbase.store.HB...

"chmod +x crawl" dediniz ama yine aşağıdaki hatayı verdi: "bash: ./crawl: Permission denied" "chmod u+rwx /home/.../Desktop/Nutch/bin/nutch"  bu komutla klasör için hak verip sorunu çözüyorsunuz. Bunlar da olmuyorsa aşağıdakini deneyin:   sudo chmod 755 -R .*

Intellij'de Inject yaparken aşağıdaki hatayı aldığınızda runtime/local'in altındaki nutch-site.xml'de     <property>         <name>plugin.folders</name>         <value>./src/plugin</value>         <description>Directories where nutch plugins are located. Each             element may be a relative or absolute path. If absolute, it is used             as is. If relative, it is searched for on the classpath.         </description>     </property> kısmını kaldırın. 2013-12-24 10:21:24,687 WARN  mapred.LocalJobRunner - job_local2051814256_0001 java.lang.Exception: java.lang.RuntimeException: x point org.apache.nutch.net.URLNormalizer not found. ...