madicon RSS Reader 0.9.0.17 beta für ND6.x

[Manfred Dillmann]

Hallo potsmoker!

>>falls es auch LotusScript sein darf, dann hast du die Möglichkeit über die GetDocumentByURL-Methode der Database-Klasse an deine Daten zu kommen.<<

Hatte ich mir anfangs auch überlegt. Ist aber doch ein ziemlicher Krampf.

Ich habe Axel soeben den Code geschickt. Mal schauen, was er meint.

Danke!

Gruss
Manfred

[Manfred Dillmann]

Hallo Axel!

>>kein Problem. Es kann damit zusammenhängen, dass Java das als UTF-8 interpretiert und es im Sinne des Erfinders dieses westeuropäische ISO-8859-1 ist.<<

Eigentlich kann es "irgendwie" nur daran liegen. Ich bekomme ja die normalen Zeichen, nur mit den Sonderzeichen, da kommt scheinbar nix durch - die fliegen einfach raus...

>>...den konkreten IO-Decorator verwendet. <<

Siehst Du: An sowas banalem scheitert man schon. Nur gut, das ich nicht noch mehr in Java gemacht habe (zumindest mit den aktuellen Kenntnissen).

>>Schick mir den code, aber was hälst du von postsmokers Idee?<<

Den Code solltest Du zwischenzeitlich haben. Ich bin gespannt...

Den Ansatz von potsmoker hatte ich anfangs auch mal im Kopf. Das ist aber irgenwie so wie: "...von hinten durch die Brust ins Auge".

Ich danke Dir schon mal für Deine Mühe

Manfred

[animate]

Den Ansatz von potsmoker hatte ich anfangs auch mal im Kopf. Das ist aber irgenwie so wie: "...von hinten durch die Brust ins Auge".

naja, also ganz so schlimm is es ja auch nicht. aber ich gebe zu, es ist schon etwas lame. Aber diese XML-Klassen sind auch echt nicht das Wahre, wenn es nicht möglich ist, eine URL "direkt zu verwerten".

Eine bescheidene Frage habe ich noch:
machst du das ganze dann mit LS2J ? Damit habe ich nämlich (leider) noch nix gemacht und null Erfahrung.
Aber da du scheinbar eh den Parser schon in Java auspacken musst, um herauszufinden, welches encoding da ist, kannst du auch gleich alles in Java machen.
Oder zumindest so eine Art Dokument-Factory in Java machen und die erzeugten Objekte an LS übergeben und dort verarbeiten, dann kannst du auch die ProgressBar behalten.
Oh, ich bin von meiner Frage abgeschweift.
Benutzt du LS2J?

[Manfred Dillmann]

Hallo potsmoker!

>>Benutzt du LS2J?<<

Ja. Damit "steuere" ich von LS aus die Java-Klasse an, deren einzige Aufgabe es (momentan) ist, den XML-Code einzulesen und in einem String zu übergeben. Der String wird dann in einen Stream gepackt und damit der NotesDOMParser gefüttert...

Für jemanden mit 0,1% Java-Kenntnissen immerhin ein Weg...

Gruss
Manfred

[animate]

und kein schlechter Weg.
Etwas beunruhigendes (aber nicht allzusehr) habe ich gerade in notes.net gelesen;
da schreibt jemand, dass die NotesStream-Klasse ein 64k-Limit hat.
Wenn es also mal ganz, ganz viele News gibt, könntest du Schwierigkeiten bekommen. Hier wärst du mit Java auch auf der sicheren Seite...

[Manfred Dillmann]

Hallo potsmoker!

>>da schreibt jemand, dass die NotesStream-Klasse ein 64k-Limit hat.<<

Ach, das auch noch...  

Ich glaube, ich lege mich jetzt lang hin...

P.S.
Von Axel habe ich nichts mehr gehört. Ich glaube, den hat der Schlag getroffen, als er meinen Java-Code gesehen hat.

Gruss
Manfred

[Axel_Janssen]

Das mit dem encoding war es nicht.
Es war eher, dass man mit readLine der Character Stream Klassen (www.javabuch.de, Kapitel 18) ein bischen vorsichtig sein sollte. Deshalb habe ich ByteStream-Klassen verwendet. (www.javabuch.de, Kapitel 19).

In der Eclipse Konsole wird das korrekt angezeigt. Auf der Windows-Konsole sehr vermutlich nicht (erwartet line feed + carriage return für neue Zeile). Deshalb zeigt die main-Methode nach dem eigentlichen String die einzelnen chars sowie deren Hex-Werte in Klammern an.
Wie alle wissen, kann die FensterBufferGrösse der Windows-Konsole über Eigenschaften/Layout verlängert werden.
 
Da es wirklich ziemlich allgemein ist, und ich *extrem wichtige Teile* weggelassen habe.
Hier ist code. :

Code

import java.io.*;
import java.net.*;

/**
 * @author Axel
 *
 * To change this generated comment edit the template variable "typecomment":
 * Window>Preferences>Java>Templates.
 * To enable and disable the creation of type comments go to
 * Window>Preferences>Java>Code Generation.
 */
public class GetRSSFeed {

   public String getRSSFeed(String urlToRead) {

      URL url;
      HttpURLConnection conn = null;

      // Stream (not Writer!). So werden einzelne bytes gelesen. 
      InputStream is = null;
      // Strings sind inmutable. 
      // durch StringX = StringX + StringY; wird jedesmal ein neuer StringX erzeugt.
      // Bei String Konkenatierung StringBuffer benutzen und am Ende String aus gesamten
      // StringBuffer erzeugen. 
      StringBuffer bufResult = new StringBuffer();
      int c = 0;
      try {

         url = new URL(urlToRead);
         conn = (HttpURLConnection) url.openConnection();
         conn.setRequestMethod("GET");

         is = new BufferedInputStream(conn.getInputStream());
         // einzelne Bytes werden gelesen
         // -1 ist endOfStream character
         while ((c = is.read()) != -1) {
            // int in char gecastet. 
            bufResult.append((char) c);
         }

         is.close();
         is = null;
      } catch (IOException e) {
         e.printStackTrace();
         // nicht geschlossene connection panik. immer besser
         try {
            if (is != null) {
               is.close();
            }
         } catch (IOException ioe) {
            ioe.printStackTrace();
         }

      }
      
      // in StringBuffer wurden chars gesammelt. Der wird jetzt in String konvertiert.
      return bufResult.toString();
   }

   public static void main(String[] args) {
      String url = null;
      if (args.length < 1) {
         System.out.println(
            "ohne Argument wird 'http://www.heise.de/newsticker/heise.rdf' eingelesen. Für beliebige Feeds mit java GetRSSFeed dieURL starten.");
         url = "http://www.heise.de/newsticker/heise.rdf";
      } else {
         System.out.println("lese '" + args[0] + "'");
         url = args[0];

      }
      GetRSSFeed test = new GetRSSFeed();
      String result = test.getRSSFeed(url);

      System.out.println("result=\n" + result);
      System.out.println("-----------------------\nEINZELNE CHARS (HEX-Value)");
      for (int i = 0; i < result.length(); i++) {
         System.out.println ( result.charAt(i) + " ("+ Integer.toHexString(result.charAt(i)) + ")" ); 
         //+ " ("+ Integer(result.toHexString(charAt(i)) + ")");
      }
   }
}

[Manfred Dillmann]

Hallo Axel!

>>Es war eher, dass man mit readLine der Character Stream Klassen (www.javabuch.de, Kapitel 18) ein bischen vorsichtig sein sollte.<<

Ja, jetzt wo Du es schreibst...

>>Deshalb habe ich ByteStream-Klassen verwendet. www.javabuch.de, Kapitel 19).<<

Da hab´ ich mich wohl mal wieder zu früh gefreut und nicht weitergelesen.

Ich hatte Dir ja noch heute Nacht geschrieben, dass ich selbst auch eine Lösung gefunden hatte.

result += line;

ersetzt durch:

result += line + '\n';

hat tatsächlich dafür gesorgt, dass ich alle Feeds, mit denen es bislang Probleme gab, einwandfrei pollen konnte. Bis eben auf SPIEGEL ONLINE, da macht der NotesDOMParser beim doctype noch Unsinn. Kann man aber mit dem "replacement-code" abfangen.

Ich werde aber heute noch versuchen, Deinen Code einzubauen...

Axel, ich danke Dir ganz herzlich für Deine Mühe und möchte Dir als Dankeschön eine Gratis-Lizenz meines RSS Readers anbieten. Interesse?

Gruss
Manfred

[Axel_Janssen]

Axel, ich danke Dir ganz herzlich für Deine Mühe und möchte Dir als Dankeschön eine Gratis-Lizenz meines RSS Readers anbieten. Interesse?

Danke.  

noch was: dein code, um durch die firewall zu kommen (oben nicht enthalten), wird bei den meisten firewalls *nicht* funktionieren.  

Die wirklich konkrete Lösung findest du in meinem Posting vom 29.9. in diesem Thread:
http://www.atnotes.de/index.php?board=24;action=display;threadid=11289;start=0


Gruß Axel

[Manfred Dillmann]

Hallo Axel !

>>Danke. <<

Gerne. Schicke mir per eMail bitte noch die üblichen Kontaktdaten (eMail habe ich ja schon), damit ich Dich in meiner Lizenz-DB ordentlich verwalten kann. Wenn die Software fertig ist, sende ich Dir den Lizenzkey per eMail.

>>Die wirklich konkrete Lösung findest du in meinem Posting vom 29.9. in diesem Thread: <<

Danke. Habe ich gestern Nacht auch noch mal durchgelesen...

Das wäre auch noch mal ein Punkt, den bitte jemand testen könnte... ich selbst konnte bislang den Proxy meines Providers einwandfrei nutzen. Der verlangt aber auch keine Authentifizierung...

Gruss
Manfred

[Manfred Dillmann]

Hallo potsmoker,

Du hast mir durch Deine konstruktive Kritik und Deine Verbesserungsvorschläge auch sehr geholfen. Ganz herzlichen Dank dafür!

Daher möchte ich Dir auch einen Gratis-Lizenz anbieten. Wenn Interesse besteht, sende mir noch Deine Kontaktdaten per Email.

Gruss
Manfred

[animate]

Danke manfred!

ich schick dir meine Adresse demnächst zu.

ich habe noch was zu der Spiegel-Feed-Problematik zu sagen:

das Problem ist, dass in dem XML-Dokument com Spiegel eine dtd angegeben ist, die der DomParser nicht laden kann. Scheinbar kann der nix mit dem http-Protokoll anfangen. Wenn du nämlich das XML-Dokument und die dtd auf einem Laufwerk auf deinem Rechner liegen hast und die Ortsangabe der dtd entsprechend anpasst ("c:\rss-0.91.dtd"), dann läuft der Parser rund.
Wenn sich dieser Verdacht bestätigt, dann könntest du eigentlich immer eine vorhandene Doctype-Angabe aus deinem String rausschmeißen, bevor du ihn an den Parser übergibst, so wie du es in deinem Spiegel-Beispiel mit dem Replacement ja sowieso machst.

[Manfred Dillmann]

Hallo potsmoker!

>>ich schick dir meine Adresse demnächst zu.<<

OK. Die Final ist ja auch noch nicht fertig. Aber es wird wohl bald eine neue Beta geben.

>>Scheinbar kann der nix mit dem http-Protokoll anfangen.<<

Stimmt offensichtlich. Das war die Fehlermeldung vom Parser:

<?xml version='1.0'?>
<DOMParserLog>
<fatalerror line='2' column='123'>An exception occurred! Type:MalformedURLException, Message:The URL used an unsupported protocol</fatalerror>
<error>DOM parser operation failed</error>
</DOMParserLog>

>>Wenn sich dieser Verdacht bestätigt, dann könntest du eigentlich immer eine vorhandene Doctype-Angabe aus deinem String rausschmeißen, bevor du ihn an den Parser übergibst, so wie du es in deinem Spiegel-Beispiel mit dem Replacement ja sowieso machst.<<

Werde ich drüber nachdenken. Ich brauche die ja wirklich nicht für die Auswertung der News-Informationen. Danke für den Hinweis...

Manfred

P.S.
Die replacement-Funktion werde ich auf jeden Fall im Programm belassen. Heute haben die SPIEGEL-Leute wieder was nettes gemacht:

<?xml version='1.0'?>
<DOMParserLog>
<fatalerror line='25' column='82'>Expected end of tag 'br'</fatalerror>
<error>DOM parser operation failed</error>
</DOMParserLog>

Ich dachte, ich spinne. Aber das war der Fehler:

<item>
<title>Mahnmal gegen Rassenwahn: Wehrmachtsaus-<br>stellung in Naziburg</title>
<link>http://www.spiegel.de/panorama/0,1518,280489,00.html</link>
</item>
 

[animate]

ich hab das bei spiegel.de auch gesehen, als ichs getestet habe - stümper halt.
aber mittlerweile haben sie es gemerkt und alle Nachrichten ab der fehlerhaften rausgeschmissen.
Hast ihnen wohl wieder ne email geschickt?!?

Aber die anderen Reader können mit sowas dann ja auch nix anfangen. Somit hast du eignetlich ein Alleinstellungsmekmal mit der Möglichkeit, sowas auszubessern.

[Manfred Dillmann]

Hallo potsmoker!

>>ich hab das bei spiegel.de auch gesehen, als ichs getestet habe - stümper halt.<<



>>aber mittlerweile haben sie es gemerkt und alle Nachrichten ab der fehlerhaften rausgeschmissen.
Hast ihnen wohl wieder ne email geschickt?!? <<

Nee, da bin ich z.Z. mal etwas vorsichtiger...  

Ich versuche gerade den Code vom Axel (incl. der geänderten Proxy-Nutzung) einzubauen.

Gruss
Manfred

[wfh]

Hallo,

habe die DB gerade gesehen und mal reingeschaut.
Was mir auf dem ersten Blick alleinig noch fehlt ist eine Import-Schnittstelle für OPML-Dateien, oder habe ich dies übersehen?

Ansonsten auf den ersten Blick tolles Ding, was einem Notesfreak noch fehlt (gerade wegen Replikation).

Mit gezücktem Hut
Wolfgang

[Manfred Dillmann]

Hallo Wolfgang!

>>Was mir auf dem ersten Blick alleinig noch fehlt ist eine Import-Schnittstelle für OPML-Dateien, oder habe ich dies übersehen?<<

Die gibt es in der Tat noch nicht. Ist aber geplant. Auch an eine "auto-discovery"-Funktion (automatisches Erkennen von RSS Feeds nach Eingabe einer Website-URL) habe ich schon gedacht. Da wird sich bestimmt noch was tun...

>>Ansonsten auf den ersten Blick tolles Ding, was einem Notesfreak noch fehlt (gerade wegen Replikation).<<

Danke. Die fehlende Replikation hat mich auch immer an den anderen Readern genervt.

Danke für Dein Feedback!

Gruss
Manfred

[animate]

mir ist gerade nochwas aufgefallen, weil ihr so von der Replikation schwärmt.

ich denke, dass das doch eigentlich eine Anwendung ist, die prädestiniert dafür ist, im Browser zu laufen. Also sie liegt auf nem Webserver und ich kann überall darauf zugreifen, auch ohne Notes Client, das hat doch was, oder?
Ich habs mir mal gerade mit meinem lokalen Noteswebserver abgeschaut und musste (leider) feststellen, dass die DB nicht fürs Web gedacht ist.
Was sagt ihr dazu?

[Manfred Dillmann]

Hallo potsmoker!

>>ich denke, dass das doch eigentlich eine Anwendung ist, die prädestiniert dafür ist, im Browser zu laufen. Also sie liegt auf nem Webserver und ich kann überall darauf zugreifen, auch ohne Notes Client, das hat doch was, oder?<<

Ist durchaus eine Idee. Dafür gibt es aber FreeServices im Web (ich kann jetzt keine URL nennen, musste mal suchen). Einen solchen Gedanken hatte ich bei der Realisierung nie.

>>Ich habs mir mal gerade mit meinem lokalen Noteswebserver abgeschaut und musste (leider) feststellen, dass die DB nicht fürs Web gedacht ist.<<

Sieht bestimmt ecklig aus und nix geht, was?  

Die Anwendung ist alleine für den NotesClient gedacht.

Gruss
Manfred

[animate]

Sieht bestimmt ecklig aus und nix geht, was?  

so ungefähr

Einen solchen Gedanken hatte ich bei der Realisierung nie.
Die Anwendung ist alleine für den NotesClient gedacht.

verstehe ich gar net.
mit der Kombination Notes/Browser und dem Anwendungsgebiet könnte man daraus bestimmt ne KillerApp machen