08 Nachrichtenbasierte Kommunikation -...

Aufbau IntegrierterInformationssysteme

Nachrichtenbasierte Kommunikation

Michael Schmidt, Jens Dietrich, Marco Schopp, SvenDammann

Martin-Luther-Universität Halle-Wittenberg

Hauptseminar - Halle - 05.03.2002

© 2001 Sven Dammann, Jens Dietrich, Michael Schmidt, Marco Schopp 2

Gliederung

1. Message Queuing

2. Entwurfsmuster für MQS

3. Oracle Advanced Queuing

4. JavaMessagingService


Einleitung

• Middleware bildet zusätzliche Sicht zwischenHardware/Betriebssystem und Anwendungssicht

• Aufgabe:– Verbergen der Unterschiede der einzelnen Plattformen– System aus Anwendungssicht homogen erscheinen zu lassen

• Ansatz ist Message Queuing Systeme (MQS)

Message Queuing Entwurfsmuster Oracle Advanced Queuing JavaMessagingService


Nachrichtenaustausch mit Queues

• Kommunikation zwischen Anwendungen über Austausch vonNachrichten (Messages), die in Queue gestellt bzw. entnommenwerden

• Programme kommunizieren über ein Netzwerk ohne private undlogische Verbindung




Einwegkommunikation:




Zweiwegkommunikation:



• weiteres Merkmal:

– asynchrone Kommunikation

• 4 Queues sind notwendig für Client-Server-Anwendungen:

– Request-Queue– Reply-Queue– Dead-Letter-Queue (clientseitig)– Dead-Letter-Queue (serverseitig)




• Zwei Modelle beim Einsatz von MQS

– Point-to-Point– Publish-and-Subscribe




Netzwerkhandling

• Netzwerkhandling wir vor den Anwendungen versteckt

• MQS:

- regelt Kommunikation über das Netz

- kann auf auftretende Fehler reagieren



Kommunikationsablauf im Detail



Queue Manager und Message QueuingInterface

• mindestens ein Queue Manager (QM)pro Rechner bzw.Netzwerkknoten

• bei einzelnen Knoten

- „normalen“ Rechner

- „thin clients“ Rechner



Queue Manager und Message QueuingInterface

• Message Queuing Interface(MQI) für die Kommunikationzwischen Anwendung und QM

• besteht aus einer Menge von „Calls“ (Aufrufen)



Transaktionsunterstützung

• drei Stufen der Transaktionsunterstützung:

- interne Transaktionen

- Unterstützung externe Transaktionmanager

- Rolle eines Transaction Coordinators



Vergleich MessageQueuing mit anderenMiddlewaretechnologien

CORBA

•verbreitete Technik – ohne grossen Aufwand einsetzbar

•problematisch bei Auftreten eines Fehlers

Verteilte Transaktionsverarbeitung

•auftretende Fehler werden automatisch korrigiert

•hohe Kosten und schmales Spektrum der unterstützenden Systeme

MQS

• „ die goldene Mitte“

• übernimmt das Netzwerkhandling

• Entkopplung der Anwendungen

• problematisch bei stark zeitbezogenen Systemen



Vorteile von Messaging und Queuing

• freie Kapazitäten entstehen

• einfache Verwendung des Interface

• keine Beschränkung der Anwendungsarchitektur



Möglichkeiten des Message Queuing

AA

Q1Q1

DDCCBB

Q2Q2

Q3Q3EE FF


RQ2

RQ1

• Keine logische Verbindungzwischen E und F

• E schreibt Message in Queue (put)• F nimmt Message aus Queue (get)• Point-to-Point Kommunikation

• Keine logische Verbindungzwischen E und F

• E schreibt Message in Queue (put)• F nimmt Message aus Queue (get)• Point-to-Point Kommunikation

One-to-one Relationship

• E sammelt die Ergebnisse von B, Cund D

• B, C, D können z.B. Client von Server-programm E sein (Subscriber)

• Messagebearbeitung nach FIFOoder Prioritäten

• E sammelt die Ergebnisse von B, Cund D

• B, C, D können z.B. Client von Server-programm E sein (Subscriber)

• Messagebearbeitung nach FIFOoder Prioritäten

Many-to-one Relationship

• A verteilt Arbeit auf B, C und D• B, C, D können parallel arbeiten (loadbalancing)

• schnellere Bearbeitung bei sequen-tieller Abfolge

• Publish & Subscribe

• A verteilt Arbeit auf B, C und D• B, C, D können parallel arbeiten (loadbalancing)

• schnellere Bearbeitung bei sequen-tieller Abfolge

• Publish & Subscribe

One-to-many Relationship

• E sendet nur Request an F• keine Rückmeldung des Program-

mes, daß die Message aus derQueue nimmt

• Bsp.: Fire-and-Forget

• E sendet nur Request an F• keine Rückmeldung des Program-

mes, daß die Message aus derQueue nimmt

• Bsp.: Fire-and-Forget

One-way Communication

• C veranlasst E zur Rückmeldung(Reply)

• können Ergebnisse einer Operationsein oder Bestätigungen

• C veranlasst E zur Rückmeldung(Reply)

• können Ergebnisse einer Operationsein oder Bestätigungen

Two-way CommunicationFlexibles Systemdesign

• Keine Einschränkungen in derApplikationsstruktur


Message

Aufbau einer Message

Message Describtor

Application Data

Message Identifier (24 Byte String)

Correlation Identifier (24 Byte String)

• Eigentliche Nachricht• 4 MB – 100 MB

Queues• Target Queue• Reply Queue

(opt.)


Attribute• date• time• priority• persistance• expiry date


Attribute einer Queue

Queue

• Name• Max. Anzahl von Messages• Max. Messagegröße• Voreingestellte Art der Messages(persistent oder transient)

Eindeutige Identifizierungder Queue durch andereKomponenten des Systems

Eindeutige Identifizierungder Queue durch andereKomponenten des SystemsEinschränkungen / Vorein-

stellungen für Programme,die auf Queue zugreifen

Einschränkungen / Vorein-stellungen für Programme,die auf Queue zugreifen



LQLQ

QMB

QMB

TQA

TQC

Arten von Queues

LQLQ

QMA

QMA

TQB

TQC

N E T Z W E R KN E T Z W E R K

Applikation AApplikation A Applikation BApplikation B Applikation CApplikation C

LQLQ

QMC

QMC

TQA

TQB

DQAQ IQIQ

Applikation DApplikation D

DLQ


Local Queues• alle Queues, diedem QM zugeordnetsind auf den die App.zugreift

• App. schreibt in LQ• App. Liest aus LQ

Remote Queues• alle Queues, dienicht lokal sind

• App. weiß phys Ort nicht

• QM übernimmtZustellung

Transmission Queues• Zwischenqueuebeim Senden

• Je 1 TQ für jedenremote QM

• Remote QM liest ausTQ und schreibt inseine LQ

Dynamic Queues• autom. Beendigungbeim Progr.ende

• dynamische Erzeu-gung- permanent (überle-ben QM restart)

- temporär

Alias Queues• dieselbe physischeQueue

• mehrere ProgrammeZugriff auf dieselbeQueue

• Aufruf über versch.Namen (Definitionen)

Initiation Queues• QM schreibt in IQwenn Bed. Einer LQerfüllt ist

• IQ triggert neueApplikation

• App. handelt dasauslösende Event

Dead-Letter Queues• Queue für unzustell-bare Nachrichten

• Jeder QM hat DLQ• Gründe:- Zielqueue voll- Zielqueue ex. nicht- ...


ClientClient ServerServer

Entwurfsmuster

Sende Anfrage

Erwarte Antwort

Lese Anfrage

Sende Ergebnis

Führe aus

DatenDaten

Pseudosynchronous Inquiry

Request Message

Q1Q1

Reply Message

Q2Q2


Kommunikation asynchron

• Client kann nicht weiterarbeitenbis Reply-Message eingetroffen

• nur lesender Zugriff


• Client kann nicht weiterarbeitenbis Reply-Message eingetroffen

• nur lesender Zugriff

Anfragen idempotent• wiederholt sich die Anfrage ändert

sich das Ergebnis nicht• bei timeout: Wiederholung• einfaches Error-handling

Anfragen idempotent• wiederholt sich die Anfrage ändert

sich das Ergebnis nicht• bei timeout: Wiederholung• einfaches Error-handling Reply Message:

Nicht persistentReply Queue:

Temporary DynamicQueue

Request Queue:Standard Queue

Request Message:Nicht persistentProblem: Orphans


Entwurfsmuster (2)


Lese Anfrage

Sende Ergebnis

Führe aus

DatenDaten

Asynchronous Inquiry

Request Message

Q1Q1

Reply Message

Q2Q2

Sende Anfrage

Arbeite weiter

Erhalte Antwort

Problem:Wie erfährt Client vom Eintreffen

der Reply-Message ?



• Client kann weiterarbeiten undmuss nicht blockierend auf Reply-Message warten


• Client kann weiterarbeiten undmuss nicht blockierend auf Reply-Message warten

Request ist Anfrage

• Daten des Servers bleiben unan-getastet

• bei Fehler: Wiederholung

Request ist Anfrage

• Daten des Servers bleiben unan-getastet

• bei Fehler: Wiederholung


Entwurfsmuster (3)

ClientClient ServerServerSende Auftrag Lese Auftrag

Führe aus

DatenDaten

Fire-and-forget Update

Request Message

Q1Q1


Änderung von Daten• Ankunft der Nachricht muss garan-tiert werden

• keine Bestätigung der ausge-führten Änderungen

Änderung von Daten• Ankunft der Nachricht muss garan-tiert werden

• keine Bestätigung der ausge-führten Änderungen

Anfragen nicht-idempotent

• evtl. Sicherstellung daß Nachrichtnur einmal gesendet wird


• evtl. Sicherstellung daß Nachrichtnur einmal gesendet wird


Request Message:Persistent (exactly one o.

at least one)


Entwurfsmuster (4)


Sende Auftrag

Erwarte Bestätigung

Lese Auftrag

Sende Ergebnis

Führe aus

DatenDaten

Pseudosynchronous Update

Request Message

Q1Q1

Reply Message

Q2Q2

Problem:Bei Ausbleiben der Bestätigungkeine Info ob Update erfolgreich

verarbeite

DatenDaten


Anfragen sind Updates

• Modifizierung von Daten• Client kann nicht weiterarbeiten bis

Bestätigung eingetroffen

Anfragen sind Updates

• Modifizierung von Daten• Client kann nicht weiterarbeiten bis

Bestätigung eingetroffen


• Vermeidung unbeabsichtigterWiederholungen ein und derselbenAnfrage


• Vermeidung unbeabsichtigterWiederholungen ein und derselbenAnfrage


Entwurfsmuster (5)


Lese Auftrag

Sende Ergebnis

Führe aus

DatenDaten

Request Message

Q1Q1

Reply Message

Q2Q2

Sende Auftrag

Arbeite weiter

Bearbeite Bestätigung

Asynchronous Update with Acknowledgement


Manipulation von Daten• Client erwartet Bestätigung• Asynchrone Kommunikation

Manipulation von Daten• Client erwartet Bestätigung• Asynchrone KommunikationAnfragen nicht-idempotent

• evtl. Sicherstellung daß Nach-richt nur einmal gesendet wird

• durch Persistenz garantierteNachrichtenübermittlung

Anfragen nicht-idempotent• evtl. Sicherstellung daß Nach-richt nur einmal gesendet wird

• durch Persistenz garantierteNachrichtenübermittlung Reply Message:

Persistent (exactly one o.at least one)

Reply Queue:Permanent Dynamic

Queue


Request Message:Persistent (exactly one o.

at least one)


Beispiel: Oracle8i Advanced Queuing

• Oracle8i ist ein message-orientiertes System

• System hat Queues (Warteschlangen) implementiert

• Queues ermöglichen eine asynchrone Kommunikation

• Oracle8i stellt mit der Advanced Queuing Technologie einemessage-queuing-Infrastruktur zur Verfügung, die vollständig indie Datenbank integriert ist



Vorteile derAdvanced Queuing Technologie

• Backup/Recovery

• Unbegrenzte Messageanzahl

• Möglichkeit des Aufbaus einesMessage-Warehouse



Nachrichtenverarbeitung

• Anwendung stellt die Nachricht mit der Enqueue-Operationin eine Warteschlange (Queue)

• berechtigte Anwendungen können nun zeitlich unabhängigmit einer Dequeue-Operation diese Nachricht entnehmenund verarbeiten

DEQUEUEENQUEUE

Message

QUEUE



Vorteile duch Benutzungvon Queues

• fehlertolerantere Systeme

• Anwendungen können nach Bereitstellung der Nachrichtgleich weiterarbeiten

• Möglichkeit der Integration unterschiedlicherAnwendungssysteme



Queues in der Datenbank (1)

1. Single-Consumer-Queue

• jede Nachricht ist nur für eine Anwendung (Verbraucher)bestimmt




2. Multi-Consumer-Queue

• jede Nachricht kann für beliebig viele Verbraucheranwendungen bestimmt sein




3. Queue-to-Queue

• Message kann auch von einer Queue in eine andereQueue übertragen werden >> Propagation



Komponenten einesOracle8i-AQ Systems

• System besteht aus 3Komponenten

QT

Message-Kopf

Message-Payload

(Daten)

I. Queue-Tabellen

II. Queues

III. Messages



I. Queue-Tabellen

• Speicherorte der Queues

Charakteristische Eigenschaften:

• Art der Datenstruktur, die eine Message besitzen kann

• Sortierung der Messages innerhalb der Queues

• Art der Queues, die innerhalb der Queue-Tabelle definierbarsind

• Gruppierung aller Nachrichten einer Transaktion

Erzeugt durch den Befehl:

DBMS_AQADM.CREATE_QUEUE_TABLE



II. Queues

• Speicherorte für die einzelnen Nachrichten

Charakteristische Eigenschaften:

• Art der Queue (Normal, Exception, Non-Persistent)

• Maximale Anzahl von ´dequeue´-Wiederholungen im Fehlerfall

• Speicherzeit der Messages (nachdem eine Message verbraucht wurde)

Erzeugt durch den Befehl:

DBMS_AQADM.CREATE_QUEUE



III. Message

• Träger der relevanten Informationen, die über das Message-System übermittelt werden sollen

Besteht aus 2 Teilen

• Message-Kopf

>> enthält Informationen über die Nachricht

• Message-Payload

>> der Datenteil, in dem sich die Daten befinden



Operationen mit Queues (1)

ENQUEUE

• stellt eine Nachricht in dieWarteschlange

Syntax:

DBMS_AQ.ENQUEUE (Queue_namePayload

Syntax:

DBMS_AQ.ENQUEUE (Queue_namePayload

Beispiel

DBMS_AQ.ENQUEUE (Queue_name => ´q1´,Payload => nachricht);

Beispiel

DBMS_AQ.ENQUEUE (Queue_name => ´q1´,Payload => nachricht);




DEQUEUE

• Operation, über die alle Benutzer eine Message aus einer Queueentnehmen können

Für eine ´dequeue´-Operation wird angegeben:

• die Queue, aus der die Message entnommen werden soll

• die ´dequeue´-Optionen

• Message-Eigenschaften

• der Datenbereich (payload)

• Message-Identifikation (message_id)




BEISPIEL EINER DEQUEUE-OPERATION

DBMS_AQ.DEQUEUE (

QUEUE_NAME => ´q_1´,

DEQUEUE_OPTIONS => dequeue_opts,

MESSAGE_PROPERTIES => m_p,

PAYLOAD => nachricht,

MESSAGE_HANDLE => msg_h );




DEQUEUE-OPTIONS

• Steuern der ´deque´-Operation

• wird angegeben welche Message verarbeitet werden soll

• wie eine Message verarbeitet werden soll

Remove-Mode

Browse-Mode

Locked-Mode




DEQUEUE-OPTIONS (2)

• die Zugriffsposition innerhalb der Queue

First_message

Next_message

Next_transaction

• ob und wie lange eine ´dequeue´-Operation auf eine Messagewarten soll, falls diese in der Queue nicht vorhanden ist



Der Java Message Service



Java Message Service (JMS)

• ProgrammiersprachenbasierteMOM

• Unterstützt beideKommunikationsmodelle

Publish/Subscript

Client1

Publishes

Msg

Client2

Subscribes

Delivers

Msg

Topic

Client3

Subscribes

DeliversMsg-- Peer to Peer --

Client1Client2

Queue Sends Consumes

Acknowledges

Msg Msg

Domain

Message Consumption

•Synchron•Asynchron



JMS API Architecture

AdministrativeTool

JMS Client JMS ProviderJMS Provider

JNDI Namespace

DCFBind

Lookup

Logical Connection



The JMS API Programming ModelConnection Factory

•Verbindungskonfigurations-parameter

•Client benutzt CF, umVerbindung zu JMS Provider zukreieren

Connection Factory•Verbindungskonfigurations-parameter

•Client benutzt CF, umVerbindung zu JMS Provider zukreieren

Connection• aktive Verbindung von Clientzu JMS Provider•Authentität des Clientsüberprüft•Eindeutiger Client Identifier•Liefert ConnectionMetaDaten

Connection• aktive Verbindung von Clientzu JMS Provider•Authentität des Clientsüberprüft•Eindeutiger Client Identifier•Liefert ConnectionMetaDaten

Session•Produktion/Verbrauch vonNachrichten•Definiert Ordnungsrelation•Behält konsumierteNachrichten, bis zurBestätigung

Session•Produktion/Verbrauch vonNachrichten•Definiert Ordnungsrelation•Behält konsumierteNachrichten, bis zurBestätigung

Session(2)•Message Listener•Transcation

•Transacted Session•Non-transactedSession

•Bsp.:Onlineshopping

Session(2)•Message Listener•Transcation

•Transacted Session•Non-transactedSession

•Bsp.:Onlineshopping

Message Producer• zum Senden von Nachrichtenan eine Destination

Message Producer• zum Senden von Nachrichtenan eine Destination

Message Consumer• zum Empfangen vonNachrichten einer Destination•Message Listener•Message Selector

Message Consumer• zum Empfangen vonNachrichten einer Destination•Message Listener•Message Selector

Message• Format ist einfach, jedochsehr flexibel•Für jedes Format auf jederPlattform•3 Teile: Header

PropertiesBody


PropertiesBody

ConnectionFactory

Connection

Creates

MessageProducer

CreatesSession

Creates

Destination

Sends To

Destination

Receives From

Message

Creates

MessageConsumer

Creates

AdministrativeObjekte

Objekte imProgramm



Messages


PropertiesBody


PropertiesBody

HeaderPropertiesBody

JMS providerJMSRedelivered

ClientJMSType

ClientJMSReplyTo

ClientJMSCorrelationID

send or publish methodJMSTimestamp

send or publish methodJMSMessageID

send or publish methodJMSPriority

send or publish methodJMSExpiration

send or publish methodJMSDeliveryMode

send or publish methodJMSDestination

Set ByHeader Field

------ Header -----

JMSMessageID

• identifiziert Nachricht eindeutig

JMSDestination

• Queue/Topic

Andere Felder enthalten z.B.Zeitstempel oder Prioritäten



Messages


PropertiesBody


PropertiesBody


------ Properties -----

•Beschreibende Felder einer Nachrichtread only

• zusätzliche Informationen überDaten / Prozess, der sie kreiert hat

•Syntax: property name: property value

•Optimierung der Kommunikation mit Queue/Topic (z.B. Selektionskriterien)



Messages


PropertiesBody


PropertiesBody


------ Body -----

Message

ObjectMessage

StreamMessage

BytesMessage

MapMessage

TextMessage

Message Type

•Java Zeichenkette: java.lang.String

•Grund der Aufnahme: String Messageswerden extensiv benutzt(XML basierte Nachrichten)

•<Name-Wert> Paar

• Name – String Werte Java Basistypen

• Sequenziell o. zufälligerZugriff über Namen

• Reihenfolge ist nicht definiert

• Uninterpretierte Bytes

• Universell einsetzbar

• Stream von Java Basistypen

•Sequentiell gelesen• Serialisiertes Java Objekt

• Nichts

• besteht aus Header und Properties

• Nützlich wenn der Body nicht benötigt wird

Body Contains:



Übersicht zum BeispielprogrammInitialisierungsteil

Starten desJMS Providers

Kreieren derJMS adiministr-

ativen Objekte

Sender-Client-Programm

ConnectionFactory

Kreierender

Connection

Kreierender

Session

Kreierender

Message

Schliessender

Connection

Empfänger-Client-Programm

ConnectionFactory

Kreierender

Connection

Kreierender

Session

Empfangender

Message

Schliessender

Connection

Kreierendes

MsgProd

Kreierendes

MsgCons

Beenden

Löschen derQueues



Beispielprogramm (Starten desProviders)

Beim Einsatz von J3EE 1.3 SDK, wird JMS im SDK mitgelifert



Beispielprogramm (Kreieren der JMSadministrierten Objekte)

•Warteschlange muss zu erst im JNDI registriert werden•Geschieht mit dem J2EE Administrations Tool,oder einem Batch Skript auf dem Server



Beispielprogramm (Überprüfung deradministrierten Objekte)

•Warteschlange muss zu erst im JNDI registriert werden•Geschieht mit dem J2EE Administrations Tool,oder einem Batch Skript auf dem Serverl



Sende-Client-Programm

Variablen Deklaration

•JNID InitialContext•jndi.properties



Sender-Client-ConnectionFactory

•QueueConnectionFactory ist als Standardfactory vorhanden

•Erstellung weitere Factorys mit Admintools:

•j2eeadmin -addJmsFactory jndi_name•queue j2eeadmin -addJmsFactory jndi_name topic



Sender-Client: Connection / Session

•Kreieren der Connection

•Kreieren der Session •MessageProducer wird erstellt



Sender-Client: Message kreieren

•Interface des MessageProducers•Senden einer non-text control message zeigt Ende der Messages an



Sender-Client: Connection schliessen

•Das Ende – Connection geschlossen



Empfänger-Client: Connection/Sessionstarten

•MessageConsumer wird erstellt



Empfänger-Client: Message empfangen

•Nach der start Methode kann die receive Methode jederzeit benutztwerden



Löschen einer Queue

•Administrative Objekt „meineWarteschlange“ sollte nach Abschluss wiederaus dem Enterpriseserver entfernt werdenen



Was haben wir gelernt?!


Fazit

Not every DAD

(Distributed Application Development)

needs a MOM.

But many...


NavigationZurück zu:

NavigationZurück zu:Connection

Factory

Connection

Creates

MessageProducer

CreatesSession

Creates

MessageConsumer

Creates

Destination

Sends To

Destination

Receives From

Message

Creates

CF

Message

C/S (S)

C/S (E)


AdministrativeTool

JMS Client JMS ProviderJMS Provider

JNDI Namespace

DCFBind

Lookup

Logical Connection

CF


Nachteile MoM

• Kein echter Standard für die Programmierung mittels MoM

• Applikations-Daten einer Nachricht müssen vom Programmiererein- und ausgepackt werden

• MQS kennt meist den Inhalt der Nachricht nicht, kann daraufkeine Filter anwenden

• Schwer einsetzbar bei Programmen, die synchronen Ablaufhaben

• MoM verbirgt die Kommunikation nicht


Vorteile MoM

Asynchron Ereignisgesteuert

• MoM fügt sich fließend in Programme mit asynchronenoder ereignisgesteuerten Ablauf ein

Skalierbarkeit / Verfügbarkeit

MoM skaliert sehr gut und führt zu einer höheren Ver-fügbarkeit des Gesamtsystems

Orts- / Migrationstransparent

• Dienste können während der Lebenszeit des Gesamt-systems ihren Ort verändern

Dynamisch

• Dienste können während der Lebenszeit des Gesamt-systems hinzugefügt werden

Quality of Service

• MoM bietet über Quality of Services u.a. die garantierteAuslieferung von Nachrichten

08 Nachrichtenbasierte Kommunikation -...

Documents

Transcript of 08 Nachrichtenbasierte Kommunikation -...