SAP Data Intelligence .- Connection Management

 Eine der grundlegendsten Funktionen einer IT-Unternehmensarchitektur ist die Fähigkeit, die Daten aller relevanten Systeme und die Informationen aus den verschiedensten Bereichen des Unternehmens zusammen zu bringen. Im Idealfall können diese Systeme direkt miteinander kommunizieren. Man spricht hier von einer unternehmensweiten Datenintegration. Über entsprechende Schnittstellen ließe sich das bekannte und in der Vergangenheit viel zu oft praktizierte Verfahren des Exports und Imports von Daten aus den und in die verschiedenen Systeme vermeiden. Die Einführung einer übergreifender Integrationsplattform ist lange überfällig, da die Export- und Importverfahren nur allzu oft mit Problement zu kämpfen haben, wie beispielsweise abweichenden Formatierungen, zeitlichem Verzug oder einfach auch nur beschädigten oder unvollständigen Datenbeständen bzw. Nichtverfügbarkeit eines Speichermediums. 

SAP Data Intelligence bietet die geforderte Möglichkeit, die Systeme direkt anzubinden und miteinander kommunizieren zu lassen. Um zu verstehen, welchen Funktionsumfang SAP Data Intelligence bietet und welche Szenarien damit möglich sind, ist es essenziell, zu wissen welche Arten von Quellsystemen innerhalb des Systems verarbeitet werden können und vor allem auch, wie diese Datan in das System gelangen. Um Daten grundsätzlich strukturiert und ohne Umwege in das System zu integrieren, sind Schnittstellen mit standardisierter Funktionalität nötig. Diese sollen es auf einfachste Weise ermöglichen, Datenquellsysteme anzubinden, deren Informationen auszulesen, zu verstehen und so letztendlich auch zu verarbeiten. 

Funktionen auf Basis der Verbindungstypen

Bevor ich auf die einzelnen Verbindungstypen eingehe , will ich in diesem Abschnitt einen grundsätzlichen Blick auf die über die Verbindungen bereitgestellten Funktionen werfen. Diese können in den weiteren Applikationen von SAP Data Intelligence, wie beispielsweise dem Metadata Explorer oder dem Modeler, genutzt werden.

Eine der einfachsten Funktionen im Connection Management ist die Anzeige der Verbindungsstatus , um einen Überblick über die noch aktiven und laufenden Verbindungen zu erhalten. Im Zweifelsfall können Sie so korrigierend eingreifen, damit die laufenden Prozesse ungefährdet ausgeführt werden können. 

Über die Verbindungen besteht im Modeler und im Metadata Explorer die Möglichkeit , Ordner , Dateien, Bereiche, Objekte, Schemas und Datensätze auf den jeweiligen Zielsystemen zu durchsuchen oder Daten in Dateien, Tabellen und Views zu lesen und zu schreiben.  Darüber hinaus können Inhalte wie Dateien kopiert , aber auch gelöscht werden.

Durch die im Connection Management angelegten Verbindungen können vordefinierte und standardisierte Integrationsflüsse, sogenannte iFlows, ausgeführt werden. Solche iFlows können etwa aus über SAP Cloud Platform Integration angebundenen Systemen über eine obligatorische , gesicherte HTTPS-Verbindung ausgeführt werden, um beispielsweise eine Serviceanfrageformular im Zielsystem SAP Service Cloud oder SAP SAles Cloud (vormals SAP Cloud for Customer) anzulegen.

—————————————————————————————————————————-

SAP Cloud Platform Integration

SAP Cloud Platform Integration ist eine Entwicklungs- und Integrationsplattform, die auf der SAP Cloud Platform angeboten wird. Sie ermöglicht den Austausch von Daten zwischen Cloud- und On-Premise-Systemen, wozu iFlows modelliert werden. Daneben bietet SAP Cloud Platform Integration vorgefertigte Adapter und Integrationsszenarien an.

—————————————————————————————————————————-

Verbindungen bilden darüber hinaus die Grundlage für die Ausführung von Ablaufdiagrammen oder Ablaufdiagrammaufgaben, ABAP-Operatoren, Jobs, Prozessketten oder SQL-Anweisungen, um damit die Prozesse der angeschlossenen Systeme zentral steuern und orchestrieren zu können. Neben den Ablaufdiagrammen können auch Jobs aus SAP Data Services, einer Software zur Datenbewirtschaftung von Data-Warehouse-Lösungen durchsucht und in der SAP-Data-Intelligence-Umgebung dargestellt werden.

In Machine-Learning-Szenarien können die im Connection Management definierten Verbindungen im Rahmen des Trainings von maschinell lernenden Modellen verwendet werden. Sie ermöglichen so das Experimentieren mit Daten unter Verwendung von Jupyter-Lab. JupyterLab ist eine interaktive Entwicklungsumgebung , die Coding , die grafische Darstellung sowie die Dokumentation der Programmierung mithilfe von sogenannten Notebooks unterstützt. Die Bezeichnung Jupyter leitet sich von den drei im Wesentlichen verwendeten Programmiersprachen Julia, Python und R ab. 

Verbindungen zu SAP-Systemen

Als SAP-Tool ermöglicht SAP Data Intelligence die typischen Systemverbindungen zu SAP-Lösungen. Für diese Verbindungstypen sind unterschiedliche Funktionalitäten in SAP Data Intelligence verfügbar. 

Der Verbindungstyp ABAP ermöglicht den Zugriff auf die klassischen ABAP-basierten SAP-Systeme wie beispielsweise SAP R/3, SAP ERP oder SAP S/4HANA. Verbindungen dieses Typs werden über die Protokolle Remote Function Call (RFC), HTTPS oder WebSocket RFC hergestellt. Es kann auf Tabellen, ABAP-Dictionary-Objekte und CDS-Views zugegriffen werden.

Änderungen an Verbindungen dieses Typs werden nicht immer gleich erkannt, da die Verbindungsdetails im Cache des Browsers abgelegt werden und daher immer leicht verzögert greifen. Bei der Nutzung eines HTTPS- oder WebSocket-RFC-Verbindung ist darauf zu achten, dass ein entsprechendes Zertifikat zur Verfügung steht.

Der Verbindungstyp BW ermöglicht den Aufbau von Verbindungen zu SAP-BW-Systemen, SAP BW-Systemen auf SAP HANA oder SAP BW/4HANA-Systemen. Es werden allerdings nur Systeme ab Version 7.4 unterstützt.

—————————————————————————————————————————

Cloud Connector

Der Cloud Connector von SAP verbindet Cloudanwendungen mit On-Premise-Systemen. Er wird über die SAP Cloud Platform bereitgestellt. Mit dem Cloud Connector können Sie beliebig viele Backend-Systeme mit der SAP Cloud Platform verbinden.

—————————————————————————————————————————

Über den Verbindungstyp CLOUD_DATA_INTEGRATION können diverse SAP-Cloudlösungen mithilfe von OData-basierten APIs angebunden werden. Zu nennen wären hier etwa die Lösungen SAP Fieldglass, SAP Sales Cloud, SAP Service Cloud oder SAP S/4HANA Cloud.

Der Verbindungstyp CPI nutzt HTTPS als obligatorisches Verbindungsprotokollen und stellt eine Verbindung zur Middleware SAP Cloud Platform Integration her. Diese Middleware unterstützt Daten- und Prozessintegrationsszenarien und stellt hierzu verschiedene vorgefertigte Integrationspakete zur Verfügung. Darüber hinaus verfügt SAP Cloud Platform Integration über eine Entwicklungsplattform, eine Laufzeitumgebung sowie vorgefertigte Funktionsbausteine . Aus SAP Data Intelligence heraus können Sie die Integrationsflüsse (iFlows), die in SAP Cloud Platform Integration modelliert werden, auf der SAP Cloud Platform steuern. Deren Rückmeldungen können Sie wiederum innerhalb von SAP Data Intelligence verarbeiten.

Über den Verbindungstyp HANA_DB kann der Zugriff auf eine klassische SAP-HANA-Datenbank erfolgen, sodass die SAP-HANA-Objekte durchsucht. Metadaten ausgelesen , ein Data Profiling erstellt und eine Datenvorschau innerhalb von SAP Data Intelligence angezeigt werden können. Zur Einschränkung auf nur notwendige Schemas stellt dieser Verbindungstyp eine Blacklistfunktion zur Verfügung, die nicht benötigte Schemas der Datenbank ausblendet. Diese Einschränkung stellt aber keine direkte Berechtigungseinschränkung dar, da sie mit dem Zugriff auf die Verbindungen aufgehoben werden kann.

Weitere Verbindungen sind:

Verbindungen zu Datenbanken

Verbindungen zu cloudbasierten Systemen

Erster Artikel zur SAP Data Intelligence:

https://einsiedlerkreps.blogspot.com/2023/04/sap-data-intelligence-ein-moglicher.html

Technologie Agnostische Gedanken zur Hybriden Integration Teil 1

 In diesen Überlegungen geht es mir darum aufzuzeigen was ich als wichtig erachte um Integration möglich zu machen. Ich werde Versuchen die verschiedenen Komponenten aufzuzeigen und dabei aber immer Technologie Agnostisch zu bleiben. Die Erfahrungen die ich hier zurückgreife kommen aus meiner Funktion im Bereich SAP-Schnittstellen und der Integration dieser mit nicht SAP-Anwendungen.

Was bedeutet Integration?

In der Wirtschaftsinformatik beschreibt Integration die Verknüpfung von Menschen , Aufgaben und Technik zu einem einheitlichen Ganzen. Die wesentliche Aufgabe der Integration  die Automatisierung von Datenflüssen zwischen verschiedenen Informationssystemen. Dabei ist der Stellenwert der Integration über die Jahre deutlich gewachsen, da die Anforderungen und die Vielzahl der eingesetzten Informationssysteme immer komplexer wurden.

Nach Peter Mertens ("Integrierte Informationsverarbeitung" ) wird Integration in fünf Dimensionen unterteilt.

Integrationsgegenstand

Integrationsgegenstände können Daten, Programme, Funktionen Prozesse, aber auch Dienste sein.

Integrationsrichtung

Die Integrationsrichtung wird in die horizontale und vertikale Integration unterteilt. Bei der horizontalen Integration geht es um die Verkettung zwischen den Unternehmensprozessen.

Die vertikale Integration beschreibt wiederum die Integration von der ausführenden Ebene hin zur strategischen Planungsebene im Unternehmen.

Integrationsreichweite

Die Integrationsreichweite unterteilt sich typischerweise in die innerbetriebliche und die überbetriebliche Integration. Ein Beispiel dafürn ist die Integration zu externen Dienstleistern oder Plattformen (Unternehmen-zu-Unternehmen, B2B und Unternehmen-zu-Endkunden,B2C).

Automatisierungsgrad

Je nach Integrationszenario wird zwischen voll - oder teilautomatisiert unterschieden. 

Integrationszeitpunkt

Der Integrationszeitpunkt beschreibt die Art der Verarbeitung. Die bekanntesten Szenarien für den Integrationszeitpunkt sind das Echtzeit-oder Batch-Verfahren .

Wandel der Anforderungen

Durch die steigende Komplexität der Unternehmensarchitekturen haben sich auch die Anforderungen gewandelt. Die zunehmend vertikale und horizontale Vernetzung , die Digitalisierung der Unternehmensprozesse und die schrittweise verlagerung von Unternehmensanwendungen in Richtung Cloud führen zu einer hohen Komplexität der Unternehmensarchitektur und zu einem hohen Bedarf an Integration. Neue Trends wie Industrie 4.0 , Internet of Things(IoT) oder digitale und vernetzte Zwillinge führen weiter zu einem steigenden Integrationsbedarf führen.

Integration Solution Advisory Methodology (ISA-M)

Obwohl ISA-M von SAP entwickelt und gewartet wird, ist diese Methode durchaus offen für Nich-SAP-Integrationslösungen. Deswegen ist ein Anwendung der Methodik auch für andere Produkte möglich.

Ich beschreibe hier die vier vorgesehen Phasen des ISA-M Kreislaufs.

. Asses your Integration Strategy

Die Phase Asses your Integration Strategy hat zum Ziel, die Integrationsarchitektur zu dokumentieren und zu begutachten. Mithilfe von Integrationsdomänen und Integrationstilen können sowohl die aktuelle Integrationslandschaft als auch die zukünftige Integrationslandschaft beschrieben werden.

Design your Hybrid Integration Platform

Im Rahmen der zweiten Phase findet die Gestaltung der hybriden Integrationsplattform statt. Nach ISA-M sind die wichtigsten Aufgaben bei der Gestaltung einer hybriden Integrationsplattform die Zuordnung von Technologien und die Bewertung von Schnittstellen.

Define Integration Best Practices

Ziel dieser Phase ist es, mithilfe von beschriebenen Best Practices  die Implementierung von neuen Integrationsanforderungen zu überwachen und Transparenz zum Schnittstellendesign zu erzeugen. Hier können sogenannte Architektur-Blueprints ein gutes Mittel sein.

Enable a Practice of Empowerment

In dieser Phase geht es um die Verbreitung des Integrationswissen innerhalb der Organisation. Ziel dieser Phase ist es, die Integration als anerkannte Disziplin und strategische Funktion innerhalb der Organisation zu etablieren.. In weiteren Post's werde ich noch auf das Integration Competency Center of Excellence zu sprechen kommen.

Fazit: 

Integration wird sehr schnell sehr unübersichtlich und komplex , wir müssen uns in der Zukunft darauf einstellen das System's of System's immer mehr mehr wird und daher die Anforderung auf die Integration steigen wird.

Das bedeutet wir brauchen Vorgehensweisen die eine dokumentierte Methodik haben , um sie Nachvollziehbar zu machen , damit in Projekte besser über die jeweiligen Ansätze diskutiert werden kann und durch sog. Architektur - Blueprints  sich auf vorgehensweisen fokussieren kann , das wird das Verständnis erheblich verbessern.

Reifegradmodelle, Methodiken wie ISA-M die sich auch weiterentwickeln, werden die Organisation voranbringen. 

Unabhängig von Protokollen und Technischen Plattformen müssen diese Aufgaben erledigt sein um einen Wildwuchs von Technologien und unterschiedlichen Ansätzen zu verhindern.

Weitere Post's zu dem Thema werden sein:

Reifegradmodell

Methodik von ISA-M

Integration Center of Excellence

Hybrid Integration Platform

Die Zukunft der Integration mit SAP S/4HANA

 Ich beschäftige mich schon länger mit Integration, aber jetzt ist die Zeit gekommen wieder einmal zu reflektieren wie es in Zukunft weiter gehen könnte. 

Deswegen habe ich mich einwenig mit SAP S/4HANA Architektur und in welche Richtung es in Zukunft gehen soll.

Also um gleich etwas klarzustellen die herkömlichen Technologien gibt es alle noch, ( IDocs, BAPIs und RFCs). Aber in Zukunft werden wohl SOAP und OData die Technologien der Wahl werden.

SAP hat in der Cloud die in allem die Marschrichtung vorgibt , folgende Strategie verwendet.

Bei Neuentwicklungen konzentriert sich SAP auf SOAP und OData - Service und verzichtet in derZukunft auf die Weiterentwicklung der BAPIs , IDocs und RFC.  

Wie schaut die Verwendung nun im Detail aus :

SOAP - Dienste werden für asynchrone Dienste (wo früher IDOCs verwendet worden wären) genutzt:

 

Kurz zur Erklärung: SOAP Dienste sind Dienste die das http-Protokoll und das XML -basierte SOAP Nachrichtenformat verwendet. 

Es werden typischerweise asynchrone , transaktionale Kommunikation verwendet, mit einweg Nachrichten die keine Antwort haben. Hier geht es einfach darum blockierung zu vermeiden.

Synchrone SOAP-Dienste werden nur in Ausnahmefällen verwendet. 

Der zweite Player bei Integrations-Technologien ist OData-Service , sie übernehmen den Part den früher die BAPI übernommen haben. 

OData - API sind resourcenbasierte API's das ergebnis der operation wird sofort im BODY der http -Antwort zurückgegeben wird.

 

Gemeinsam mit ABAP RESTful Application Programming Model  (werde spätern noch mehr darüber schreiben ist es eine gute Abstraktionsschicht 

Hier ist auch wichtig zu sagen das auch diese API über das Open API Spezifikation auf einem API Getway zur verfügung gestellt werden kann. Um diese API zur verfügung zu stellen.

 

Fazit: 

Für mich war es etwas ein Aha Erlebnis auf der einen Seite leichtgewichtige asynchrone  SOAP Service, weiter OData Service die Business Logik kapselt. Die Trennung der layer passiert noch effizienter,  es geht wie immer um Entkopplung und Austauschbarkeit.  

Natürlich wird man nicht jede bestehende Schnittstelle ändern, aber bei neuen Schnittstellen ist es schon anzudenken diese Vorgehensweise zu wählen.

Es ist auch zu überlegen welchen Stellenwert SAP PO einnimmt, sofern eine solche  verwendet wird.

Diese Fragen wann verwende ich eine API wann macht es Sinn SAP PO zu verwenden sind wichtig und sollten auch im Unternehmen besprochen werden.

Um diese Fragen klären , wird es wichtig sein auch zu definieren mit welche Integration Domain , Integration Style haben wir im Unternehem und welche technischen Möglichkeiten haben wir hier.

 Das SAP System ist nicht isoliert , sondern eingebettet in den Gesamtkontext der Unternehmens-Architektur.