Größere Projekte

Individuelle Datentransportschicht für große Dateien und große Entfernungen über
                IP (Internetprotokoll basierte) WAN Netze UDT-UDP Datentransport

Individuelle Datentransportschicht für große Dateien und große Entfernungen über IP (Internetprotokoll basierte) WAN Netze.

Wir haben eine individuelle Datentransportschicht für große Dateien und große Entfernungen über IP (Internetprotokoll basierte) WAN Netze realisiert und in ein bestehendes System integriert. Diese Lösung ist besonders interessant für alle Firmen, die große Dateien über das Internet transportieren müssen z.B. Satelliten-Datenverbindungen nach New York, Berlin, Köln oder zum Ü-Wagen. TCP / IP –FTP, SMB usw. ist bei großen Daten und Reaktionszeiten einfach ungeeignet, da es zu langsam ist.

Hier ein Beispiel anhand einer Grafik:

Datenübertragungen
Quelle: Yunhong Gu

Basierend auf dem UDP / IP Protokoll und unter Zuhilfenahme der UDT Bibliothek, haben wir, für einen in NRW ansässigen großen Fernsehsender mit Standorten auf der ganzen Welt, diesen Dateitransport realisiert.


UDP-Filetransfer

UDP ist ein verbindungsloses, paketorientiertes Transportprotokoll, das auf eine Bestätigung an den Sender durch den Empfänger verzichtet. Der reduzierte Protokoll-Overhead beinhaltet ein besseres Verhältnis von Nutz- und Signalisierungsdaten. Dieses hier vorgestellte Konzept macht sich diese Eigenschaft zu Nutze und gestattet es, große Datenmengen mit einer signifikant höheren Geschwindigkeit zu übertragen.

  • Daten werden beleglos transportiert (ohne Rückantwort vom Server)
  • Weite Strecken, sehr schnell
  • Ausfallsicherheit
  • Nicht nur private oder aktive QoS-Links, sondern auch für gemeinsame Netzwerke
  • Spezifische Einstellung des Betriebssystems möglich
  • Sehr schnell auch im Terabyte Bereich
  • „fair“ – UDT und TCP arbeiten gleichzeitig
  • Einfache Handhabung
  • Keine Probleme mit der Firewall

Umsetzung

Um eine fehlerfreie Datei-Übertragung sicherstellen zu können, war es notwendig Sicherungsmechanismen in den Entwurf einfließen zu lassen. Das Konzept UDP - Filetransfer baut auf der Erkenntnis, dass einige Tausend UDP Datagramme sequenziell über eine Netzwerkverbindung fehlerfrei übertragen werden können. Eine Absicherung des Transfers vollzieht sich durch Bestätigen des Erhaltens der definierten UDP-Sequenzen. Da es eine nicht standardisierte Verbindungsart ist, sind angepasste Programme auf beiden Seiten der Verbindung notwendig, um so eine Server – Client – Verbindung aufzubauen.

Das System wurde lokal, im Testaufbau und unter Betriebsbedingungen getestet.

Mit speziellen Testclients und Integration in die entsprechenden Module des Video Content Management Systems, testeten wir die UDP Datentransportschicht über das WAN-IP-Netz.

Die Module bestehen aus Client und Server Bibliotheken für den flexiblen Einsatz in verschiedenen Bereichen. Robustes Multithreading für die kontinuierliche Überwachung des Datenübertragungsstatus ist implementiert.


In diesem Projekt wurde mit folgenden Tools gearbeitet:

C++, MFC, Visual Studio 2005, UDP-based Data Transfer Bibliothek, Sybase, Access, Aqua Data Studio 4.7, TCP/IP, UDP/IP, UDT v3.3

Socketprogrammierung, Netzwerk-Programmierung, Debugging, Systematische Problem-Analyse / Debugging in komplexen Umgebungen

Prozesse / Thread (Multi-Threads)


Schulung / Einführung zu in diesem Projekt verwendeten Technologien