UDT-UDP Datentransport
Individuelle Datentransportschicht für große Dateien und große Entfernungen über
IP (Internetprotokoll basierte) WAN Netze.
Wir haben eine individuelle Datentransportschicht für große Dateien und große Entfernungen
über IP (Internetprotokoll basierte) WAN Netze realisiert und in ein bestehendes
System integriert. Diese Lösung ist besonders interessant für alle Firmen, die große Dateien über
das Internet transportieren müssen z.B. Satelliten-Datenverbindungen nach New York,
Berlin, Köln oder zum Ü-Wagen. TCP / IP –FTP, SMB usw. ist bei großen Daten und Reaktionszeiten
einfach ungeeignet, da es zu langsam ist.
Hier ein Beispiel anhand einer Grafik:
Quelle: Yunhong Gu
Basierend auf dem UDP / IP Protokoll und unter Zuhilfenahme der UDT Bibliothek, haben
wir, für einen in NRW ansässigen großen Fernsehsender mit Standorten auf der ganzen
Welt, diesen Dateitransport realisiert.
UDP-Filetransfer
UDP ist ein verbindungsloses, paketorientiertes Transportprotokoll, das auf eine
Bestätigung an den Sender durch den Empfänger verzichtet. Der reduzierte Protokoll-Overhead
beinhaltet ein besseres Verhältnis von Nutz- und Signalisierungsdaten. Dieses hier
vorgestellte Konzept macht sich diese Eigenschaft zu Nutze und gestattet es, große
Datenmengen mit einer signifikant höheren Geschwindigkeit zu übertragen.
- Daten werden beleglos transportiert (ohne Rückantwort vom Server)
- Weite Strecken, sehr schnell
- Ausfallsicherheit
- Nicht nur private oder aktive QoS-Links, sondern auch für gemeinsame Netzwerke
- Spezifische Einstellung des Betriebssystems möglich
- Sehr schnell auch im Terabyte Bereich
- „fair“ – UDT und TCP arbeiten gleichzeitig
- Einfache Handhabung
- Keine Probleme mit der Firewall
Umsetzung
Um eine fehlerfreie Datei-Übertragung sicherstellen zu können, war es notwendig
Sicherungsmechanismen in den Entwurf einfließen zu lassen. Das Konzept UDP - Filetransfer
baut auf der Erkenntnis, dass einige Tausend UDP Datagramme sequenziell über eine
Netzwerkverbindung fehlerfrei übertragen werden können. Eine Absicherung des Transfers
vollzieht sich durch Bestätigen des Erhaltens der definierten UDP-Sequenzen. Da
es eine nicht standardisierte Verbindungsart ist, sind angepasste Programme auf
beiden Seiten der Verbindung notwendig, um so eine Server – Client – Verbindung
aufzubauen.
Das System wurde lokal, im Testaufbau und unter Betriebsbedingungen getestet.
Mit speziellen Testclients und Integration in die entsprechenden Module des Video
Content Management Systems, testeten wir die UDP Datentransportschicht über das WAN-IP-Netz.
Die Module bestehen aus Client und Server Bibliotheken für den flexiblen Einsatz
in verschiedenen Bereichen. Robustes Multithreading für die kontinuierliche Überwachung
des Datenübertragungsstatus ist implementiert.
In diesem Projekt wurde mit folgenden Tools gearbeitet:
C++, MFC, Visual Studio 2005, UDP-based Data Transfer Bibliothek, Sybase, Access,
Aqua Data Studio 4.7, TCP/IP, UDP/IP, UDT v3.3
Socketprogrammierung, Netzwerk-Programmierung, Debugging, Systematische Problem-Analyse
/ Debugging in komplexen Umgebungen
Prozesse / Thread (Multi-Threads)
Schulung / Einführung zu in diesem Projekt verwendeten Technologien