Translation of tokenizer into German
Noun
technology
- The tokenizer splits the sentence into individual words.Der Tokenizer teilt den Satz in einzelne Wörter auf.
Examples of tokenizer in a sentence
The tokenizer helps in breaking down complex sentences.
Translations of "tokenizer" in Context ordered by category and frequency
To facilitate work with test data, eperi has added a tokenizer to produce pronounceable character strings.
Speziell für die Verwendung bei Testdaten hat eperi einen Tokenizer für aussprechbare Zeichenketten hinzugefügt.
Tokenizers/Lexers As mentioned, KDevelop-PG-Qt requires an existing Tokenizer.
Wie bereits kurz erwähnt erfordert KDevelop-PG-Qt einen Tokenizer.
The compiler encountered a line that the tokenizer of the editor had already marked as incorrect.
Der Compiler ist auf eine Zeile gestoßen, die schon vom Tokenizer des Editors als fehlerhaft markiert wurde.
Each node emitted by the tokenizer will be processed by the tree constructor.
Jeder vom Tokenizer ausgegebene Knoten wird vom Baumkonstruktor verarbeitet.
tokenizer: Examples and translations in context
The tokenizer recognizes the token, gives it to the tree constructor, and consumes the next character for recognizing the next token, and so on until the end of the input.
Der Tokenizer erkennt das Token, gibt es an den Konstruktor weiter, analysiert das nächste Zeichen zur Erkennung des nächsten Tokens usw. - bis zum Ende der Eingabe.
When you create FIAT backed cryptocurrency using our tokenizer, the respective logic of the backing currency is embedded in the Smart contract automatically.
Wenn Sie mit unserem Tokenizer FIAT-gestützte Kryptowährung erstellen, wird die entsprechende Logik der Basiswährung automatisch in den Smart-Vertrag eingebettet.
If supported, PHP Tokenizer will be used for reliable class definition discovery.
Falls vorhanden wird zum zuverlässigen Entdecken einer Klassendefinition der PHP Tokenizer verwendet.
We'll take the String Tokenizer for PL/SQL, which I published on this blog some time ago, as an example for a table function.
Als Beispiel für eine Table Function nehme ich den String Tokenizer für PL/SQL, den ich vor einiger Zeit auf diesem Blog veröffentlicht habe.