영단어 token
은 여러 뜻이 많아서 disambig. 가 필요.
은 여러 뜻이 많아서 disambig. 가 필요.
공통 뜻은 대충 작은 조각 정도 ??
뜻이 분야에 따라
언어학/NLP/형식언어,formal_language론/컴파일러,compiler론/... 즉 언어,language에 대한
암호화폐/가상화폐
AI/ML : 텍스트,text 데이터,data 전처리,preprocessing에 나오는
...
언어학/NLP/형식언어,formal_language론/컴파일러,compiler론/... 즉 언어,language에 대한
암호화폐/가상화폐
AI/ML : 텍스트,text 데이터,data 전처리,preprocessing에 나오는
...
Related topics:
tokenizing = tokenization ?
tokenizing = tokenization ?
tokenizer
tokenizer
tokenizing = tokenization ?대충
문장을 어떤 더 작은 단위로 나누는 것. MKL 단어,word 형태소,morpheme lexeme ....
tokenizer문장을 어떤 더 작은 단위로 나누는 것. MKL 단어,word 형태소,morpheme lexeme ....
전산언어학,computational_linguistics or 자연어처리,natural_language_processing,NLP와 (대상은 자연어,natural_language)
컴파일러,compiler쪽에서 좀 다를 텐데 (대상은 프로그래밍언어,programming_language)
그에대해서도 tbw
컴파일러,compiler쪽에서 좀 다를 텐데 (대상은 프로그래밍언어,programming_language)
그에대해서도 tbw
tokenizertokenizer단어,word와 cmp
{
공통점은 둘 다 언어,language 문장,sentence ... 에서 작은 구성요소(비슷: 원소,element 단위,unit 청크,chunk)라는 것이고... tbw
{
공통점은 둘 다 언어,language 문장,sentence ... 에서 작은 구성요소(비슷: 원소,element 단위,unit 청크,chunk)라는 것이고... tbw
token= https://en.wiktionary.org/wiki/tokenEnglish#Noun 14.
{
14. // 컴파일,compile 컴파일러,compiler lexical_analysis parsing 에서
(computing) An atomic piece of data, such as a word, for which a meaning may be inferred during parsing. / Synonym: symbol(심벌,symbol)
15. // 네트워킹,networking - token_ring , token_ring_network 에서
(computing) A conceptual object that can be possessed by a computer, process, etc. in order to regulate a turn-taking system such as a token ring network.
16. // 보안?
(computing) A meaningless placeholder used as a substitute for sensitive data.
17. // 언어학,linguistics 문법,grammar
(grammar) A lexeme; a basic, grammatically indivisible unit of a language such as a keyword, operator or identifier. // 언어,language의 기본적이며 문법적으로 나뉠 수 없는 단위,unit, 예를 들어 키워드keyword operator 식별자,identifier?
}
