نمایش مبدأ برای پیش‌نویس:مدل زبانی


'''مدل زبان''' آماری یک [[توزیع احتمال]] روی دنباله‌ی کلمات است. به طور مثال اگر دنباله‌ای به طول {{Mvar|m}} داشته باشیم، این مدل احتمال <math>P(w_1,\ldots,w_m)</math> را به کل دنباله می‌دهد.

مدل زبان [[بافت (زبان‌شناسی)|بافتی (زبان‌شناسی)]] را برای تمایز بین کلمات و عباراتی که به نظر مشابه می‌رسند فراهم می‌کند. به عنوان مثال، در [[انگلیسی آمریکایی]]، عبارات "recognize speech" و "wreck a nice beach" شبیه به هم هستند، اما معانی مختلفی دارند.

پراکندگی داده‌ها یک مشکل اساسی در ساخت مدل‌های زبان است. بیشتر توالی‌های ممکن کلمات در آموزش مشاهده نمی‌شوند. یک راه حل این است که فرض کنیم احتمال کلمه فقط به ''n'' کلمه قبلی بستگی دارد. این مدل به عنوان مدل [[ان-گرم|ان-گرام]] شناخته می‌شود و زمانی که n برابر با ۱ باشد مدل به عنوان [[ان-گرم|یونیگرام]] شناخته می‌شود. مدل یونیگرام به عنوان مدل [[مدل بسته کلمات]] نیز شناخته می شود.

تخمین احتمال نسبی عبارات مختلف در بسیاری از کاربردهای [[پردازش زبان‌های طبیعی|پردازش زبان طبیعی]]، به ویژه مواردی که متن را به عنوان خروجی تولید می کنند، مفید است. از مدل سازی زبان در [[بازشناسی گفتار|تشخیص گفتار]] ، <ref>Kuhn, Roland, and Renato De Mori. "[https://www.researchgate.net/profile/Roland_Kuhn2/publication/3191800_Cache-based_natural_language_model_for_speech_recognition/links/004635184ee5b2c24f000000.pdf A cache-based natural language model for speech recognition]." IEEE transactions on pattern analysis and machine intelligence 12.6 (1990): 570-583.</ref> [[ترجمه ماشینی]] ، [[برچسب‌گذاری جزء کلام|برچسب‌گذاری کلمات]]، [[تجزیه‌کننده|تجزیه]] ، <ref name="Semantic parsing as machine translation">Andreas, Jacob, Andreas Vlachos, and Stephen Clark. "[https://www.aclweb.org/anthology/P13-2009 Semantic parsing as machine translation]." Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2013.</ref> [[نویسه‌خوان نوری]] ، [[نویسه‌خوان نوری|تشخیص]] [[تشخیص دست خط|دست خط]] ، <ref>Pham, Vu, et al. "[[arxiv:1312.4569|Dropout improves recurrent neural networks for handwriting recognition]]." 2014 14th International Conference on Frontiers in Handwriting Recognition. IEEE, 2014.</ref> [[بازیابی اطلاعات]] و سایر برنامه ها استفاده می شود.

در تشخیص گفتار، اصوات با توالی کلمات مطابقت دارند. ابهامات هنگامی که شهودهایی از مدل زبان با یک مدل تلفظ و یک مدل صوتی ادغام شده است، آسان‌تر حل خواهند شد.

مدل‌های زبانی در بازیابی اطلاعات در مدل احتمال پرسشی استفاده می‌شود. در آنجا، یک مدل زبان جداگانه با هر مستند در یک مجموعه مرتبط است. مستندها بر اساس احتمال پرسش ''Q'' در مدل زبان مستند رتبه‌بندی می‌شوند. <math>M_d</math> : <math>P(Q\mid M_d)</math> . معمولاً برای این منظور از مدل زبان [[ان-گرم|یونیگرام]] استفاده می شود.

== انواع مدل ==

=== یونیگرام ===
یک مدل یونیگرام را می توان ترکیبی از چندین [[ماشین حالات متناهی]] یک حالته دانست. <ref>Christopher D. Manning, Prabhakar Raghavan, Hinrich Schütze: An Introduction to Information Retrieval, pages 237–240. Cambridge University Press, 2009</ref> این مدل احتمالات کلمات مختلف در یک متن را از هم جدا می‌کند، به عنوان مثال از

: <math>P(t_1t_2t_3)=P(t_1)P(t_2\mid t_1)P(t_3\mid t_1t_2)</math>

به

: <math>P_\text{uni}(t_1t_2t_3)=P(t_1)P(t_2)P(t_3).</math>

در این مدل، احتمال هر کلمه فقط به احتمال خود آن کلمه در مستند بستگی دارد ، بنابراین ما فقط [[ماشین حالات متناهی|ماشین حالت]] یک حالته را به عنوان واحدها داریم. ماشین حالت توزیع احتمال در کل واژگان مدل را دارد و مجموع  آن‌ها برابر ۱ می‌شود. در زیر تصویر مدل یونیگرام یک مستند را می‌بینیم.
{| class="wikitable"
!کلمات
! احتمال در مستند
|-
| a
| 0.1
|-
| world
| 0.2
|-
| likes
| 0.05
|-
| we
| 0.05
|-
| share
| 0.3
|-
| . . .
| . . .
|}

: <math>\sum_{\text{term in doc}} P(\text{term}) = 1</math>

احتمال ایجاد شده برای یک پرسش خاص به صورت زیر محاسبه می‌شود

: <math>P(\text{query}) = \prod_{\text{term in query}} P(\text{term})</math>

مستند‌های مختلف دارای مدل‌های یونیگرام هستند که احتمال مختلف کلمات در آن وجود دارد. توزیع احتمال از مستند‌های مختلف استفاده می‌شود تا احتمال وجود کلمه برای هر جستجو را تولید شود. مستند‌ها را می‌توان برای یک پرسش با توجه به احتمالات رتبه‌بندی کرد. نمونه ای از مدل‌های یونیگرام دو مستند:
{| class="wikitable"
!کلمات
! احتمال در مستند اول
! احتمال در مستند دوم
|-
| a
| 0.1
| 0.3
|-
| world
| 0.2
| 0.1
|-
| likes
| 0.05
| 0.03
|-
| we
| 0.05
| 0.02
|-
| share
| 0.3
| 0.2
|-
| . . .
| . . .
| . . .
|}
در زمینه‌های بازیابی اطلاعات، برای جلوگیری از مواردی که احتمال کلمه در آن صفر شود، آن را smooth می‌کنند. یک رویکرد معمول، ایجاد مدل حداکثر احتمال برای کل مجموعه و [[درون‌یابی خطی]] مدل مجموعه با یک مدل حداکثر احتمال برای هر مستند برای smooth کردن مدل است. <ref>Buttcher, Clarke, and Cormack. Information Retrieval: Implementing and Evaluating Search Engines. pg. 289–291. MIT Press.</ref>

=== ان-گرام ===
در مدل ''ان-گرام''، احتمال <math>P(w_1,\ldots,w_m)</math> از مشاهده جمله <math>w_1,\ldots,w_m</math> به صورت زیر محاسبه می‌شود

: <math>P(w_1,\ldots,w_m) = \prod^m_{i=1} P(w_i\mid w_1,\ldots,w_{i-1})\approx \prod^m_{i=1} P(w_i\mid w_{i-(n-1)},\ldots,w_{i-1})</math>

فرض بر این است که احتمال مشاهده‌ی iامین کلمه (''w<sub>i</sub>'') در i-1 کلمه قبل را می توان با احتمال مشاهده آن 10 کلمه قبلی تقریب زد. (کلمه nام [[خاصیت مارکوف]]).

احتمال شرطی را می‌توان از تعداد کلمه در مدل ''ان-گرام'' محاسبه کرد:

: <math>P(w_i\mid w_{i-(n-1)},\ldots,w_{i-1}) = \frac{\mathrm{count}(w_{i-(n-1)},\ldots,w_{i-1},w_i)}{\mathrm{count}(w_{i-(n-1)},\ldots,w_{i-1})}</math>

اصطلاحات مدل‌های زبانی b'''igram''' و '''trigram،''' مدل ان-گرام با ''n''&nbsp;=&nbsp;2 و ''n''&nbsp;=&nbsp;3 <ref>Craig Trim, [http://trimc-nlp.blogspot.com/2013/04/language-modeling.html ''What is Language Modeling?''], April 26th, 2013.</ref> نشان می‌دهد.

به طور معمول، احتمالات مدل ان-گرام مستقیماً از تعداد فرکانس ها بدست نمی‌آیند، زیرا مدل‌هایی که از این طریق بدست آمده‌اند هنگام مواجهه با هر ان-گرامی که قبلاً به طور صریح دیده نشده است، مشکلات جدی دارند. در عوض، نوعی smoothing نیاز است تا مقداری از کل احتمال را به کلمات یا ان-گرامهای دیده نشده اختصاص دهد. از روش های مختلفی استفاده می‌شود ، از روش ساده "add-one" (اختصاص عدد 1 به n-gram مشاهده نشده، به عنوان یک [[توزیع پیشین]]) تا مدل‌های پیچیده‌تر، مانند [[:en:Good-Turing_discounting|Good-Turing discounting]] یا مدل‌های back-off.

==== دو طرفه ====
بازنمایی های دو طرفه هم در قبل و هم در بعد متن (به عنوان مثال ، کلمات) در همه لایه‌ها شرط هستند. <ref name=":0">{{Cite arXiv|last=Devlin|first=Jacob|last2=Chang|first2=Ming-Wei|last3=Lee|first3=Kenton|last4=Toutanova|first4=Kristina|date=2018-10-10|title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|eprint=1810.04805|class=cs.CL}}</ref>

==== مثال ====
در یک مدل زبان bigram (n =&nbsp;2)، احتمال ''I saw the red house'' ''به'' طور تقریبی به صورت زیر محاسبه می‌شود

: <math>P(\text{I, saw, the, red, house}) \approx P(\text{I}\mid\langle s\rangle) P(\text{saw}\mid \text{I}) P(\text{the}\mid\text{saw}) P(\text{red}\mid\text{the}) P(\text{house}\mid\text{red}) P(\langle /s\rangle\mid \text{house})</math>

در حالی که در یک مدل زبان trigram ( ''n''&nbsp;=&nbsp;3)، ''به'' طور تقریبی به صورت زیر محاسبه می‌شود

: <math>P(\text{I, saw, the, red, house}) \approx P(\text{I}\mid \langle s\rangle,\langle s\rangle) P(\text{saw}\mid\langle s\rangle,I) P(\text{the}\mid\text{I, saw}) P(\text{red}\mid\text{saw, the}) P(\text{house}\mid\text{the, red}) P(\langle /s\rangle\mid\text{red, house})</math>

توجه داشته باشید که در متن n-1 ان-گرام اول با نشانگرهای شروع جمله پر می‌شود ، که به طور معمول <nowiki><s></nowiki> نشان داده می‌شود.

علاوه بر این، بدون نشانگر پایان جمله، احتمال دنباله ای بدون گرامر ''* I saw the'' بیشتر از جمله طولانی‌تر ''I saw the red house'' است.

=== نمایی ===
مدل‌های زبان [[اصل حداکثر آنتروپی]] با استفاده از توابع ویژگی، رابطه بین کلمه و تاریخچه ان-گرام را رمزگذاری می‌کنند. معادله‌ی آن به صورت زیر است

: <math> P(w_m | w_1,\ldots,w_{m-1}) = \frac{1}{Z(w_1,\ldots,w_{m-1})} \exp (a^T f(w_1,\ldots,w_m))</math>

که <math>Z(w_1,\ldots,w_{m-1})</math> تابع partition، <math>a</math> بردار پارامتر و <math>f(w_1,\ldots,w_m)</math> تابع ویژگی هستند. در ساده ترین حالت، تابع ویژگی فقط نشانگر وجود یک ان-گرام خاص است. استفاده از پیش‌فرض روی a یا منظم‌ساز مفید خواهد بود.

مدل log-bilinear نمونه دیگری از مدل‌‌های زبانی نمایی است.

=== شبکه عصبی ===
مدل‌های زبانی عصبی (یا ''مدل های زبان فضایی پیوسته'') برای ارائه پیش‌بینی‌های خود از نمایش‌های پیوسته یا نمایش کلمات استفاده می‌کنند. <ref>{{Cite web|last=Karpathy|first=Andrej|title=The Unreasonable Effectiveness of Recurrent Neural Networks|url=https://karpathy.github.io/2015/05/21/rnn-effectiveness/}}</ref> این مدل ها از [[شبکه عصبی مصنوعی|شبکه‌های عصبی]] استفاده می‌کنند.

نمایانگر پیوسته فضا به کاهش [[مشقت بعدچندی|نفرین ابعاد]] در مدل سازی زبان کمک می‌کند: با آموزش مدل‌های زبان بر روی متن های بزرگتر و بزرگتر ، تعداد کلمات منحصر به فرد (واژگان) افزایش می‌یابد. تعداد توالی‌های احتمالی کلمات با اندازه واژگان به [[رشد نمایی|طور تصاعدی]] افزایش می‌یابد و به دلیل تعداد زیاد توالی‌ها، باعث ایجاد مشکل پراکندگی داده‌ها می‌شود. بنابراین ، برای برآورد صحیح احتمالات، به آمار نیاز است. شبکه‌های عصبی با نمایش کلمات به صورت توزیع شده، به عنوان ترکیب‌های غیرخطی وزن‌ها در یک شبکه عصبی، از این مشکل جلوگیری می‌کنند. <ref name="bengio">{{Cite encyclopedia|title=Neural net language models|first=Yoshua|last=Bengio|year=2008|encyclopedia=[[Scholarpedia]]|volume=3|page=3881|url=http://www.scholarpedia.org/article/Neural_net_language_models|doi=10.4249/scholarpedia.3881|bibcode=2008SchpJ...3.3881B}}</ref> یک توصیف جایگزین این است که یک شبکه عصبی عملکرد زبان را تقریبی می‌زند. معماری شبکه عصبی ممکن است [[شبکه عصبی پیشخور|پیشخور]] یا [[شبکه عصبی بازگشتی|بازگشتی]] باشد، و گرچه اولی ساده تر است دومی بیشتر مورد استفاده قرار می‌گیرد.
<sup class="noprint Inline-Template Template-Fact" data-ve-ignore="true" style="white-space:nowrap;">&#x5B; ''[[ویکی‌پدیا:نیازمند منبع|<span title="This claim needs references to reliable sources. (December 2017)">نیاز به منبع</span>]]'' &#x5D;</sup>
به طور معمول، مدل‌های زبان شبکه عصبی به عنوان طبقه‌بندی کننده‌های احتمالی ساخته می شوند و آموزش می‌بینند که توزیع احتمال را پیش‌بینی کنند

: <math>P(w_t | \mathrm{context}) \, \forall t \in V</math> .

یعنی شبکه آموزش دیده است تا با توجه به متن زبان، توزیع احتمال بر روی واژگان را پیش‌بینی کند. این کار با استفاده از الگوریتم های استاندارد آموزش عصبی عصبی مانند [[گرادیان کاهشی تصادفی]] همراه با [[پس‌انتشار]] انجام می‌شود. {{R|bengio}} متن ممکن است یک پنجره با اندازه ثابت کلمات قبلی باشد، شبکه، احتمال زیر را پیش‌بینی می‌کند

: <math>P(w_t | w_{t-k}, \dots, w_{t-1})</math>

از بردار ویژگی که نشان‌دهنده {{Mvar|k}} کلمه‌ی قبلی است. {{R|bengio}} گزینه دیگر استفاده از کلمات "بعدی" علاوه بر کلمات "قبلی" به عنوان ویژگی است، احتمال تخمین زده شده برابر است با

: <math>P(w_t | w_{t-k}, \dots, w_{t-1}, w_{t+1}, \dots, w_{t+k})</math> .

به این [[مدل بسته کلمات]] گفته می‌شود. وقتی بردارهای مشخصه کلمات در متن با یک عمل پیوسته ترکیب می‌aوند، از این مدل به عنوان معماری پیوسته کلمات (CBOW) یاد می‌شود. <ref name="mikolov">{{Cite arXiv|first1=Tomas|last1=Mikolov|first2=Kai|last2=Chen|first3=Greg|last3=Corrado|first4=Jeffrey|last4=Dean|eprint=1301.3781|title=Efficient estimation of word representations in vector space|year=2013|class=cs.CL}}</ref>

گزینه سوم که با سرعت کمتری نسبت به CBOW آموزش داده می‌شود اما عملکرد کمی بهتر دارد، معکوس کردن مشکل قبلی و ایجاد یک شبکه عصبی برای یادگیری متن می‌باشد. {{R|mikolov}} به صورت رسمی‌تر، با داشتن دنباله‌ای از کلمات آموزشی <math>w_1, w_2, w_3, \dots, w_T</math> ، تابعی که متوسط احتمال را به حداکثر می رساند برابر است با

: <math>\frac{1}{T}\sum_{t=1}^T \sum_{-k \leq j \leq k, j \neq 0} \log P(w_{t+j} | w_t)</math>

که {{Mvar|k}}، اندازه متن آموزش، می‌تواند تابعی از کلمه وسط (<math>w_t</math>) باشد. به این مدل زبان [[:en:Skip-gram|skip-gram]] می‌گویند. <ref name="compositionality">{{cite conference|title=Distributed Representations of Words and Phrases and their Compositionality|last1=Mikolov|first1=Tomas|last2=Sutskever|first2=Ilya|last3=Chen|first3=Kai|last4=Corrado irst4=Greg S.|last5=Dean|first5=Jeff|conference=[[Advances in Neural Information Processing Systems]]|pages=3111–3119|year=2013|url=http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf}}</ref> مدل‌های [[مدل بسته کلمات]] و [[:en:Skip-gram|skip-gram]] پایه‌های [[word2vec]] هستند. <ref>{{Cite web|url=https://gigaom.com/2013/08/16/were-on-the-cusp-of-deep-learning-for-the-masses-you-can-thank-google-later/|title=We're on the cusp of deep learning for the masses. You can thank Google later|last=Harris|first=Derrick|date=16 August 2013|website=Gigaom}}</ref>

به جای استفاده از مدل‌های زبانی شبکه عصبی برای تولید احتمالات واقعی، معمولاً از نمایش توزیع شده در لایه های "پنهان" شبکه به عنوان نمایش کلمات استفاده می‌شود. سپس هر کلمه بر روی یک بردار واقعی {{Mvar|n}} بعدی قرار می گیرد که [[:en:Word_embedding|word embedding]] نامیده می‌شود، به طوری که {{Mvar|n}} اندازه لایه قبل از لایه خروجی است. نمایش‌ها در مدل‌های skip-gram دارای مشخصه متمایزی است که آنها روابط معنایی بین کلمات را به صورت [[ترکیب خطی|ترکیب‌های خطی]] مدل‌سازی می‌کنند و نوعی ترکیب‌بندی را بدست می‌آورند. به عنوان مثال، در برخی از این مدل‌ها، اگر {{Mvar|v}} تابعی باشد که یک کلمه {{Mvar|w}} را به نمایش {{Mvar|n}}-بعدی تبدیل کند، داریمː

: <math>v(\mathrm{king}) - v(\mathrm{male}) + v(\mathrm{female}) \approx v(\mathrm{queen})</math>

که ≈ با این شرط که سمت راست آن باید [[جستجوی نزدیکترین همسایه|نزدیکترین همسایه]] مقدار سمت چپ باشد، دقیق‌تر می‌شود. {{R|mikolov}} {{R|compositionality}}

=== سایر ===
یک مدل زبان موقعیتی <ref>{{cite conference|first1=Yuanhua|last1=Lv|first2=ChengXiang|last2=Zhai|url=http://times.cs.uiuc.edu/czhai/pub/sigir09-PLM.pdf|title=Positional Language Models for Information Retrieval in|book-title=Proceedings|conference=32nd international ACM SIGIR conference on Research and development in information retrieval (SIGIR)|year=2009}}</ref> احتمال وقوع کلمات معین نزدیک به یکدیگر که لزوماً بلافاصله مجاور نیستند را در یک متن ارزیابی می‌کند. به همین ترتیب، مدلهای بسته بندی مفاهیمی <ref>{{Cite book|url={{google books |plainurl=y |id=NrtcLwEACAAJ}}|title=Sentic Computing: Techniques, Tools, and Applications|last=Cambria|first=Erik|last2=Hussain|first2=Amir|date=2012-07-28|publisher=Springer Netherlands|isbn=978-94-007-5069-2|language=en}}</ref> از معانی معنایی مرتبط با عبارات چند کلمه‌ای مانند ''buy_christmas_present استفاده می‌کنند''، حتی وقتی از آن‌ها در جملات غنی از اطلاعات مانند "today I bought a lot of very nice Christmas presents" استفاده می شود.

علیرغم موفقیت‌های محدود در استفاده از شبکه های عصبی، <ref>{{Cite journal|last=Mocialov|first=Boris|last2=Hastie|first2=Helen|last3=Turner|first3=Graham|date=August 2018|title=Transfer Learning for British Sign Language Modelling|url=https://www.aclweb.org/anthology/W18-3911/|journal=Proceedings of the Fifth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2018)|access-date=14 March 2020}}</ref> نویسندگان نیاز به تکنیک‌های دیگر را هنگام مدل‌سازی زبان اشاره تأیید می‌کنند.

== معیارها ==
مجموعه داده‌های مختلفی برای استفاده برای ارزیابی سیستم‌های پردازش زبان ساخته شده است. <ref name=":0">{{Cite arXiv|last=Devlin|first=Jacob|last2=Chang|first2=Ming-Wei|last3=Lee|first3=Kenton|last4=Toutanova|first4=Kristina|date=2018-10-10|title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|eprint=1810.04805|class=cs.CL}}</ref> که شامل موارد زیر می‌شود:

* Corpus of Linguistic Acceptability <ref>{{Cite web|url=https://nyu-mll.github.io/CoLA/|title=The Corpus of Linguistic Acceptability (CoLA)|website=nyu-mll.github.io|accessdate=2019-02-25}}</ref>
* GLUE benchmark <ref>{{Cite web|url=https://gluebenchmark.com/|title=GLUE Benchmark|website=gluebenchmark.com|language=en|accessdate=2019-02-25}}</ref>
* Microsoft Research Paraphrase Corpus <ref>{{Cite web|url=https://www.microsoft.com/en-us/download/details.aspx?id=52398|title=Microsoft Research Paraphrase Corpus|website=Microsoft Download Center|language=en-us|accessdate=2019-02-25}}</ref>
* Multi-Genre Natural Language Inference
* Question Natural Language Inference
* Quora Question Pairs <ref>{{Citation|last=Aghaebrahimian|first=Ahmad|chapter=Quora Question Answer Dataset|date=2017|pages=66–73|publisher=Springer International Publishing|isbn=9783319642055|doi=10.1007/978-3-319-64206-2_8|title=Text, Speech, and Dialogue|volume=10415|series=Lecture Notes in Computer Science}}</ref>
* Recognizing Textual Entailment <ref>{{Cite web|url=http://l2r.cs.uiuc.edu/~danr/Teaching/CS546-12/TeChapter.pdf|title=Recognizing Textual Entailment|last=Sammons, V.G.Vinod Vydiswaran, Dan Roth|first=Mark|last2=Vydiswaran|first2=V.G.|accessdate=February 24, 2019|last3=Roth|first3=Dan}}</ref>
* Semantic Textual Similarity Benchmark
* SQuAD question answering Test <ref>{{Cite web|url=https://rajpurkar.github.io/SQuAD-explorer/|title=The Stanford Question Answering Dataset|website=rajpurkar.github.io|accessdate=2019-02-25}}</ref>
* Stanford Sentiment [[:en:Treebank|Treebank]]<ref>{{Cite web|url=https://nlp.stanford.edu/sentiment/treebank.html|title=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank|website=nlp.stanford.edu|accessdate=2019-02-25}}</ref>
* Winograd NLI

== همچنین ببینید ==
{{div col|colwidth=18em}}
* [[Statistical model]]
* [[Factored language model]]
* [[Cache language model]]
* [[Katz's back-off model]]
* [[Transformer (machine learning model)|Transformer]]
* [[BERT (language model)|BERT]]
* [[GPT (language model)|GPT]]
* [[GPT-3]]
{{div col end}}

== یادداشت ==
{{یادداشت‌ها}}

== منابع ==

=== استناد ===
<references group="" responsive="1"></references>

=== منابع ===
{{refbegin}}
* {{cite conference|authors=J M Ponte and W B Croft|citeseerx=10.1.1.117.4237|title=A Language Modeling Approach to Information Retrieval|book-title=Research and Development in Information Retrieval|year=1998|pages=275–281}}
* {{cite conference|authors=F Song and W B Croft|citeseerx=10.1.1.21.6467|title=A General Language Model for Information Retrieval|book-title=Research and Development in Information Retrieval|year=1999|pages=279–280}}
* {{cite techreport|first=Stanley|last=Chen|author2=Joshua Goodman|title=An Empirical Study of Smoothing Techniques for Language Modeling|institution=Harvard University|year=1998|citeseerx=10.1.1.131.5458}}
{{refend}}

== لینک های خارجی ==

=== نرم افزار ===

* {{Github|google-research/bert|BERT|link=hidden}}- نمایشگرهای رمزگذار دو طرفه از ترانسفورماتورها
* [https://web.archive.org/web/20190112092141/http://www-lium.univ-lemans.fr/cslm/ CSLM] - جعبه ابزار رایگان برای مدل‌های زبان [[شبکه عصبی پیشخور]]
* {{Github|jnory/DALM|DALM|link=hidden}}- نرم افزار سریع و رایگان برای queryهای زبان
* [https://blog.openai.com/language-unsupervised/ ترانسفورماتور آموزش دیده از قبل]
* {{SourceForge|irstlm|IRSTLM}}  - نرم افزار رایگان برای مدل سازی زبان
* [http://www.phontron.com/kylm Kylm] (جعبه ابزار مدل سازی زبان کیوتو) - جعبه ابزار رایگان مدل سازی زبان در جاوا
* [http://kheafield.com/code/kenlm KenLM] - نرم افزار سریع و رایگان برای مدل سازی زبان
* {{Github|zhongkaifu/LMSharp|LMSharp|link=hidden}}- جعبه ابزار مدل زبان رایگان برای مدل های ''n'' -gram [[صاف کردن Kneser – Ney|صاف Kneser – Ney و]] مدل های [[شبکه عصبی بازگشتی|شبکه عصبی مکرر]]
* {{Github|mitlm/mitlm|MITLM|link=hidden}}- مجموعه ابزار مدل سازی زبان MIT. نرم افزار رایگان
* [http://nlg.isi.edu/software/nplm NPLM] - جعبه ابزار رایگان برای مدلهای زبان [[شبکه عصبی پیشخور|عصبی]] [http://nlg.isi.edu/software/nplm پیشگام]
* [http://www.opengrm.org/twiki/bin/view/GRM/NGramLibrary OpenGrm NGram] library - نرم افزار رایگان برای مدل سازی زبان. ساخته شده در OpenFst.
* {{Github|pauldb89/OxLM|OxLM|link=hidden}}- جعبه ابزار رایگان برای مدلهای زبان [[شبکه عصبی پیشخور|عصبی پیشگام]]
* [http://sifaka.cs.uiuc.edu/~ylv2/pub/plm/plm.htm مدل زبان موقعیتی]
* {{SourceForge|randlm|RandLM}}   - نرم افزار رایگان برای مدل سازی تصادفی زبان
* [https://web.archive.org/web/20140425033736/http://rnnlm.org/ RNNLM] - [https://web.archive.org/web/20140425033736/http://rnnlm.org/ مجموعه] ابزارهای مدل زبان [[شبکه عصبی بازگشتی|عصبی تکراری]] رایگان
* [http://www.speech.sri.com/projects/srilm/ SRILM] - نرم افزار اختصاصی برای مدل سازی زبان
* [https://vsiivola.github.io/variKN VariKN] - نرم افزار رایگان برای ایجاد ، رشد و هرس مدل های ''n'' -gram صاف Kneser-Ney.
* [http://www.keithv.com/software/csr/ مدل های زبانی که روی داده های شبکه خبری آموزش داده شده اند]
[[رده:مدل‌های مارکوف]]
[[رده:پردازش آماری زبان طبیعی]]
[[رده:نگهداری یادکرد:استفاده از پارامتر نویسندگان]]