Компьютерный лингвист — профессия, которая будет востребована в будущем – 25 профессий будущего, к которым готовит НИУ ВШЭ – Национальный исследовательский университет «Высшая школа экономики»
разрабатывает программы для обработки естественного языка, создает инструменты распознавания текста и речи, системы перевода, голосовых ассистентов, персональных помощников, «умных» чат-ботов
Человека окружает большое количество языковой информации, представленной в разных форматах: аудио-, видео-, текстовом. Используя алгоритмы обработки текста, лингвист имеет возможность собрать информацию о необходимых объектах: например, нравится ли зрителям определенный фильм или за кого будут голосовать пользователи твиттера на выборах.
Компьютерные лингвисты разрабатывают программы, которые воспроизводят когнитивную языковую деятельность человека — умение читать, понимать на слух, говорить, участвовать в диалоге, переводить с одного языка на другой. В их задачи входит создание инструментов, которые помогают извлекать лингвистическую информацию из текстов, размечать лингвистические признаки в текстах, создавать ресурсы для хранения лингвистических единиц, например, для хранения слов, их значений, их семантических и морфологических свойств.
Компьютерные лингвисты востребованы крупными IT-компаниями, чья деятельность связана с обработкой больших объемов текстовых или речевых данных. Они могут работать в науке, СМИ, торговле, финансах, здравоохранении — везде, где требуется применение современных информационных технологий к лингвистическим данным.
Оценки рынка
16,1%
составит ожидаемый среднегодовой рост рынка обработки естественного языка в мире в период с 2016 по 2021 год (с 7,63 до 16,07 миллиардов долларов)
Драйверы профессии
- усиление конкуренции и потребность компаний в детальном изучении поведения потребителей
- развитие семантического веба, машинного обучения, интеллектуальных систем и т. п.
- роботизация различных видов деятельности и использование «умных» устройств
- развитие межмашинных технологий (machine-to-machine technology)
Какие задачи будет решать специалист
- разработка алгоритмов и методов машинного перевода
- решение задач извлечения информации из неструктурированных или слабоструктурированных документов
- разработка систем человеко-машинного и межмашинного взаимодействия
- создание систем генерации однотипных текстов по заданным параметрам (прогноза погоды, биржевых сводок и др.
) - распознавание речи и выделение именованных сущностей
- разработка алгоритмов классификации документов по заданным параметрам
- создание вопросно-ответных систем
- разработка систем, облегчающих коммуникацию людям с ограниченными возможностями
)Какие знания и навыки у него будут
- знание лингвистических технологий и умение выбирать данные, необходимые для решения поставленных задач
- знание баз данных и других источников, откуда можно получать данные
- умение программировать прототипы и модели решений, готовить необходимые лингвистические ресурсы, проектировать процесс обработки данных и интерпретировать результаты обработки
- умение оценивать трудоемкость разных решений, пороги допустимых ошибок и выбирать оптимальную методологию тестирования лингвистических систем
Другие профессии направления «общественные и гуманитарные науки»
- Кросс-культурный психолог-консультант
- Юрист в сфере информационных технологий
- Дата-журналист
- Куратор мультимедийных выставок
- Цифровой продюсер
Цифровой лингвист: как учить роботов разговаривать по-человечески
До 2030 года в России действует Национальная стратегия развития ИИ.
Чтобы ее выполнить, требуются не только разработчики, но и цифровые лингвисты. Рассказываем, кто это такие, почему они важны и как освоить эту профессию
Кто такой цифровой лингвист
Цифровой (или компьютерный) лингвист — это специалист, который обрабатывает данные на естественных для алгоритмов машинного обучения языках, в том числе нейросетей. Благодаря такой обработке и последующей работе дата-сайентистов машины «учатся» распознавать человеческий язык и делать автоматические переводы с одного человеческого языка на другой, выявлять ошибки в текстах, превращать устную речь в письменную, правильно реагировать на голосовые команды, отвечать на вопросы в чат-ботах.
Например, чтобы научить алгоритмы находить ошибки, цифровой лингвист обрабатывает огромный массив текстовых данных, в котором размечает правильные, и неправильные варианты использования слов. Он работает над созданием электронных словарей и тезаурусов, оптическим распознаванием символов — когда машина считывает текстовые данные с изображений и делает их доступными для редактирования.
Благодаря работе цифровых лингвистов существует и пополняется Национальный корпус русского языка — открытая база русскоязычных текстов с более чем 900 млн слов, которую используют для языковых исследований.
На сайте Национального русского языка можно найти информацию по морфологии, семантике, синтаксису и другим параметрам текста — все это работа цифрового лингвиста (Фото: Ruscorpora.ru)
Ключевые навыки цифрового лингвиста
Естественные и компьютерные языки роднит то, что они все относятся к знаковым системам. Поэтому хороший цифровой лингвист — это человек, который умеет работать с обеими системами и находить в них точки соприкосновения. Желательно, чтобы он владел не только английским, но и другими иностранными языками.
Для такого специалиста крайне важно обладать системным мышлением, хорошей памятью и способностью долго концентрироваться на монотонных задачах, поскольку ему предстоит обрабатывать большие массивы данных.
Чтобы алгоритмы и нейросети запоминали верную информацию, от цифрового лингвиста требуется знание достоверных источников данных для анализа и безупречная грамотность для их верной разметки и трактовки.
Кроме того, цифровому лингвисту предстоит много общаться с разработчиками и дата-сайентистами, которые будут работать с размеченными данными. Поэтому ему важно не просто работать с данными, но и создавать методологию, объяснять ее принципы коллегам. Хорошие навыки межотраслевой коммуникации в этом плане будут не лишними.
Откуда придет профессия
Первый машинный перевод был сделан в ходе «Джорджтаунского эксперимента» 1954 года. Тогда компьютер IBM 701 перевел с русского языка на английский более 60 предложений. Так что можно говорить о том, что цифровая лингвистика де-факто существует почти 70 лет. В 1960-х годах этот раздел лингвистики появился в качестве составной части специальности «Теоретическая и прикладная лингвистика» в МГУ имени М.В. Ломоносова. Хотя инструменты и технологии за эти годы изменились, суть работы специалистов осталась прежней.
Тренды и направления профессии
Если говорить о задачах синтеза речи, машинного перевода и развитии диалоговых систем, то в них устойчивый тренд — достижение максимальной естественности языка при минимальных затратах.
Например, переводчики используют CAT-программы, которые сокращают время работы с помощью машинных переводов или технологии Translation Memory ™. Благодаря последней алгоритмы запоминают исходный и переведенный тексты и при загрузке следующих ищет совпадения, чтобы автоматически их перевести.
Уже есть языковые модели вроде GPT-3 и YaLM, которые пишут полные предложения, подсчитывая из терабайтов данных их наиболее вероятный ответ на введенные в специальное поле слова. Они используются для поисковиков, чат-ботов и создания простых текстов.
Сейчас такой настройкой машин в основном занимается человек, но в будущем и алгоритмы будут обучать друг друга естественным языкам. Ведь искусственный интеллект «Google Переводчика» уже научился самостоятельно искать перевод слов.
Также цифровая лингвистика — основа технологий для людей с ограниченными возможностями. Перевод устной речи в текст и автоматическое чтение готовых материалов, распознавание голосовых команд компьютерами, смартфонами и других «умных» устройств — направления, востребованные в здравоохранении.
По мнению продуктового аналитика 65apps и прикладного лингвиста Анны Куликовой, главная задача цифровой лингвистики сегодня — подготовка оцифрованных лингвистических данных высокого качества, особенно для языков, отличных от английского, и внедрение лингвистических технологий в производственные процессы.
«На мой взгляд, современные алгоритмы обработки естественного языка дают более чем хороший результат, в том числе в смысле «естественности». Тест Тьюринга, когда человек не может отличить, с кем он разговаривает — с человеком или компьютерной программой, уже давно и не раз был пройден. Когда-то именно он был сформулирован в качестве основного критерия способности машины мыслить, однако восстания машин мы до сих пор не наблюдаем.
Новые разработки при прочих равных условиях дают прирост в сотые доли процентов точности, в то время как хорошо подобранные и грамотно размеченные лингвистические данные являются определяющим фактором эффективности работы компьютерных программ. Думаю, что общество сначала должно суметь «переварить» то, что предложила ему наука, прежде чем наука сможет совершить новый качественный скачок».
Если говорить об экономической составляющей, то по прогнозам мировой рынок обработки естественного языка (Natural Language Processing, NLP) увеличится к 2026 году до $35 млрд с ожидаемым среднегодовым темпом роста в 20,3%.
Как стать цифровым лингвистом
В России есть несколько способов получить такое образование:
- Бакалавриат по специальности «Фундаментальная и прикладная лингвистика», которая есть в российских вузах всех федеральных округов. Чаще всего для поступления нужны результаты ЕГЭ по иностранному языку, математике и русскому языку, но список может отличаться в разных вузах.
- Магистратура «Компьютерная (цифровая) лингвистика». Перечень вступительных испытаний сильно разнится от вуза к вузу: от собеседования с вопросами о теоретической лингвистике и переводом текста до двух отдельных экзаменов по иностранным языкам или конкурса портфолио. Магистерские программы есть, например, в РГГУ, МГЛУ, СПбГУ.
- Программы профессиональной переподготовки, которые можно пройти после получения высшего образования. Такая есть в заочной и дистанционной форме, например, в НИУ ВШЭ.
Что такое лингвистика? – School of English
Вы думаете, стоит ли изучать лингвистику, или вам просто интересно, что влечет за собой карьера в области лингвистики? Мы перечислили наши главные вопросы по лингвистике, в том числе о том, что означает этот термин, как развивалась эта область и какие навыки можно получить при изучении лингвистической степени.
Языкознание
Обычно, когда вы думаете о лингвистике, на ум приходит слово «языки», но лингвистика — это научное изучение языка*.
Что такое лингвистика?
Лингвистика — очень описательная область, и исследования, как правило, основаны на наблюдениях и отражают анализ человеческих языков, разбирая их форму, эволюцию, развитие и изучая, как они функционируют. Это очень похоже на разрушение языков и выяснение того, как они работают. Лингвистические исследования пытаются найти ответы на вопросы о том, как наш мозг составляет предложения (структура), как мы можем изучать новые языки (овладение языком) и почему языки меняются. Изучение лингвистики изучает анализ факторов, влияющих на язык, таких как; социальные, культурные, философские и политические причины.
Какие есть разделы языкознания?
Основными отраслями языкознания являются:
- Прикладная лингвистика – изучение применения лингвистики в реальных жизненных ситуациях
- Фонетика – Изучение акустики и звуков языков
- Фонология – изучение звуков в речи
- Синтаксис – изучение структуры и построения предложения
- Семантика – изучение значений
Когда возникла лингвистика?
Самое раннее сообщение, вводящее современную лингвистику, было найдено в девятнадцатом веке, и его разработка приписывается Ноаму Хомскому: американскому лингвисту и одному из основателей области когнитивной науки.
Переход к современной лингвистике произошел в результате исторических изменений языков с течением времени. В некоторых областях лингвистика считается наукой, поскольку она использует научные методы для определения качества языка.
Почему важна лингвистика?
Лингвисты востребованы, потому что их знания в области лингвистики помогают нам лучше понять наше место в мире. Выбрав изучение лингвистики, ваши знания о структуре языка могут быть применены для улучшения устного и письменного общения посредством перевода и лечения дефектов речи.
Что я могу сделать со степенью лингвиста?
Благодаря нашему курсу бакалавриата (с отличием) по прикладной лингвистике вы получите возможность анализировать лингвистические модели посредством изучения языка и разовьете способность эффективно использовать язык за счет улучшения своих коммуникативных навыков, таких как убеждение, путем понимания сложности значения и соответствующих социальное использование языковых терминов.
Это будет способствовать развитию ваших передаваемых навыков и повысит вашу производительность на рабочем месте, что позволит вам зарекомендовать себя как ценный сотрудник для профессионалов, работающих в сфере здравоохранения, коммуникаций и средств массовой информации, и это лишь некоторые из них. У вас также будет возможность устроиться на работу, где вам будет предложено развивать свои стандартные отраслевые практики.
Получив степень магистра прикладной лингвистики, вы также разовьете свои коммуникативные и аналитические навыки, узнав, как решать и применять решения проблем реального мира с помощью лингвистических теорий. Аналитические навыки лингвистов по-прежнему пользуются большим спросом, поскольку они могут проводить ценные исследования со ссылкой на свои межкультурные навыки и понимание. Благодаря этому они могут внести важный вклад в понимание различных точек зрения на современные проблемы и спорные темы.
Какая карьера у выпускников лингвистических вузов?
Выпускники лингвистических факультетов имеют широкий и постоянно растущий выбор карьерных возможностей.
Наши выпускники продолжили карьеру, например, инструкторов TEFL, учителей начальных и средних школ, а также ученых и лекторов в высших учебных заведениях, редакторов и исследователей в области социальных наук с уважаемыми организациями.
*Лингвистика – это научное изучение языка
Курсы английского языка
Узнайте больше о наших курсах
Отвези меня туда
Что такое лингвист? » Свободное владение через 3 месяца
написано
Бенни Льюис
Полное раскрытие: Этот пост содержит партнерские ссылки. ?
Это то, что беспокоило меня в течение некоторого времени, поэтому после того, как я высказал свои мысли по этому поводу, я хотел бы услышать ваши.
Что вы понимаете под этим, если кто-то говорит, что он «лингвист»?
Насколько я понимаю, лингвист – это тот, кто изучает лингвистику .
Лингвистика может быть увлекательной областью, охватывающей все: от фонетики мертвых языков до происхождения языков, эволюции языков со временем, деконструкции диалектов, влияния языков на наше мышление, компьютерного программирования и распознавания речи, этимологии, синтаксиса, сравнительной грамматики. , неврология, психология и многое другое.
Языки являются частью человечества, и изучение этих языков является важным аспектом самой науки. Некоторые из исследований могут быть непосредственно практическими, а некоторые могут быть в основном направлены на расширение нашего понимания мира и нашего места в нем.
Надеюсь, это описание подходит, так что поправьте меня, если я ошибаюсь, потому что я не лингвист . У меня есть степень в области электронной инженерии (и я применяю инженерный менталитет к изучению языков).
Для многих лингвист является синонимом полиглот – тот, кто говорит на нескольких языках (или иногда лексифил – тот, кто любит слова). Я в корне не согласен с этим, и использование этого слова в этом контексте кажется мне ужасно неправильным. Единственная причина, по которой я чувствую, что это происходит так широко, заключается в том, что полиглот (пока) не такое распространенное слово в английском языке, поэтому мы будем использовать самое близкое из того, что у нас есть.
К счастью, ситуация меняется — я могу заявить об одной небольшой победе: многие люди, по крайней мере, начинают использовать ее после того, как наткнулись на этот блог! Вы заметите, что мне нравится называть себя Бенни, ирландский полиглот , и уж точно не Бенни, ирландский лингвист (если только я не шучу и не ношу одну из своих шутливых футболок с надписью «хитрый лингвист»).
Для меня лингвист аналогичен ученому , где -ist означает «тот, кто учится».
Но для других это аналог капиталист, оптимист и другие слова, которые просто описывают кого-то, кто имеет какое-то отношение к базовому слову. Словари, которые определяют, что массы понимают в значениях слов, подтверждают это, говоря, что это Специалист по иностранным языкам .
Лингвисты, не являющиеся полиглотами
Существует проблема со слиянием обеих областей (тех, кто имеет опыт изучения языков, и тех, кто изучает науку о языках), и некоторых людей, заявляющих о своих знаниях в области, которой у них нет.
Я наткнулся на странного лингвиста, распространяющего обескураживающие и ложные заявления об изучении языка. Это «лингвисты» в общем смысле, они работают в лингвистике академически, но я не вижу в них следователей научного подхода. Как и в любой области, некоторые люди просто плохо разбираются в науке и вместо этого экстраполируют данные в неэффективных и ограничивающих контекстах (особенно когда эти данные расходятся с тем, что так много людей опровергают их).
Проблема в том, что многие лингвисты (люди с академическим и профессиональным опытом изучения и работы с языками и лингвистикой) не говорят на иностранных языках, поэтому, когда они говорят об изучении второго языка, они смотрят на обезличенные данные без личного опыта.
В этом нет ничего плохого, но когда вы начинаете делать сомнительные заявления, мне действительно приходится противостоять этому.
Читатель однажды сказал, что (овладение вторым языком) лингвист против полиглота похож на спортивный журналист против спортсмена . Один будет иметь доступ ко всем фактам, исследовать и изучать историю спорта, иметь докторскую степень и придираться к каждому шагу, который игрок делает в замедленном повторе. Но, в конце концов, вы всегда будете просить спортсмена тренировать вас, а не журналиста, если сами хотите стать спортсменом.
Опыт намного важнее за предоставление соответствующих советов.
Но на самом деле подавляющее большинство лингвистов даже не обсуждают и не исследуют изучение второго языка.
Мне очень нравится общество многих лингвистов, которые научили меня многим вещам о том, как работают языки, даже если это совершенно не связано со вторым языком. приобретение. Если забыть о моих миссиях по изучению языка, у меня с ними много общего, поскольку я просто получаю удовольствие от погони за новыми и интересными знаниями.
Неязыковые полиглоты
Но я не буду обманывать себя, думая, что я нахожусь на одном уровне с лингвистами, когда дело доходит до понимания того, как работают языки и лингвистика.
Большинство полиглотов, которых я встречал (а их лотов — более половины населения всей планеты говорит более чем на одном языке!) не знают, что означает грамматическая терминология, и не понимают таких терминов, как «индоевропейская». , или будет знать, происходит ли какое-то слово, которое они используют, из греческого или латинского.
я знаю маленький всего этого, но я а не лингвист. С моей стороны было бы заблуждением сказать, что я один из них.
Несмотря на то, что я сказал выше об опыте, некоторые люди действительно больше ценят докторскую степень.
И поэтому меня в равной степени раздражают полиглоты, называющие себя лингвистами . Из-за двусмысленности этого слова многие люди могут подумать, что у них действительно есть высшее образование, и из-за этого придают больше значения своим советам. В этом блоге я всегда четко даю понять, что то, что я должен сказать, исходит из опыта и разговоров со многими изучающими языки, а не из крупномасштабных и хорошо финансируемых исследований.
Я чувствую, что должен защищать слово «лингвист» ради самих лингвистов. Я был бы в равной степени раздражен, если бы кто-то ошибочно назвал себя инженером (поскольку я так долго не участвовал в игре, я сам с трудом могу называть себя инженером). Вы не можете назвать себя ученым, просто надев лабораторный халат, и вы не можете назвать себя лингвистом только потому, что говорите на нескольких языках. Полиглот не более лингвист, чем космонавт.