2024寒假线下科研·北京:菁英项目:人工智能 ChatGPT的算法原理: 基于深度学习的Bert, Transformer等预训练大模型研究 及其在智能会话等自然语言处理系统中的应用【大学组】

1363 2023-12-16
适合专业 (Major): 计算机科学、人工智能、软件工程、语言学等专业或者希望修读相关专业的学生;

  营地地点:北京外国语大学国际会议中心

  开始日期: 2024-01-12

  课时安排: 2周专业预修与在线科研+10天面授科研+5周在线论文指导

  适合人群

  适合年级 (Grade): 大学生及以上

  适合专业 (Major): 计算机科学、人工智能、软件工程、语言学等专业或者希望修读相关专业的学生;

  学生需要具备初等线性代数基础,至少会使用一门编程语言实现如贝叶斯分类器等经典机器学习算法,有深度学习项目开发经验的申请者优先

  导师介绍

  Pavlos

  哈佛大学 Harvard University项目主任

Pavlos

  Pavlos导师现任哈佛大学应用计算科学研究所(IACS)项目主任,负责把控计算机科学、工程与数据科学专业的研究生培养方案与课程体系,教授数据科学核心课程。曾担任国家可扩展集群项目(NSCP)的副主任,这是在网格模型上进行大规模分布式计算的最初尝试之一。同时,在哈佛 - 史密松天体物理中心担任过研究员,并担任由哈佛大学创新计算项目启动的“时间序列中心”的子项目的高级科学家、项目负责人。Pavlos is the Scientific Program Director at the Institute for Applied Computational Science at the Harvard John A. Paulson School of Engineering and Applied Sciences. As Scientific Program Director, he directs the educational program of the institute, overseeing the curriculum of the master’s programs in computational science and engineering and data science, teaching core data science courses, and mentoring master’s students and advising Ph.D. students in related fields. His research topics include many areas of machine learning and data science, especially classification, probabilistic graphical modeling, and time series analysis. From 2005 to 2013, he was at the Harvard-Smithsonian Center for Astrophysics. Previously, he was the associate director of the National Scalable Cluster Project, initiating one of the first ever attempts of using large-scale distributed computing on a grid-like model.

  任职学校

  哈佛大学(Harvard University)始建于1636年,是一所享誉世界的私立研究型大学,也是常春藤盟校成员。哈佛大学在学术界享有崇高的地位,并且在世界范围内具有广泛的社会影响力。哈佛大学孕育了8位美国总统,158位诺贝尔奖获得者(世界第一)和18位菲尔兹奖得主(世界第一),在2019/2020年U.S.News世界大学排名中位列第一,2018年QS世界大学计算机科学以及电子工程专业排名位列第六。

  项目背景

  “You are what you say.”语言是思维的表达,思维是语言的内容。思维和语言是人类意识的集中体现,更是人与机器的分野。长久以来,人工智能依然停留在“弱人工智能”的阶段,无法等同于人类智能,核心原因在于算法无法帮助机器“理解语义逻辑”。也就是说,“人工智能如果不能使用自然语言作为知识的表示基础,人工智能就实现不了实质的跨越。”因此,旨在让机器以有价值的方式阅读、解密和理解人类语言,实现人机互动的自然语言处理,是人工智能、机器学习的核心研究对象,具有重要的行研价值和广阔的发展空间。自然语言处理科学家更是高精尖科技企业争相抢夺的对象。自然语言处理的具体应用包括谷歌语音识别、科大讯飞自动翻译、百度自然语言处理平台等等。

  项目介绍

  项目内容包括线性回归、逻辑回归、决策树、SVM机器学习算法和自然语言处理中的文本分类问题。学生将深入探究Word2Vec词向量嵌入、Doc2Vec文本向量生成、基于LSTM和其他RNN的分类算法,了解RNN模型缺陷以及基于Attention的Transformer语言模型如何弥补这些缺陷。学生将在项目结束时,提交个性化研究课题项目报告,进行成果展示。

  个性化研究课题参考:

  基于双向LSTM语言模型的多义词消歧

  根据推文内容语义与语言习惯分析判断用户所在城市

  发表基于NLP的微博内容调查报告

  评估句子片段幽默程度的自注意力算法优化

  In this course, you will be taken from basic topics of neural networks to advanced topics such as auto-encoders and transfer learning. We will review the topics covered in [AI-1], feedforward networks, gradient descent etc and then dive into convolutional neural networks, transfer learning, and auto-encoders.

  项目大纲

  自然语言处理及深度神经网络 Introduction to Language Modeling and DNN

  Word2Vec模型词嵌入 Word embeddings using the Word2Vec model

  Doc2Vec: 文档的向量化表示 Doc2Vec: vectorized representation of documents

  数据驱动的分类算法与循环神经网络和长短期记忆网络 Data-driven classification algorithms; recurrent neural networks and LSTM

  循环神经网络的缺陷;基于Attention的Transformer模型 Drawbacks of RNNs; attention-based transformers

  精度优化 SOTA

  基于迁移学习的语言模型Transfer Learning for Language Models

  项目回顾与成果展示 Program Review and Presentation

  论文辅导 Project Deliverables Tutoring

  项目收获

  2周专业预修与在线科研+10天面授科研+5周不限时在线论文指导

  项目报告

  优秀学员获主导师Reference Letter

  EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等级别索引国际会议全文投递与发表指导(可用于申请)

  结业证书

  成绩单

想要获取更多留学资讯,可以通过以下方式联系:

1、拨打寰兴留学免费咨询热线:024-23251177

2、点击这里 我们会有专业顾问老师为您解答留学难题;

3、添加寰兴小助手微信13998865077,获取一对一免费留学咨询机会。

来源:huanxing 发布于:2023-12-16 09:47

最新文章

相关阅读

填写意向,获取留学方案

您的姓名
您的电话
意向国家
最高学历

版权及免责声明:
1、如转载本网原创文章,请务必注明出处:寰兴留学(www.huanxingedu.com);
2、本网转载媒体稿件、图片旨在传播更多有益信息,并不代表同意该观点,本网不承担稿件侵权行为的连带责任;如转载稿、图片涉及版权等问题,请作者在两周内速来电或来函联系,我们将立即删除。

电话咨询 在线咨询

关闭