基于视频的语言学习系统
2019-11-22

基于视频的语言学习系统

结合在伴随文件中存储的扩充语言学习内容使用预先存在的娱乐媒体、如DVD中的故事片(图3)的语言学习系统(图1)。用于查看扩充内容和娱乐媒体的播放器(图3)。创建和管理伴随源文件以及创建与娱乐媒体的关联的编辑器(图9)。

在一个实施例中,系统100包括编辑应用程序103,以便创建和修改伴随源文件115以及与视频内容127配合使用的其它内容。在一个实施例中,编辑应用程序103配置成在本地机器107上运行。本地机器107可以是台式计算机或膝上型计算机、因特网设备、控制台系统或者能够运行浏览器应用程序的类似装置。编辑应用程序103通过网络125与服务器119交互,以便通过诸如版本控制软件、万维网服务器软件和类似应用程序之类的应用程序111来获取伴随源模块(伴随源文件的子组件)。网络125可以是LAN、专用网、因特网或类似的系统。在一个实施例中,编辑应用程序103还可访问服务器119所掌管的基于万维网的内容和论坛117以及访问库数据库资源113。

在一个实施例中,外围设备213向播放器软件105提供输入,它确定要提供的调整重放的类型。在接收到来自外围输入设备213的第一输入(例如按钮的单击)时,播放器软件105以正常速度重复一段视频内容127。如果在预定周期内接收到两个输入,则播放器软件105采用时间间隔和音调调整技术以更慢的速率再播放视频内容段。如果在预定周期内接收到三个输入,则播放器软件105采用来自有声单词库的音频重放视频段。如果在预定时间周期内接收到四个输入信号,则播放器105显示与相关视频段中的句子有关的下拉屏幕。下拉屏幕包括语音、语法以及与句子相关的类似信息,并且可与减速音频或来自库的音频结合来显示。

在一个实施例中,剧本数据以平面顺序二进制格式600存储。平面格式600包括与按照所定义分级结构分组的剧本相关的多个部分。每个部分中的数据以顺序方式来组织,跟随剧本的序列。在一个实施例中,格式中的字段具有固定长度。在一个实施例中,这些部分包括单词部分、行部分、对话交流部分、场景部分和其它类似部分。单词部分包括:单词示例索引,它标识将单词链接到相关发音数据的标识字段或指针的位置;以及起始和结束帧字段,标识来自视频内容127的、单词与其关联的起始和结束帧。在一个实施例中,行部分包括标识行部分序列中各行的位置的行索引、表明单词部分中与行关联的第一单词的起始单词索引、表明与行关联的最后一个单词的结束单词索引、表明或指向与剧本行的语言解释相关的数据的行解释索引、指向行或者将行与视频内容127中的人物链接的人物标识字段、起始和结束帧指示符以及类似信息或者指向与行相关的信息的指针。在一个实施例中,对话交流部分包括标识对话交流部分的索引中的位置的交流索引、与对话交流关联的起始帧和结束帧以及类似的指针和信息。在一个实施例中,场景部分包括标识场景部分中的场景的位置的索引、序言标识字段或指针、后文标识字段或指针、起始和结束帧以及类似的指示符和与场景相关的信息。

详细说明

在一个实施例中,剧本数据以平面顺序二进制格式600存储。平面格式600包括与按照所定义分级结构分组的剧本相关的多个部分。每个部分中的数据以顺序方式来组织,跟随剧本的序列。在一个实施例中,格式中的字段具有固定长度。在一个实施例中,这些部分包括单词部分、行部分、对话交流部分、场景部分和其它类似部分。单词部分包括:单词示例索引,它标识将单词链接到相关发音数据的标识字段或指针的位置;以及起始和结束帧字段,标识来自视频内容127的、单词与其关联的起始和结束帧。在一个实施例中,行部分包括标识行部分序列中各行的位置的行索引、表明单词部分中与行关联的第一单词的起始单词索引、表明与行关联的最后一个单词的结束单词索引、表明或指向与剧本行的语言解释相关的数据的行解释索引、指向行或者将行与视频内容127中的人物链接的人物标识字段、起始和结束帧指示符以及类似信息或者指向与行相关的信息的指针。在一个实施例中,对话交流部分包括标识对话交流部分的索引中的位置的交流索引、与对话交流关联的起始帧和结束帧以及类似的指针和信息。在一个实施例中,场景部分包括标识场景部分中的场景的位置的索引、序言标识字段或指针、后文标识字段或指针、起始和结束帧以及类似的指示符和与场景相关的信息。

在一个实施例中,指针用于字段中以表明大于二进制文件中的字段大小的数据。这允许所使用数据的大小方面的灵活性,同时保持二进制文件中的字段的标准格式和长度。在一个实施例中,伴随源文件115具有用于编辑和文件创建的备选格式,例如XML和其它标记语言、数据库(例如关系数据库)或面向对象的格式。在一个实施例中,伴随源文件115以不同格式存储在服务器119中。在一个实施例中,伴随源文件115作为关系数据库文件来存储,以便于在被创建或编辑时文件的动态修改。数据库被平展为平面文件格式,以便于在重放过程中由播放器软件105访问。

新像素值(对于各色彩通道)=(1-(α值/255))*视频像素值+(α值/255)*图形像素值

图6是示范伴随源文件格式的示意图。在一个实施例中,伴随源文件115分为剧本相关数据和元数据。在一个实施例中,剧本相关数据主要是依次存储或索引的数据,包括与其中包含单词、行和对话交流的剧本相关的数据以及场景相关数据。元数据主要是根据用户请求来访问的辅助或参考相关数据,例如词典数据、发音数据和内容相关索引。

图2说明使用户能够利用本地机器109和显示装置203观看存储在媒体201中的视频内容127的重放系统200。本地机器109可以是台式计算机或膝上型计算机、因特网设备、控制台系统(例如Microsoft_Corporation制造的Xbox_)或类似装置。播放器105从连接到本地机器109的随机存取存储装置205(例如在DVD、CD、硬盘驱动器或类似装置上)访问及播放视频内容127。伴随源文件115独立于视频内容127,并源自分开的媒体。这允许例如利用现成的DVD来进行语言学习。在各种实施例中,存储视频内容127的随机存取存储媒体可以是CD、DVD、磁盘、光存储媒体、本地硬盘文件、外围设备、固态存储媒体、网络连接存储资源或因特网连接存储资源其中之一。伴随文件115驻留在也可以是上述媒体类型其中任一种的分开的存储媒体207中。虽然视频内容127和附加内容/源文件位于分开的媒体中,但它们可保留在相同或不同的媒体类型中。例如,视频内容127可以是现成的DVD 201,以及附加内容可位于CD上,或者附加内容可位于分开的DVD上。

在一个实施例中,交互视频语言学习系统包括播放器软件应用程序,它允许用户播放DVD或者包含娱乐素材(例如故事片)的类似音频/视频媒体,其中具有帮助语言学习的扩充特征。扩充特征可包括要学习的语言的转录,诸如词典、语法信息、语音发音信息及类似的语言相关信息的语言学习工具。播放器应用系统采用与关联的娱乐素材分开存储的伴随文件。伴随文件包含创建适合语言学习的娱乐素材的扩充特征所需的信息。伴随文件通过使用允许编者将语言学习素材汇编成与娱乐素材配合使用的伴随文件的编辑应用程序来创建。

图10是流程图,说明版本控制软件807用来保持伴随源模块相干性的过程。在一个实施例中,伴随源文件115是包含与特定视频内容127相关的信息和语言素材的文件,例如存储在诸如DVD等媒体中的故事片或电视节目。在一个实施例中,语言素材将用于向语言学生教授视频内容127的语言。在一个实施例中,伴随源文件115可细分为若干模块,以便于通过因特网将它们发送到具有慢连接的机器,以及允许多个用户访问、编辑或管理伴随源文件115的不同段。在一个实施例中,伴随源文件数据存储在数据库、如服务器119上的关系数据库中。在数据库中存储伴随源文件数据允许动态编辑其中数据时的更高级别的效率。在一个实施例中,服务器119中的伴随源文件115是与相关性集合关联的一组数据值(例如单词、音频文件和类似数据)。版本控制软件807控制对服务器119中所存储的模块的访问,以便确保当用户修改模块时,最近的模块存储在服务器119中。在一个实施例中,在本地机器107中制作模块的本地副本。在另一个实施例中,没有制作模块的本地完整副本,而是数据在编辑过程中主要保存在服务器119中。在一个实施例中,模块的部分被复制到本地机器107,从而根据本地机器107与服务器119之间的网络连接的质量来改进编辑过程的响应性和速度。

在一个实施例中,伴随源文件115中所存储的元数据被存储在与剧本数据分开的一组模块中。在这个实施例中,编者检查剧本模块以进行加工,以及在完成时对于版本控制程序807核对剧本模块。对剧本模块加工时,编者检查相关的元数据模块以进行修改,并独立于剧本模块对它们进行核对。在一个实施例中,元数据模块在访问中具有高粒度等级(例如每个词典条目作为独立模块可用)。这有助于对元数据模块的便捷访问,保持可用于编辑的元数据的较高百分比。