朵拉,德芙巧克力,铃声下载

频道:欧洲联赛 日期: 浏览:309

优秀的机器学习产品一定来自于成熟和知识渊博的团队。

机器学习(ML)风靡一时,紧紧抓住“大数据”浪潮。像42岁美魔女大多数技术炒作一样,热情远远超过了实际产品的实现。可以tianlongbabusifu说,如果不是因为谷歌在李小济90年代末/ 21世纪初的巨大成功,就不会使算法技术成为一种渗透到流行文化中的产品。但这并不是说从那时起机器学习就没有取得大的成果,但没有一个有影响力的算法能成为他们的核心竞争力。Netflix可能会使用推荐技术,但如果没有它,Netflix仍然是Netflix。如果Page,Brin等人没有利用网络的图形结构和锚文本来改进搜索,那么就没有谷歌。

那么为什么呢?这不是因为缺乏尝试。有多少创业公司的目标是为大众带来自然语言处理(NLP)技术,只有在人们真正尝试他们的产品后才会消失?使用ML构建优质产品所面临的挑战不仅在于理解基本的ML理论,还在于充分理解领域和问题,将直觉运用到模型设计中。有趣的问题没有简单的现成ML解决方案。重要的ML应用领域(如NLP)的进展来自针对这些问题的洞察力,而不是通用的ML机制。通常,对问题的具体见解和谨慎的模型设计可能设计出人们可以实际使用的系统,但也可能设计出完全不起作用的系统。

本文的目的不是为了阻止人们在他们的核心上构建具有基于ML的惊人产品,而是要清楚的表达我认为困难在哪里。

机器学习的进展

在过去十年中,机器学习已经走过了漫长的道路。在我开始研究生学习之前,是通过John Platt的批量SMO算法训练大边距分类器(例如,SVM)。在这种情况下,训练时间随着训练数据量的变化差异很大。编写算法本身需要理解二次规划,并且充满了启发式选择、主动约束和黑暗参数调整。现在,我们知道如何使用(相对)简单的在线算法(PDF)在线性时间内训练几乎与性能等效的大边距分类器。在(概率)图形模型中已经取得了类似的进展:马尔可夫链蒙特卡罗(MCMC)和变分方法促进了对任意复杂图形模型的推断。有趣的是,在过去的八年中,在自然语言处理领域,计算语言学协会(ACL)的会议记录中查看论文,2011年的一篇顶级论文比2003年的成熟技术具有更高的技术成熟度。

在教育方面,我们也走了很长的路,我选修了Andrew Ng的ML课程和Daphne Koller的概率图形模型课程,这两个课程都是我高以祥学习的最好的课程之一。特别是科勒的课程不仅是我学到的最好的课程,而且是教我最多教学的课程。现在,怆天若失任何人都可以在线学习这些课程。

作为一个专注于应用的ML人 -女云 特别是自然语言处理 - 这一进步的大部分使研究方面变得更加容易。但是,我做出的核心决策不是使用哪种抽象ML算法,损失函数或目标,而是哪些特征和结构与解决我的问题相关。这项技能逆战雷鸣枪芯只有练习才能实现。因此,虽然更广泛的受众对基本ML的理解是很好的,但它并不是构建智能系统最困难的部分。

有趣的问题永远不会出现

您实际想要解决的有趣问题比用于描述标准ML问题的浸血的房间抽象问题要复杂得多。以机器翻译(MT)为例。天真地看,MT看起来像一个统计分类问题:你得到输入外国句子并且必须预测目标中文句子。不幸的是,因为可能的中文词汇组合太多,你并不能完全覆盖。

相反,MT作为黑盒分类问题,像大多数有趣的ML应用程序一样,MT问题有很多结构,而优秀研究人员的部分工作就是将问题分解成可以确定性地学习或编码的较小部分。我的主张是,像MT这样复杂问题的进展,主要来自我们如何分解和构建解决方案空间,而不是在这个空间内学习的ML技术。

在过去十年中,机器翻译得到了突飞猛进的发展。我认为这一进展在很大程度上(但并非完全)来自对特定问题的敏锐洞察,而不是通用的书画山风景区ML改进。现代统计MT起源于一篇惊人的论文,“ 统计机器翻译的数学 ”,它引入了未来MT系统所基于去势文的噪声通道架构。在一个非常简单的层面上,这就是模型的工作方式:对于每个外来单词,都有潜在的英语翻译(包括没有英语等价的外来单词的空单词)。将此视为概率词典。然后重新排序这些候选翻译单词以创建合理的英语翻译。有许多错综复杂的内容:如何有效地考虑候选英语句子及其排列,用什么模型来学习语言之间重新排序的系统方式,以及如何评估英语候选词合理性的细节(语言模型)。

MT的核心改进来自改变这种模式。因此,不是学习单个单词的翻译概率,而是学习如何将外国短语翻译成英语短语的模型。例如,德语单词“abends”大致翻译为英语介词短语“在晚上。”在基于短语的翻译之前,基于单词的模型只能翻译成单个英语单词,因此不太可能达到正确的英文翻译。基于短语的翻译通常会产生更准确的翻译,并具有流畅的,惯用的英语输出。当然,添加基于措辞会带来一些额外的复杂性,包括如何估计短语,因为我们从不观察短语分割; 没有人告诉我朵拉,德芙巧克力,铃声下载们“在晚上”是一个应该与一些外国短日加立语相匹配的短语。令人惊讶的是,通过问题特定的模型设计,人们可以并且已曾宝玲经为各种MT系统实现了更复杂的ML技术。这些确实会带来改进,但通常远远小于特定问题的研究洞察力。

Franz Och是最初基于短语的论文作者之一,他继续加入Google并成为负责翻译工作的主要人员。虽然谷桑卓董歌系郭伯权职务有变统的知识基础可以追溯到Och作为信息科学研究所的研究科学家的日子(以及作为研究生的早期),除了基于短语的翻译(以及最小错误率训练,Och的另一项创新)之外,其他许多收获来自于大规模的软件工程努力,以便将这些想法扩展到网络上。这项compell工作本身对大规模语言模型和NLP的其他领域进行了令人印象深刻的研究。值得注意的是,Och除了是世界级的研究人员之外,还是一位令人印象深刻的黑客。正是这种罕见的技能组合可以将创意从研究项目带到今天的谷歌翻译。

定义问题

但我认为除了巧妙的模型设计和工程技能之外,还有更大的障碍。在机器翻译和语音识别情形下,所解决的问题要易于理解和能明确指出。我认为,许多NLP技术将在未来十年内彻底改变消费者产品,这一点非常模糊。我们究竟如何才能在结构化主题模型,话语处理或情感分析中进行出色的研究,并创作出具有吸引力的大众消费产品?

我们都知道,在某种程度上,我们需要总结和构建产品的内容。但是,出于计算和研究的原因,您需要将此问题的范围限制为可以构建模型,能够运用算法并能最终评估的问题。例如,在文献摘要中,多文档摘要的问题通常被表述为从文档集合中选择句子的子集并对它们进行排序。这是解决问题的正确方法吗?是一个总结一段文本的最佳方法吗?即使总结是准确的,弗兰肯句子结构是否会产生让用户感觉无关北京美地亚房地产有限公司的摘要?

或者,考虑情绪分析。人们真的只想要对产品或事件进行粗粒度的大拇指向上或大拇指向下吗?或者他们是否希望对项目的各个方面有更丰富的情感(例如,喜欢食物,讨厌装饰)?人们是否关心确定个别评论者/话语的情绪态度,或者对总体情绪进行准确评估?

通常,这些决策由产品人员做出,并传递给研究人员和工程师实施。这种方法的问题在于ML核心产品受到技术和算法可行性的严格限制。根据我的经验,对相关ML问题的范ioi金晓慧家世围进行技术理解可以激发那些没有这种理解的人可能不会想到的产品创意。简进入亲水网而言之,就像建筑一样。建造一座桥梁的大部分都受到物质资源和物理的限制,没有那些技术背景的人设计桥梁是没有意义的。

所有这一切的目标是,如果您想构建丰富的ML产品,您需要拥有一个丰富的产品/设计/研究/工程团队。从ML理论如何工作到构建系Yahalue统,领域知识,从更高层次的产品思维到技术交互和图形设计的细节一路走来; 最好是在这些领域中属于世界级的人,但也有好几个人。拥有所有这些技能的小型团队可以更好地掌握产品愿景和模型设计方面的共同不确定性。在完全不同的领域中拥有研究和产品人员的大公司没有能力解决这些问题。未来的ML产品将来自初创公司,拥有完整背景的小型创始团队。