设计你生活的Hadoop yarn

发布时间 2024-01-06 22:56:32作者: xQil

去年十月份,我决定考雅思。然而,除了这项任务之外,我还有其他四个主要任务需要同时兼顾:学校的学业、数据结构和算法的学习、LeetCode的刷题以及大数据网课的学习。这五项任务都非常重要,但由于每天可用于学习的时间是固定的,我发现很难在这些任务之间找到平衡。事实上,在当时我并没有达到良好的平衡,因此结果并不理想。尽管我考取了我想要的雅思分数,但我的人工智能课程成绩并不理想,刷题的进度也是断断续续的,大数据开发更是被搁置了一边。现在回头看,我意识到当时我缺少了一些必要的工具和策略。

1.进度条

设想一种场景:你正在尝试将一个文件上传到某个网站。当你把文件拖拽到上传页面后,页面只显示一个转圈的动画,告诉你正在上传中,但没有提供任何关于上传进度的信息。如果上传的是一个小文件,这可能不会成为问题。但如果是一个大文件呢?你只能盯着转圈动画看,无法确定上传何时完成。这样的情况会让你感到烦躁,甚至可能导致你取消或暂停上传任务。这时候,进度条的作用就显而易见了。它能动态地反馈上传任务的完成度,给你一种定心丸的感觉,让你知道任务会在未来的某个时间段内完成。

在生活中,我们也可以引入进度条的概念。对于每项任务,我们都应该设计一个进度条,并在一段时间后评估任务的进展并记录下来。如果我们没有这样做,整个任务或目标只会有两种状态:完成与未完成。在任务期间,我们不敢做其他事情,因为我们不知道任务的进展情况,也无法确定是否有多余的时间来处理其他事务。这种情况会导致焦虑和迷茫,并且可能浪费大量时间和精力

然而,如果我们引入进度条,就能更清晰地了解任务的进展情况,更好地规划时间和精力,并且以更有条理的方式完成任务。进度条还可以帮助我们更好地掌握自己的情绪,避免因任务的不确定性而产生过度的压力。因此,在生活中,我们应该尽可能地引入进度条的概念,以提高工作效率和生活质量。

2.反馈调整

上面说到清楚地找到每项任务的进展很重要,但生活不像计算机,以上传任务为例,计算机只要知道文件的大小和已经上传的数据量,这两者相除就知道了上传任务的进度。生活中,我们的任务或者目标是比较抽象的,比如我的目标是要考到雅思7分小分6.0+,这太模糊了,我们如何知道我们的进展?我的建议是将大目标分成小目标,每完成一个小目标就更新一次进度(有一点点像mapreduce的“分而治之”)。

以雅思为例:

  1. 设定大目标:确定你要达到的雅思分数和小分目标。例如,目标是考到雅思总分7分,小分中写作要达到6.0+。

  2. 制定计划:制定一个详细的学习计划,并将其分解成小目标。例如,每周安排学习时间,并设定每周完成的任务,如完成一篇写作练习、学习一定数量的单词等。

  3. 设定小目标:根据计划,将大目标分解成一系列小目标。以写作为例,可以设定小目标为每周完成一篇议论文的写作练习。经过一段时间的写作,当我们的分数稳定在某个分数段,就可以更新一次进度了。而单词则可以在你背完后就可以更新进度了。(对于不同的情况,什么时候更新进度也要搞清楚,我们的目标是写作达到6.0+,那么进度的更新应该是当我们分数达到某个分数段并且稳定的时候,而不是以篇数,多写作文在一定程度上能提高成绩,但写作更重要的是思路)

  4. 更新进度:每当完成一个小目标,就及时更新进度。可以使用一个进度跟踪表或者其他工具来记录每个小目标的完成情况。这样可以清楚地看到自己的进展,并为下一步的学习提供动力和方向。

  5. 反馈和调整:定期评估自己的学习成果和进展,并根据需要进行调整。如果发现某个小目标完成得较慢,可以重新安排学习时间或调整学习方法,以提高效率。(这一步很重要!

3.时间和精力管理

这方面有太多太多经典的书籍可以拜读了,像《高效能人士的7个习惯》等等,我这里就不多说了。

合起来→Hadoop yarn

yarn是hadoop中非常重要的集群,全名是“Yet Another Resource Negotiator”。它是一个资源管理器和作业调度器,用于管理和调度集群中的计算资源。YARN的主要目标是提供一个通用的资源管理框架,使得Hadoop能够更好地支持各种计算模型和应用程序。

我们可以根据这张图来进行类比:

  • 计算资源代表我们现实生活的时间和精力

  • 最上面的小矩形代表着学习,社交,体育锻炼,或者是要达到的某些目标等等

YARN则是一套精密的系统,根据你任务的优先度来分配时间和精力并实时监控你任务的进展.(本质就是通过某种有效的策略管理你的时间和精力+进度条的应用)

只需要确保它正常运行,就能够实时查看各任务的优先级和当前进展情况,并根据情况对自己的学习策略进行调整和不断迭代,最终找到最适合自己的一套学习方法。这样,我们不再每天处于紧张焦虑的状态,而是能够有条不紊、轻松自如地找到生活上的平衡。