加入收藏 | 设为首页 | 会员中心 | 我要投稿 阳江站长网 (https://www.0662zz.cn/)- 办公协同、云通信、区块链、物联平台、高性能计算!
当前位置: 首页 > 站长资讯 > 动态 > 正文

带你深入了解Linux的世界

发布时间:2021-02-03 12:37:10 所属栏目:动态 来源:互联网
导读:盘、io等历史视图 信号检测 默认情况下,Agent 每隔 15 秒向 Cloudera Manager Server 发送一次检测信号。但是,为了减少用户延迟,在状态变化时会提高频率。 状态管理 模型状态捕获什么进程应在何处运行以及具有什么配置 运行时状态是哪些进程正在何处运行
  • 盘、io等历史视图

信号检测

默认情况下,Agent 每隔 15 秒向 Cloudera Manager Server 发送一次检测信号。但是,为了减少用户延迟,在状态变化时会提高频率。

状态管理

  • 模型状态捕获什么进程应在何处运行以及具有什么配置
  • 运行时状态是哪些进程正在何处运行以及正在执行哪些命令(例如,重新平衡 HDFS 或执行备份/灾难恢复计划或滚动升级或停止)
  • 当您更新配置(例如Hue Server Web 端口)时,您即更新了模型状态。但是,如果 Hue 在更新时正在运行,则它仍将使用旧端口。当出现这种不匹配情况时,角色会标记为具有”过时的配置”。要重新同步,您需重启角色(这会触发重新生成配置和重启进程)
  • 特殊情况如果要加入一些clouder manager控制台没有的属性时候都在高级里面嵌入

服务器和客户端配置

  • 如使用HDFS,文件 /etc/hadoop/conf/hdfs-site.xml 仅包含与 HDFS 客户端相关的配置
  • 而 HDFS 角色实例(例如,NameNode 和 DataNode)会从/var/run/cloudera-scm-agent/process/unique-process-name下的每个进程专用目录获取它们的配置

进程管理

  • 在 Cloudera Manager 管理的群集中,只能通过 Cloudera Manager 启动或停止服务。ClouderaManager 使用一种名为 supervisord的开源进程管理工具,它会重定向日志文件,通知进程失败,为合适用户设置调用进程的有效用户 ID 等等
  • Cloudera Manager 支持自动重启崩溃进程。如果一个角色实例在启动后反复失败,Cloudera Manager还会用不良状态标记该实例
  • 特别需要注意的是,停止 Cloudera Manager 和 Cloudera Manager Agent 不会停止群集;所有正在运行的实例都将保持运行
  • Agent 的一项主要职责是启动和停止进程。当 Agent 从检测信号检测到新进程时,Agent 会在/var/run/cloudera-scm-agent 中为它创建一个目录,并解压缩配置
  • Agent 受到监控,属于 Cloudera Manager 的主机监控的一部分:如果 Agent 停止检测信号,主机将被标记为运行状况不良

主机管理

  • Cloudera Manager 自动将作为群集中的托管主机身份:JDK、Cloudera Manager Agent、CDH、Impala、Solr 等参与所需的所有软件部署到主机
  • Cloudera Manager 提供用于管理参与主机生命周期的操作以及添加和删除主机的操作
  • Cloudera Management Service Host Monitor 角色执行运行状况检查并收集主机度量,以使您可以监控主机的运行状况和性能

安全

身份验证

Hadoop中身份验证的目的仅仅是证明用户或服务确实是他或她所声称的用户或服务,通常,企业中的身份验证通过单个分布式系统(例如,轻型目录访问协议 (LDAP) 目录)进行管理。LDAP身份验证包含由各种存储系统提供支持的简单用户名/密码服务

Hadoop 生态系统的许多组件会汇总到一起来使用 Kerberos 身份验证并提供用于在 LDAP 或 AD 中管理和存储凭据的选项

授权

CDH 当前提供以下形式的访问控制:

适用于目录和文件的传统 POSIX 样式的权限

适用于 HDFS 的扩展的访问控制列表 (ACL)

Apache HBase 使用 ACL 来按列、列族和列族限定符授权各种操作 (READ, WRITE, CREATE, ADMIN)

使用 Apache Sentry 基于角色进行访问控制

加密

需要获得企业版的Cloudera(Cloudera Navigator 许可)

2、clouderaManager环境安装前准备

准备两台虚拟机,其中一台作为我们的主节点,安装我们的ClouderaManager Server与ClouderaManager agent,另外一台作为我们的从节点只安装我们的clouderaManager agent

机器规划如下:

(编辑:阳江站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读