[Hyper-V] [Open Stack] [Controller Node] [부가 기능] ② Gnocchi & Ceilometer - 텔레미터 설치 및 구성

 

 

 

 

 

 

 

 

OpenStack for Architects - Second Edition Paperback

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

 

🗂 목차

1. [Hyper-V] [Open Stack] Open Stack이란?
2. [Hyper-V] [Open Stack] [Controller Node] Hyper-V 구성 및 Ubuntu 22.04.3 LTS Server 설치
3. [Hyper-V] [Open Stack] [Controller Node] ① 오픈스택 패키지 설치
4. [Hyper-V] [Open Stack] [Controller Node] ② NTP Server 구성
5. [Hyper-V] [Open Stack] [Controller Node] ③ RabbitMQ - Message Queue 설치 및 구성
6. [Hyper-V] [Open Stack] [Controller Node] ④ Memcached 설치 및 구성
7. [Hyper-V] [Open Stack] [Controller Node] ⑤ Etcd 설치 및 구성
8. [Hyper-V] [Open Stack] [Controller Node] ⑥ Keystone - Identity 설치 및 구성
9. [Hyper-V] [Open Stack] [Controller Node] ⑦ Image Service - Glance 설치 및 구성  
10. [Hyper-V] [Open Stack] [Controller Node] ⑧ Compute Service - Nova 설치 및 구성
11. [Hyper-V] [Open Stack] [Contoller Node] ⑨ Neutron - Network 서비스 설치 및 구성
12. [Hyper-V] [Open Stack] [Controller Node] ①⓪ Horizon - Dashboard 서비스 설치 및 구성

13. [Hyper-V] [Open Stack] [Compute Node] Hyper-V 구성 및 Ubuntu 22.04.3 LTS Server 설치 및 초기 구성
14. [Hyper-V] [Open Stack] [Compute Node] ① 오픈스택 패키지 설치
15. [Hyper-V] [Open Stack] [Compute Node] ② Nova 설치 및 구성
16. [Hyper-V] [Open Stack] [Compute Node] ③ Neutron - Network 서비스 설치 및 구성

 

 

 

 

🚀 Controller Node 구성

    🔽 개요

주니의 오픈스택 구성도

 

 

 

 

 

       📦 소개 - Ceilometer

텔레미터 서비스 Ceilometer는 클라우드에서 배포된 자원의 사용량 및 성능 측정을 하여 사용자가 자원의 상태를 모니터링 할 수 있도록 도와주는 기능을 제공하고 있어요.

또한, 여러 분산된 클라우드 시스템의 자원 상태를 모니터링함으로 가시성과 통찰력을 제공하고, 자원의 통계를 확인할 수 있답니다.
이는 컴퓨팅, 네트워크, 스토리지 등 다양한 자원 유형에 대한 데이터 수집 및 처리를 제공하고 있어요.

Ceilometer는 클라우드 환경에서 자원 관리 및 사용 추적을 향상시킬 수 있고, 이 정보는 클라우드 운영자 및 사용자에게 자원 사용에 대한 투명성을 제공하고, 오토 스케일링, 정책 관리 및 비용 분석과 같은 클라우드 관리 작업 지원에 사용될 수 있어요.

Ceilometer는 오픈스택의 컴포넌트 중 하나로 클라우드 환경에서 자원 모니터링과 관리를 개선하는데 중요한 역할을 하고 있어요.

Ceilometer는 에이전트, 컬렉터, 알림과 데이터 전송을 위한 버스들, 저장소, API로 구성되며, 아래와 같이 동작해요.

 

구성 요소	상세 내용
ceilometer-agent-comput	각각의 컴퓨팅 노드에 설치되어 실행되며, 자원 활용 통계로 사용.
ceilometer-agent-central	중앙 관리 서버에서 실행되며, 인스턴스에 연결되지 않은 자원이나 컴퓨트 노드에 대한 활용 가능 자원 통계 폴링.
ceilometer-collector	중앙 관리 서버에서 실행되며, 메시지 큐(에이전트에서 오는 미터링 데이터에 대한 알림)를 모니터링. 알림 메시지 처리 뒤 해당 메시지를 미터링으로 전환하고, 해당 항목을 사용하여 메시지 버스를 통해 외부로 다시 전송. 텔레미터 메시지는 수정 없이 데이터 저장소에 기록.
ceilometer-alarm-notifier	하나 이상의 중앙 관리 서버에서 실행되며, 샘픔 수집을 위한 임계 값의 평가에 따라 알림 설정.
데이터 저장소	데이터베이스 동시 처리능력을 읽고 저장.
ceilometer-api	하나 이상의 중앙 관리 서버에서 실행되며, 데이터 저장소로부터 데이터 접근 제공.

 

 

       📦 소개 - Gnocchi

Gnocchi는 멀티테넌트 시계열, 메트릭, 리소드 데이터 베이스에요.
이터 관리에 HTTP REST 인터페이스를 제공하고 있고, 대용량 메트릭을 저장할 수 있도록 만들어졌어요.

Ceilometer를 만들던 Julien Danjou가 MongoDB나, RDB로는 데이터 관리에 한계를 느껴 만들었다고 해요.
또한, 알고리즘 복잡도를 O(n)에서 O(1)로 변경하고 싶어서 만들었다고 합니다.

처음에는 Graphite에서 사용하는 whisper 기반으로 만들려고 하였는데, whisper에 필요한 기능을 패치하려고 하니 코드에 단위 테스트도 없고, 수정도 어려워서 포기하고, Python 통계 라이브러리인 Pandas(Python Data Analysis Library)를 이용해 직접 만들었다고 해요.

이렇게 해서 carbonara라는 시계열용 파일 포맷이 탄생했다고 해요.
실제 메트릭 데이터는 carbonara 포맷으로 저장소(file, ceph, swift, S3)에 저장하고, 메트릭 타입이나, 자원은 RDB에 저장해서 관리한다고 해요. 이 방식을 gnocchi에서는 indexer라고 부르고 있어요.

 

 

 

 

    🔽 구성 요소 설치 및 구성

       📦 Gnocchi 초기 구성 - 컨트롤러 노드

최초 Keystone에 Gnocchi 관련 사용자와 서비스, 엔드포인트를 만들어 줄게요.

openstack user create --domain default --project service --password servicepassword gnocchi

 

 

위 servicepassword에는 gnocchi 계정이 사용할 비밀번호를 입력해 주고,
되도록 특수문자는 사용하지 않는걸 권장해요.

 

openstack role add --project service --user gnocchi admin

그런 뒤 위와 같이 관리자 권한을 부여해 주었어요.

openstack service create --name gnocchi --description "Metric Service" metric

위와 같이 서비스를 만들어 주었어요.

export controller=private-controller; openstack endpoint create --region RegionOne metric public http://$controller:8041; openstack endpoint create --region RegionOne metric internal http://$controller:8041

 

openstack endpoint create --region RegionOne metric admin http://$controller:8041

그리고 위와 같이 엔드포인트를 만들어 주었어요.

DB 및 계정 생성

그리고 위와 같이 DB와 계정을 만들어 주었어요.

 

 

이제 패키지를 받고, 초기 설정 해 주도록할게요.

apt install gnocchi-api gnocchi-metricd python3-gnocchiclient apache2 libapache2-mod-wsgi-py3

위 화면이 나오면 NO를 선택하고 넘어갑니다.

 

위 화면이 나오면 NO를 선택하고 넘어갑니다.

위 화면이 나오면 NO를 선택하고 넘어갑니다.

 

[DEFAULT]
log_dir = /var/log/gnocchi

[api]
auth_mode = keystone

[database]
backend = sqlalchemy

# MariaDB connection info
[indexer]
url = mysql+pymysql://gnocchi:password@192.168.20.254/gnocchi

[storage]
driver = file
file_basepath = /var/lib/gnocchi

# Keystone auth info
[keystone_authtoken]
www_authenticate_uri = http://private-controller:5000
auth_url = http://private-controller:5000
memcached_servers = private-controller:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = gnocchi
password = servicepassword
service_token_roles_required = true
# if using self-signed certs on Apache2 Keystone, turn to [true]
insecure = false

위와 같이 설정하고, 저장하고 나옵니다.

vim /etc/apache2/sites-available/gnocchi-api.conf

위와 같이 변경하고, 저장하고, 나옵니다.

{
    "admin_or_creator": "role:admin or user:%(creator)s or project_id:%(created_by_project_id)s",
    "resource_owner": "project_id:%(project_id)s",
    "metric_owner": "project_id:%(resource.project_id)s",

    "get status": "role:admin",

    "create resource": "",
    "get resource": "rule:admin_or_creator or rule:resource_owner",
    "update resource": "rule:admin_or_creator",
    "delete resource": "rule:admin_or_creator",
    "delete resources": "rule:admin_or_creator",
    "list resource": "rule:admin_or_creator or rule:resource_owner",
    "search resource": "rule:admin_or_creator or rule:resource_owner",

    "create resource type": "role:admin",
    "delete resource type": "role:admin",
    "update resource type": "role:admin",
    "list resource type": "",
    "get resource type": "",

    "get archive policy": "",
    "list archive policy": "",
    "create archive policy": "role:admin",
    "update archive policy": "role:admin",
    "delete archive policy": "role:admin",

    "create archive policy rule": "role:admin",
    "get archive policy rule": "",
    "list archive policy rule": "",
    "update archive policy rule": "role:admin",
    "delete archive policy rule": "role:admin",

    "create metric": "",
    "delete metric": "rule:admin_or_creator",
    "get metric": "rule:admin_or_creator or rule:metric_owner",
    "search metric": "rule:admin_or_creator or rule:metric_owner",
    "list metric": "rule:admin_or_creator or rule:metric_owner",

    "get measures":  "rule:admin_or_creator or rule:metric_owner",
    "post measures":  "rule:admin_or_creator"
}

vim /etc/gnocchi/policy.json

그리고 위 내용을 추가하고, 저장하고, 나옵니다.

chmod 640 /etc/gnocchi/gnocchi.conf; chgrp gnocchi /etc/gnocchi/gnocchi.conf

설정 파일에 권한과 소유 그룹을 변경해 주었어요.

vim /etc/nginx/nginx.conf

 

    upstream gnocchi-api {
        server 127.0.0.1:8041;
    }
    server {
        #listen 192.168.20.3:8041 ssl;
        listen 192.168.20.3:8041;
        proxy_pass gnocchi-api;
    }

 

그리고 위 내용을 추가해 주었어요.

su -s /bin/bash gnocchi -c "gnocchi-upgrade"

위와 같이 DB에 데이터를 입력해 주었어요.

a2enmod wsgi; a2ensite gnocchi-api; systemctl restart gnocchi-metricd apache2 nginx; systemctl enable gnocchi-metricd

그리고 위와 같이 관련 서비스를 재기동하고, 서비스에 등록해 주었어요.

 

 

       📦 잘 구성 되었나? 🤔

apt install -y python3-gnocchiclient

최초 위와 같이 gnocchi client를 내려 받아 주었어요.

 

export OS_AUTH_TYPE=password; gnocchi resource list

위와 같이 Error 관련 내용이 보이지 않으면 정상으로 구성된 것이에요.

 

 

 

    🔽 구성 요소 설치 및 구성

       📦 Celiometer 초기 구성 - 컨트롤러 노드 (네트워크 노드)

만약 네트워크 노드를 따로 구성했다면 이 부분은 네트워크 노드에서 진행해야 해요.

주니는 컨트롤러 노드에서 진행합니다.

최초 Keystone에 Ceilometer 관련 사용자와 서비스를 만들어 줄게요.

openstack user create --domain default --project service --password servicepassword ceilometer

 

위 servicepassword에는 ceilometer 계정이 사용할 비밀번호를 입력해 주고,
되도록 특수문자는 사용하지 않는걸 권장해요.

openstack role add --project service --user ceilometer admin

그런 뒤 위와 같이 관리자 권한을 부여해 주었어요.

openstack service create --name ceilometer --description "OpenStack Telemetry Service" metering

그리고 위와 같이 서비스를 만들어 주었어요.

apt install ceilometer-agent-central ceilometer-agent-notification

이제 패키지를 설치하고, 설정 파일을 수정해 볼게요.

vim /etc/ceilometer/ceilometer.conf [DEFAULT], [api], [dispatcher_gnocchi] 추가

반응형

[DEFAULT]
# RabbitMQ connection info
transport_url = rabbit://openstack:password@private-controller

[api]
auth_mode = keystone

[dispatcher_gnocchi]
filter_service_activity = False

[keystone_authtoken]
www_authenticate_uri = http://private-controller:5000
auth_url = http://private-controller:5000
memcached_servers = private-controller:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = gnocchi
password = servicepassword
# if using self-signed certs on Apache2 Keystone, turn to [true]
insecure = false

vim /etc/ceilometer/ceilometer.conf [service_credentials] 추가

 

[service_credentials]
auth_url = http://private-controller:5000
memcached_servers = private-controller:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = ceilometer
password = servicepassword
# if using self-signed certs on Apache2 Keystone, turn to [true]
insecure = false

여기까지 되었다면 저장하고, 나옵니다.

chmod 640 /etc/ceilometer/ceilometer.conf; chgrp ceilometer /etc/ceilometer/ceilometer.conf

그런 뒤 설정 파일에 대해 위와 같이 권한과 소유 그룹을 변경해 줍니다.

su -s /bin/bash ceilometer -c "ceilometer-upgrade"

 

 

su -s /bin/bash ceilometer -c "ceilometer-upgrade"; systemctl restart ceilometer-agent-central ceilometer-agent-notification; systemctl enable ceilometer-agent-central ceilometer-agent-notification

그런 뒤 위와 같이 ceilometer 정보를 업데이트 하고, 각 데몬을 재기동하고, 서비스에 등록해 주었어요.

 

 

 

 

       📦 Celiometer 초기 구성 - 컴퓨트 노드

이번엔 컴퓨트 노드에서 설정을 진행해 줄게요.

최초 필요 패키지를 설치할게요.

apt install -y ceilometer-agent-compute

vim /etc/ceilometer/ceilometer.conf [DEFAULT]

 

[DEFAULT]
# RabbitMQ connection info
transport_url = rabbit://openstack:password@private-controller

 

 

vim /etc/ceilometer/ceilometer.conf [service_credentials]

728x90

[service_credentials]
auth_url = http://private-controller:5000
memcached_servers = private-controller:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = ceilometer
password = servicepassword

 

여기까지 되었다면 저장하고, 나옵니다.

 

 

 

chmod 640 /etc/ceilometer/ceilometer.conf; chgrp ceilometer /etc/ceilometer/ceilometer.conf

그리고 위와 같이 설정 파일에 권한과 소유 그룹을 변경해 주세요.

systemctl restart ceilometer-agent-compute; systemctl enable ceilometer-agent-compute

위와 같이 데몬을 재기동하고, 서비스에 등록해 주었어요.

vim /etc/nova/nova.conf [DEFAULT] 추가

 

instance_usage_audit = True
instance_usage_audit_period = hour

위의 내용을 기존 내용 [DEFAULT] 섹션 맨 밑에 추가해 주었어요.

vim /etc/nova/nova.conf [oslo_messaging_notifications] 추가

[oslo_messaging_notifications]
driver = messagingv2

 

 

 

 

vim /etc/nova/nova.conf [notifications] 추가

 

[notifications]
notify_on_state_change = vm_and_task_state

마지막으로 설정 파일 맨 밑에 위 내용을 추가해 주었어요.


여기까지 되었다면 저장하고, 나옵니다.

systemctl restart nova-compute

그리고, nova-compute 데몬을 재기동 해 주었어요.

 

 

 

       📦 glance 추가 구성 - 컨트롤러 노드 (이미지 스토리지 노드)

이번에는 이미지 스토리지가 구성된 노드에서 진행해야해요.

주니는 컨트롤러 노드에 구성되어 있기 때문에 컨트롤러 노드에서 진행합니다.

vim /etc/glance/glance-api.conf [oslo_messaging_notifications] 추가

 

[oslo_messaging_notifications]
driver = messagingv2
# RabbitMQ connection info
transport_url = rabbit://openstack:password@private-controller

추가해 주었다면 저장하고, 나옵니다.

systemctl restart glance-api

그런 뒤 glance-api 데몬을 재 기동해 주었어요.

 

 

 

 

       📦 Cinder 추가 구성 - 컴퓨트 노드 (블록 스토리지 노드)

이번에는 블록 스토리지가 구성된 노드에서 진행해야해요.

주니는 컴퓨트 노드에 구성되어 있기 때문에 컴퓨트 노드에서 진행합니다.

 

vim /etc/cinder/cinder.conf [oslo_messaging_notifications] 추가

 

[oslo_messaging_notifications]
driver = messagingv2
transport_url = rabbit://openstack:password@private-controller

위 내용을 설정 파일 맨 아래줄에 추가하고, 저장하고, 나와줍니다.

systemctl restart cinder-volume.service

그리고, 위와 같이 데몬을 재 기동해 주었어요.

systemctl restart apache2 cinder-scheduler

이번엔 컨트롤러 노드에서 두 데몬을 재 기동해 주었어요.

 

 

 

 

 

Openstack Essentials Second Edition Paperback

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

 

 

 

🧐 참고 자료

Ubuntu 22.04 LTS : OpenStack Zed : Configure Gnocchi : Server World

Ubuntu 22.04 LTS : OpenStack Zed : Configure Ceilometer (Network Node) : Server World