Информация о материале

Автор: Павел

Категория: Uncategorised

Опубликовано: 10 апреля 2023

Просмотров: 505

goaccess парсинг логов по домену как в моем проекте, домены третьего уровня имеют один лог файл и надо из кучи записей найти выдать отчет для изучения

В первой строке смотрим архивные логи и передаем на парсинг по нужному нам домену в goaccess это будет отчет за все время, сколько есть логов, будет выполняться раз в сутки в 23,00

0 23 * * *      zcat /var/log/nginx/frontend-access.log.*.gz | grep -w https://domen1.sysadmin-komi.ru | goaccess -a - --log-format=COMBINED -o /var/www/sysadmin/domen1/web/arch.html

Во втором запросе будет суточный и выполняться каждые 15 минут по крону
15,30,45,59 * * * *     grep -w https://domen1.sysadmin-komi.ru /var/log/nginx/frontend-access.log | goaccess -a - --log-format=COMBINED -o /var/www/sysadmin/domen1/web/today.html

и так можно из общей кучи вытянуть нужную нам статистику

Информация о материале

Автор: Павел

Категория: Uncategorised

Опубликовано: 06 апреля 2023

Просмотров: 516

minio nginx letsencrypt

делаем 2 конфига nginx

первый 

/etc/nginx/sites-available/minio с таким содержимым

server {
server_name cdn.minio.ru;
listen 443 ssl;
access_log /var/log/nginx/cdn.minio.ru-access.log;
error_log /var/log/nginx/cdn.minio.ru-error.log;

ssl_certificate /etc/letsencrypt/live/cdn.minio.ru/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/cdn.minio.ru/privkey.pem;
ssl_protocols       TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers         HIGH:!aNULL:!MD5;

# To allow special characters in headers
ignore_invalid_headers off;
# Allow any size file to be uploaded.
# Set to a value such as 1000m; to restrict file size to a specific value
client_max_body_size 0;
# To disable buffering
proxy_buffering off;
proxy_request_buffering off;

location / {
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;

proxy_connect_timeout 300;
# Default is HTTP/1, keepalive is only enabled in HTTP/1.1
proxy_http_version 1.1;
proxy_set_header Connection "";
chunked_transfer_encoding off;

proxy_pass https://localhost:9000;
}
}

второй 

/etc/nginx/sites-available/miniocon с таким содержимым

server {
server_name storage.minio.ru;
listen 443 ssl;
access_log /var/log/nginx/storage.minio.ru-access.log;
error_log /var/log/nginx/storage.minio.ru-error.log;

ssl_certificate /etc/letsencrypt/live/storage.minio.ru/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/storage.minio.ru/privkey.pem;
ssl_protocols       TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers         HIGH:!aNULL:!MD5;

# To allow special characters in headers
ignore_invalid_headers off;
# Allow any size file to be uploaded.
# Set to a value such as 1000m; to restrict file size to a specific value
client_max_body_size 0;
# To disable buffering
proxy_buffering off;
proxy_request_buffering off;

location / {
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-NginX-Proxy true;

# This is necessary to pass the correct IP to be hashed
real_ip_header X-Real-IP;

proxy_connect_timeout 300;

# To support websocket
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";

chunked_transfer_encoding off;

proxy_pass https://localhost:9001;
}
}

И меняем сам конфиг minio на то что ниже

MINIO_ACCESS_KEY="miniosecret"
MINIO_VOLUMES="/mnt/minio"
MINIO_OPTS="-C /etc/minio --address :9000 --console-address :9001"
MINIO_SERVER_URL="https://cdn.minio.ru"
MINIO_BROWSER_REDIRECT_URL=https://storage.minio.ru
MINIO_SECRET_KEY="minioPa$s"

Делаем reboot и пробуем зайдя на страницу https://cdn.minio.ru будем происходить переход на https://storage.minio.ru

Мы получили проксирующий nginx используя 443 порт а не 9000 и 9001 

Информация о материале

Автор: Павел

Категория: Uncategorised

Опубликовано: 06 апреля 2023

Просмотров: 443

conky debian 11

Вот такой конфиг файл получился

Вот такая красота получилась

--[[
Conky, a system monitor, based on torsmo

Any original torsmo code is licensed under the BSD license

All code written since the fork of torsmo is licensed under the GPL

Please see COPYING for details

Copyright (c) 2004, Hannu Saransaari and Lauri Hakkarainen
Copyright (c) 2005-2019 Brenden Matthews, Philip Kovacs, et. al. (see AUTHORS)
All rights reserved.

This program is free software: you can redistribute it and/or modify
it under the terms of the GNU General Public License as published by
the Free Software Foundation, either version 3 of the License, or
(at your option) any later version.

This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
GNU General Public License for more details.
You should have received a copy of the GNU General Public License
along with this program.  If not, see <http://www.gnu.org/licenses/>.
]]

conky.config = {
    alignment = 'top_right',
    background = false,
    border_width = 1,
    cpu_avg_samples = 2,
    default_color = 'white',
    default_outline_color = 'white',
    default_shade_color = 'white',
    double_buffer = true,
    draw_borders = false,
    draw_graph_borders = true,
    draw_outline = false,
    draw_shades = false,
    extra_newline = false,
    font = 'DejaVu Sans Mono:size=12',
    gap_x = 60,
    gap_y = 60,
    minimum_height = 5,
    minimum_width = 5,
    net_avg_samples = 2,
    no_buffers = true,
    out_to_console = false,
    out_to_ncurses = false,
    out_to_stderr = false,
    out_to_x = true,
    own_window = true,
    own_window_class = 'Conky',
    own_window_type = 'desktop',
    own_window_hints = 'undecorated,below,sticky,skip_taskbar,skip_pager',
    own_window_transparent = true,
    own_window_argb_visual = true,
    show_graph_range = false,
    show_graph_scale = false,
    stippled_borders = 0,
    update_interval = 1.0,
    uppercase = false,
    use_spacer = 'none',
    use_xft = true,
    color1 = '#ff0000',
    color2 = '#00ff00',
    color3 = '#00ff00',
}
conky.text = [[
${color2}${font Nono Sans:size=12, weight=normal}${time %A}${alignr}${color3}${time  %H: %M: %S}
 ${color1}${alignc}${time %d %B %Y}
 ${font}${color3}Система работает: ${alignr}${color1}$uptime
 ${alignc}${color2}Ядро - $kernel
 ${color2}${hr 1}
 ${color3}Процессор:${alignr}${color2}Температура: ${color0}${acpitemp}°С
 ${alignr}${color2}Загружен на:  ${color0}${cpu cpu0}%
 ${color4}$alignr${cpugraph cpu0 20,280 cccccc ff3300}
 ${offset 30}${color2}CPU1: ${cpu cpu1}% ${alignr}${color1}${cpubar cpu1 6,160}
 ${offset 30}${color2}CPU2: ${cpu cpu2}% ${alignr}${color1}${cpubar cpu2 6,160}
 ${offset 30}${color3}${top name 1} ${color1}$alignr ${top cpu 1}%
 ${offset 30}${color3}${top name 2} ${color1}$alignr ${top cpu 2}%
 ${color2}${hr 1}
 ${color3}RAM:${color1}$memmax$alignr${color2}Используется:${color1}$mem
 ${alignr}${membar 6,280}
 $alignr${color4}${memgraph 20,280 cccccc ff3300}
 ${offset 30}${color3}${top_mem name 1} $alignr${color1} ${top_mem mem_res 1}
 ${offset 30}${color3}${top_mem name 2} $alignr${color1} ${top_mem mem_res 2}
 ${offset 30}${color3}${top_mem name 3} $alignr${color1} ${top_mem mem_res 3}
 ${offset 30}${color3}${top_mem name 4} $alignr${color1} ${top_mem mem_res 4}
 ${offset 30}${color3}${top_mem name 5} $alignr${color1} ${top_mem mem_res 5}
 ${color2}${hr 1}
 ${color3}SWAP:$alignr${color2}Выделено:    ${color1}$swapmax
 ${offset 125}${color2}Используется: ${color1}$swap
 $alignr${color1}$swapperc% ${swapbar 6,245}
 ${color3}File systems:
 ${color2}/$alignr${color1}${fs_used /}/${fs_size /}  $alignr${fs_bar 5,100 /}
 #${color2}/home$alignr${color1}${fs_used /home}/${fs_size /home}  $alignr${fs_bar 5,100 /home}
 ${color3}Up: ${upspeed enp5s0}/s $alignr Down: ${downspeed enp5s0}/s
 ${color4}${upspeedgraph enp5s0 30,150 ff3300 ff3300} $alignr${downspeedgraph enp5s0 30,150 3399ff 3399ff}
 NETWORK IP: $alignr ${addr enp5s0}
 PUBLIC IP ${alignr}${execi 60 curl  ipinfo.io/ip}
]]

Информация о материале

Автор: Павел

Категория: Uncategorised

Опубликовано: 04 апреля 2023

Просмотров: 605

Переносим Minio на новый сервер

mc admin config export smolpharm > config.txt

испортируем конфиги

mc admin config import local < config.txt

настроки файлов в архив minio

mc admin cluster iam export ALIAS
Будет экспортирован архив в формате .zip
ALIAS-iam-info.zip
далее нам надо на новом сервере выполнить импорт данных, для этого выполним команду с указанием имени архива

mc admin cluster iam import ALIAS alias-iam-info.zip
Далее нам надо экспортировать список backets и его настройки если есть там квоты и так далее

mc admin service restart local
Настройки применили поехали далее
mc admin cluster bucket export smolpharm
экспортируем список buckets
Теперь же импортируем
mc admin cluster bucket export smolpharm
вывод будет таким

mc admin cluster bucket import local cluster-metadata.zip

30/30 buckets were imported successfully.

И далее переносим все Buckets на новый сервер

mc mirror --preserve --watch SOURCE/BUCKET TARGET/BUCKET

После переноса смотрим что получилось по новому адресу

На старом сервере данные удаляем, все!