电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術(shù)文章
文章詳情頁

通過Python實(shí)現(xiàn)對SQL Server 數(shù)據(jù)文件大小的監(jiān)控告警功能

瀏覽:2日期:2022-06-21 15:20:06
1.需求背景

系統(tǒng)程序突然報錯,報錯信息如下:

The transaction log for database ’@dbname’ is full. To find out why space in the log cannot be reused, see the log_reuse_wait_desc column in sys.databases

此時查看log文件,已達(dá)2T。

當(dāng)時的緊急處理方案是,移除掉鏡像,修改數(shù)據(jù)庫恢復(fù)模式(由full修改為simple),收縮日志。

為了防止類似問題再次發(fā)生,需對log 文件的大小進(jìn)行監(jiān)控,當(dāng)?shù)竭_(dá)閾值后,觸發(fā)告警。

2.主要基礎(chǔ)組件(類)

配置文件qqmssqltest_db_server_conf.ini

同過此配置文件獲取DB Server信息、DB信息、UID信息、郵件服務(wù)器信息等。

[sqlserver]db_user = XXXXXXdb_pwd = XXXXXXX[sqlserver_qq]db_host = 110.119.120.114db_port = 1433[windows]user = pwd = [mail]host = zheshiceshidemail.qq.comport = 25user = pwd = sender = zhejiushiceshidebuyaodangzhen@qq.com

獲取連接串的組件mssql_get_db_connect.py

# -*- coding: utf-8 -*-import sysimport osimport datetimeimport configparserimport pymssql# pip3 install pymssql-2.1.4-cp37-cp37m-win_amd64.whl# pip3 install pymssql -i https://pypi.doubanio.com/simple# 獲取連接串信息def mssql_get_db_connect(db_host, db_port): db_host = db_host db_port = db_port db_ps_file = os.path.join(sys.path[0], 'qqmssqltest_db_server_conf.ini') config = configparser.ConfigParser() config.read(db_ps_file, encoding='utf-8') db_user = config.get(’sqlserver’, ’db_user’) db_pwd = config.get(’sqlserver’, ’db_pwd’) conn = pymssql.connect(host=db_host, port=db_port, user=db_user, password=db_pwd, charset='utf8', login_timeout=5, timeout=600, autocommit=True) return conn

執(zhí)行SQL語句的組件mysql_exec_sql.py

# -*- coding: utf-8 -*-import mysql_get_db_connectdef mysql_exec_dml_sql(db_host, db_port, exec_sql): conn = mysql_get_db_connect.mysql_get_db_connect(db_host, db_port) with conn.cursor() as cursor_db:cursor_db.execute(exec_sql)conn.commit()def mysql_exec_select_sql(db_host, db_port, exec_sql): conn = mysql_get_db_connect.mysql_get_db_connect(db_host, db_port) with conn.cursor() as cursor_db:cursor_db.execute(exec_sql)sql_rst = cursor_db.fetchall() return sql_rstdef mysql_exec_select_sql_include_colnames(db_host, db_port, exec_sql): conn = mysql_get_db_connect.mysql_get_db_connect(db_host, db_port) with conn.cursor() as cursor_db:cursor_db.execute(exec_sql)sql_rst = cursor_db.fetchall()col_names = cursor_db.description return sql_rst, col_names

發(fā)郵件的功能send_monitor_mail.py

# -*- coding: utf-8 -*-# pip3 install PyEmailimport smtplibfrom email.mime.text import MIMETextimport configparserimport osimport sys# 發(fā)送告警郵件def send_monitor_mail(mail_subject, mail_body, mail_receivers='testwukongbaigujing@qq.com'): db_ps_file = os.path.join(sys.path[0], 'qqmssqltest_db_server_conf.ini') config = configparser.ConfigParser() config.read(db_ps_file, encoding='utf-8') mail_host = config.get(’mail’, ’host’) mail_port = config.get(’mail’, ’port’) # mail_user = config.get(’mail’, ’user’) # mail_pwd = config.get(’mail’, ’pwd’) sender = config.get(’mail’, ’sender’) # receivers = config.get(’mail’, ’receivers’) # 發(fā)送HTML格式郵件 message = MIMEText(mail_body, ’html’, ’utf-8’) # message = MIMEText(mail_body, ’plain’, ’utf-8’) message[’subject’] = mail_subject message[’From’] = sender message[’To’] = mail_receivers try:smtpObj = smtplib.SMTP()smtpObj.connect(mail_host, mail_port) # 25 為 SMTP 端口號# SMTP AUTH extension not supported by server.# https://github.com/miguelgrinberg/microblog/issues/76# smtpObj.ehlo()# smtpObj.starttls()# smtpObj.login(mail_user, mail_pwd)smtpObj.sendmail(sender, mail_receivers, message.as_string())smtpObj.quit()print('郵件發(fā)送成功') except Exception as e:print(e) # except smtplib.SMTPException:# print('Error: 無法發(fā)送郵件')3.主要功能代碼

收集到的DB數(shù)據(jù)文件的信息保存到表mssql_dblogsize中,其建表的腳本如下:

CREATE TABLE [dbo].[mssql_dblogsize]( [id] [int] IDENTITY(1,1) NOT NULL, [createtime] [datetime] NULL, [vip] [nvarchar](100) NULL, [port] [nvarchar](100) NULL, [Environment] [nvarchar](200) NULL, [Dbname] [varchar](200) NULL, [Logical_Name] [varchar](200) NULL, [Physical_Name] [varchar](1500) NULL, [Size] [bigint] NULL,PRIMARY KEY CLUSTERED ( [id] ASC)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]) ON [PRIMARY]GOALTER TABLE [dbo].[mssql_dblogsize] ADD DEFAULT (getdate()) FOR [createtime]GO

為了方便對表mssql_dblogsize的數(shù)據(jù)進(jìn)行管理和展示,在其基礎(chǔ)上抽象加工出了一個視圖v_mssql_dblogsize,注意Size大小的轉(zhuǎn)換(Size/128/1024 as SizeGB)

創(chuàng)建視圖的腳本如下:

CREATE view [dbo].[v_mssql_dblogsize]as SELECT [id] ,[createtime] ,[vip] ,[port] ,[Environment] ,[Dbname] ,[Logical_Name] ,[Physical_Name] ,Size/128/1024 as SizeGB FROM [dbo].[mssql_dblogsize] where size >50*128*1024and Physical_Name like ’%ldf%’GO

本測試實(shí)例使用的數(shù)據(jù)庫為qqDB,監(jiān)控的各個DB Server保存在了表QQDBServer中,注意Port 不一定為標(biāo)準(zhǔn)端口1433.

collect_mssql_dblogsize_info.py

# -*- coding: utf-8 -*-import sysimport osimport configparserimport pymssqlimport mssql_get_db_connectimport mssql_exec_sqlfrom datetime import datetimedef collect_mssql_dblogsize_info(): db_ps_file = os.path.join(sys.path[0], 'qqmssqltest_db_server_conf.ini') config = configparser.ConfigParser() config.read(db_ps_file, encoding='utf-8') m_db_host = config.get(’sqlserver_qq’, ’db_host’) m_db_port = config.getint(’sqlserver_qq’, ’db_port’) # 獲取需要遍歷的DB列表 exec_sql_1 = '''SELECT IP, case Port when ’1444,1433’ then ’1433’ else Port end as Port, EnvironmentFROM qqDB.dbo.QQDBServer where InUse =1 AND ServerType IN (’SQL’) and IP=VIP ; ''' sql_rst_1 = mssql_exec_sql.mssql_exec_select_sql(m_db_host, m_db_port, exec_sql_1) for j in sql_rst_1:db_host_2 = j[0]db_port_2 = j[1]db_Environment = j[2]exec_sql_2 = '''select ’''' + db_host_2 + '''’ as vip, ’''' + db_port_2 + '''’ as port, ’''' + db_Environment + '''’ as Environment,DB_NAME(database_id) AS DatabaseName,Name AS Logical_Name,Physical_Name, size FROM master.sys.master_files;'''try: sql_rst_2 = mssql_exec_sql.mssql_exec_select_sql(db_host_2, db_port_2, exec_sql_2)except Exception as e: print(e)for k in sql_rst_2: exec_sql_3 = ''' insert into qqDB..mssql_dblogsize([vip], [port], [Environment], [Dbname], [Logical_Name], [Physical_Name], [Size]) values(’%s’, ’%s’, ’%s’, ’%s’, ’%s’, ’%s’, ’%s’); ''' conn = mssql_get_db_connect.mssql_get_db_connect(m_db_host, m_db_port) with conn.cursor() as cursor_db: cursor_db.execute(exec_sql_3 % (k[0], k[1], k[2], k[3], k[4], k[5], k[6] )) conn.commit()collect_mssql_dblogsize_info()

告警郵件的功能實(shí)現(xiàn)為mssql_alert_dblogsize.py,此份代碼的告警閾值設(shè)置的為50G,數(shù)據(jù)來自于視圖v_mssql_dblogsize。

# -*- coding: utf-8 -*-import sysimport osimport configparserimport pymssqlimport mssql_get_db_connectimport mssql_exec_sqlimport datetimeimport send_monitor_mailimport pandas as pddef mssql_alert_dblogsize(): mail_subject = 'SQL Server DB Log Size Greater than 50G, please check!!! ' mail_receivers = 'testDBAgrp@qtiantianq.com' db_ps_file = os.path.join(sys.path[0], 'qqmssqltest_db_server_conf.ini') config = configparser.ConfigParser() config.read(db_ps_file, encoding='utf-8') m_db_host = config.get(’sqlserver_qq’, ’db_host’) m_db_port = config.getint(’sqlserver_qq’, ’db_port’) # 獲取需要遍歷的DB列表 exec_sql_4 = '''SELECT [vip] as IP,[port],[Environment],[Dbname] ,[Logical_Name],[Physical_Name],[SizeGB],[createtime] FROM qqDB.[dbo].[v_mssql_dblogsize] order by VIP,Dbname; ''' sql_rst_4, col_name = mssql_exec_sql.mssql_exec_select_sql_include_colnames(m_db_host, m_db_port, exec_sql_4) # print(sql_rst_4) if len(sql_rst_4):mail_time = datetime.datetime.now().strftime(’%Y-%m-%d %H:%M:%S’)columns = []for i in range(len(col_name)): columns.append(col_name[i][0])df = pd.DataFrame(columns=columns)for i in range(len(sql_rst_4)): df.loc[i] = list(sql_rst_4[i])mail_body = df.to_html(index=False, justify='left').replace(’<th>’, ’<th style = 'color:red; text-align:left; background-color: yellow'>’)mail_html = '<html><body><h4>' + 'Deal All : ' + '<br><h4>' + '以下數(shù)據(jù)庫的db log文件,已大于50G.請及時檢查,謝謝! ' + '<br><h4>' + mail_body + '</body></html>'send_monitor_mail.send_monitor_mail(mail_subject=mail_subject, mail_body=mail_html, mail_receivers=mail_receivers)mssql_alert_dblogsize()4.實(shí)現(xiàn)

定時任務(wù)是通過windows的計劃任務(wù)來實(shí)現(xiàn)的,在此不做過多的敘述。告警郵件的部分截圖如下:

通過Python實(shí)現(xiàn)對SQL Server 數(shù)據(jù)文件大小的監(jiān)控告警功能

5.附錄

1.報錯定位,判斷是不是log文件過大

https://blog.csdn.net/weixin_30785593/article/details/99912405

2.關(guān)于為什么數(shù)據(jù)庫log文件過大,我們可以參考以下分享的文章

https://blog.csdn.net/chinadm123/article/details/44941275

到此這篇關(guān)于通過Python實(shí)現(xiàn)對SQL Server 數(shù)據(jù)文件大小的監(jiān)控告警的文章就介紹到這了,更多相關(guān)PythonSQL Server 數(shù)據(jù)監(jiān)控告警內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 急救箱-应急箱-急救包厂家-北京红立方医疗设备有限公司 | Copeland/谷轮压缩机,谷轮半封闭压缩机,谷轮涡旋压缩机,型号规格,技术参数,尺寸图片,价格经销商 CTP磁天平|小电容测量仪|阴阳极极化_双液系沸点测定仪|dsj电渗实验装置-南京桑力电子设备厂 | 篷房[仓储-婚庆-展览-活动]生产厂家-江苏正德装配式帐篷有限公司 | 并离网逆变器_高频UPS电源定制_户用储能光伏逆变器厂家-深圳市索克新能源 | 铁艺,仿竹,竹节,护栏,围栏,篱笆,栅栏,栏杆,护栏网,网围栏,厂家 - 河北稳重金属丝网制品有限公司 山东太阳能路灯厂家-庭院灯生产厂家-济南晟启灯饰有限公司 | 礼仪庆典公司,礼仪策划公司,庆典公司,演出公司,演艺公司,年会酒会,生日寿宴,动工仪式,开工仪式,奠基典礼,商务会议,竣工落成,乔迁揭牌,签约启动-东莞市开门红文化传媒有限公司 | 今日娱乐圈——影视剧集_八卦娱乐_明星八卦_最新娱乐八卦新闻 | 氢氧化钙设备, 氢氧化钙生产线-淄博惠琛工贸有限公司 | 比亚迪叉车-比亚迪电动叉车堆垛车托盘车仓储叉车价格多少钱报价 磁力去毛刺机_去毛刺磁力抛光机_磁力光饰机_磁力滚抛机_精密金属零件去毛刺机厂家-冠古科技 | 学生作文网_中小学生作文大全与写作指导 | 电机铸铝配件_汽车压铸铝合金件_发动机压铸件_青岛颖圣赫机械有限公司 | 无纺布包装机|径向缠绕包装机|缠绕膜打包机-上海晏陵智能设备有限公司 | 脑钠肽-白介素4|白介素8试剂盒-研域(上海)化学试剂有限公司 | 颗粒机,颗粒机组,木屑颗粒机-济南劲能机械有限公司 | 礼仪庆典公司,礼仪策划公司,庆典公司,演出公司,演艺公司,年会酒会,生日寿宴,动工仪式,开工仪式,奠基典礼,商务会议,竣工落成,乔迁揭牌,签约启动-东莞市开门红文化传媒有限公司 | 深圳市索富通实业有限公司-可燃气体报警器 | 可燃气体探测器 | 气体检测仪 | 高尔夫球杆_高尔夫果岭_高尔夫用品-深圳市新高品体育用品有限公司 | 通用磨耗试验机-QUV耐候试验机|久宏实业百科 | 万师讲师网-优质讲师培训师供应商,讲师认证,找讲师来万师 | 青岛球场围网,青岛车间隔离网,青岛机器人围栏,青岛水源地围网,青岛围网,青岛隔离栅-青岛晟腾金属制品有限公司 | 旋片真空泵_真空泵_水环真空泵_真空机组-深圳恒才机电设备有限公司 | 透平油真空滤油机-变压器油板框滤油机-滤油车-华之源过滤设备 | 制氮设备-变压吸附制氮设备-制氧设备-杭州聚贤气体设备制造有限公司 | 全国国际学校排名_国际学校招生入学及学费-学校大全网 | 高柔性拖链电缆_卷筒电缆_耐磨耐折聚氨酯电缆-玖泰特种电缆 | 法钢特种钢材(上海)有限公司 - 耐磨钢板、高强度钢板销售加工 阀门智能定位器_电液动执行器_气动执行机构-赫尔法流体技术(北京)有限公司 | 宽带办理,电信宽带,移动宽带,联通宽带,电信宽带办理,移动宽带办理,联通宽带办理 | 成都治疗尖锐湿疣比较好的医院-成都治疗尖锐湿疣那家医院好-成都西南皮肤病医院 | 网络推广公司_网络营销方案策划_企业网络推广外包平台-上海澜推网络 | 甲级防雷检测仪-乙级防雷检测仪厂家-上海胜绪电气有限公司 | 钢制暖气片散热器_天津钢制暖气片_卡麦罗散热器厂家 | 河北中仪伟创试验仪器有限公司是专业生产沥青,土工,水泥,混凝土等试验仪器的厂家,咨询电话:13373070969 | 公交驾校-北京公交驾校欢迎您! 工作心得_读书心得_学习心得_找心得体会范文就上学道文库 | 连栋温室大棚建造厂家-智能玻璃温室-薄膜温室_青州市亿诚农业科技 | 五轴加工中心_数控加工中心_铝型材加工中心-罗威斯 | 会议会展活动拍摄_年会庆典演出跟拍_摄影摄像直播-艾木传媒 | 沙盘模型公司_沙盘模型制作公司_建筑模型公司_工业机械模型制作厂家 | 上海诺狮景观规划设计有限公司 | 阿里巴巴诚信通温州、台州、宁波、嘉兴授权渠道商-浙江联欣科技提供阿里会员办理 | 高铝矾土熟料_细粉_骨料_消失模_铸造用铝矾土_铝酸钙粉—嵩峰厂家 | 西安标准厂房_陕西工业厂房_西咸新区独栋厂房_长信科技产业园官方网站 |