Российский химико-аналитический портал  химический анализ и аналитическая химия в фокусе внимания ::: портал химиков-аналитиков ::: выбор профессионалов  
карта портала ::: расширенный поиск              
 


ANCHEM.RU » Форумы » 3. Метрология, ВЛК ...
  3. Метрология, ВЛК | Список форумов | Войти в систему | Регистрация | Помощь | Последние темы | Поиск

Форум химиков-аналитиков, аналитическая химия и химический анализ.

Повторяемость и неопределённость >>>

  Ответов в этой теме: 32
  Страница: 1 2 3 4
  «« назад || далее »»

[ Ответ на тему ]


Степанищев М
VIP Member
Ранг: 3440


18.04.2017 // 17:34:10     
Редактировано 1 раз(а)

Zenman > "Очень неприятное ощущение, когда "плаваешь" в, казалось бы, каких-то обязательных, базовых для инженера любой специальности предметах".

А что именно Вы именуете "обязательными, базовыми ... предметами"? теорвер и матстатистику? или высосанную из пальца концепцию "неопределённости"?

Так последняя имеет к "базовым предметам" примерно такое же отношение, как "жития святых" или какая-нибудь гагиопневматика. Хотя, несомненно, в предыдущие тёмные века без знания оных невозможно было заниматься и науками тоже.
ANCHEM.RU
Администрация
Ранг: 246
Zenman
Пользователь
Ранг: 20


18.04.2017 // 17:56:16     

Степанищев М пишет:
А что именно Вы именуете "обязательными, базовыми ... предметами"? теорвер и матстатистику? или высосанную из пальца концепцию "неопределённости"?

Так последняя имеет к "базовым предметам" примерно такое же отношение, как "жития святых" или какая-нибудь гагиопневматика. Хотя, несомненно, в предыдущие тёмные века без знания оных невозможно было заниматься и науками тоже.

Да, именно теорвер и матстатистику. Но их хотя бы худо-бедно в университете преподавали (и я их худо и бедно преподавзял). Но каких-то основ инженерной метрологии, метрологии измерений (вот!, даже не знаю, как назвать эту область знаний и умений грамотно) я, к сожалению, не припомню. Хотя, на мой взгляд, с этого студентам нужно начинать любой практикум, будь то физический или химико-аналитический. Ну, после ТБ, конечно))

А что до концепции неопределённости, то философию я люблю, да, в ней есть где развернуться свободному разуму)))
smihаilоv
Пользователь
Ранг: 3174


18.04.2017 // 18:34:02     

Степанищев М пишет:

1. А что именно Вы именуете "обязательными, базовыми ... предметами"? 2. или высосанную из пальца концепцию "неопределённости"?


1. И мне это интересно..
2. И про погрешность не отказался бы послушать истину.

Разрабатываем методику, набираем цифры, утверждаем методику. Всё! А где нормативы по пределу к сходимости, воспроизводу, погрешности/неопределённости для приемлемости методики? Что утвердим, то и годится? И далее погрешность/неопределённость где используется при использовании результата анализа?
Доктор
VIP Member
Ранг: 2531


18.04.2017 // 20:39:43     

Zenman пишет:
Из введения к проектам не понятно, на что они опираются, но ссылки на РМГ 61 в них действительно нет. В них всех есть ссылки на ГОСТ Р 8.563, ГОСТ Р 54500.3.1 и ГОСТ Р ИСО 5725 (1 и 6 части). Это что касается метрологии.
В одном из них (всего их три) указано, что он адаптирует ИСО 3924:2010 к потребностям экономики РФ. Вообще этот комплекс стандартов устанавливает методики определения состава смеси углеводородов хроматографически.


Я был бы очень признателен, если бы Вы смогли выложить названия этих ГОСТов. Это может быть очень интересно для многих.
ТехноЛаб
Пользователь
Ранг: 9


19.04.2017 // 0:14:08     
Редактировано 1 раз(а)


smihаilоv пишет:
Разрабатываем методику, набираем цифры, утверждаем методику. Всё! А где нормативы по пределу к сходимости, воспроизводу, погрешности/неопределённости для приемлемости методики? Что утвердим, то и годится?

К сожалению так и есть.
Многие последние ГОСТы содержат много недочетов и ошибок из за которых нам сложнее понять и освоить этот ГОСТ. Даже некоторые иностранные ГОСТы (ISO) не могут нормально перевести. Иногда, чтобы понять, приходится читать исходный вариант документа на английском языке (мне это неоднократно помогало). В списке ПРИНЯВШИХ, УТВЕРДИВШИХ и ПРОГОЛОСОВАВШИХ за ГОСТ числится много серьёзных организаций, но мы в итоге видим, что документ, которым будет пользоваться вся страна, выходит с большим количеством недоработок.
Совет разработчикам из разных НИИ и других структур – добавляйте в разрабатываемые документы полноценные и наглядные примеры (можно с картинками). А то некоторые лаборатории на начальном этапе понимают и применяют ваши ГОСТы по разному.


smihаilоv пишет:
И далее погрешность/неопределённость где используется при использовании результата анализа?

Оценка с учетом неопределенности используется чтобы уменьшить риски принятия ошибочных решений относительно соответствия или несоответствия какому либо нормативу.

Вот один из примеров, где потом эта неопределенность используется:
Совсем недавно вступил в действие СанПиН 2.2.4.3359-16.
В пункте 1.5 этого СанПиН сказано - 1.5 Оценка фактических уровней производственных физических факторов должна производиться с учетом неопределенности измерений. Оценка с учетом неопределенности описана в ГОСТ Р ИСО 10576-1-2006, идентичном международному стандарту.

Мне недавно в лаборатории центра гигиены и эпидемиологии показывали свежее письмо (распоряжение), в котором говорилось, что в их выдаваемых протоколах по физическим факторам (шум, вибрация, микроклимат, освещенность и др. ) теперь вместе с результатом обязательно должна присутствовать расширенная неопределенность. Наличие процедур расчета неопределенностей физфакторов сейчас иногда контролируют и эксперты от Росаккредитации, осуществляющие процедуру подтверждения компетентности лаборатории.

Но расчет неопределенности для химического анализа, если и будет у нас обязательным требованием, то наверное не скоро (лет через 5-10), то есть пока беспокоиться не о чем.

СанПиН 2.2.4.3359-16 - tnslab.ru/SanPin-2.2.4.3359-16-pdf.pdf
Пример расчета неопределенности по шуму – tnslab.ru/ПРИЛОЖЕНИЕ-к-протоколу-по-ГОСТ-Р-ИСО-9612-2013.doc
Пример расчета неопределенности для пикового уровня шума – tnslab.ru/ПИКОВЫЙ-уровень-шума.doc
Есть ещё пример расчета неопределенности по освещенности, в котором используется классический и более наглядный способ расчета неопределенности, но сейчас нет возможности его выложить.

Метролог из лаборатории одной из фармацевтических компаний мне говорила, что сейчас пытается освоить и понять методы расчета неопределенностей применительно к проводимым в их лаборатории исследованиям. Некоторая их продукция идёт на экспорт.
Каталог ANCHEM.RU
Администрация
Ранг: 246
ЦКП Технологии получения новых наноструктурированных материалов и их комплексное исследование ЦКП Технологии получения новых наноструктурированных материалов и их комплексное исследование
Приборное и научно-методическое обеспечение прецизионных измерений основных физико- химических характеристик и получение наноструктурированных материалов.
tag
Пользователь
Ранг: 806


19.04.2017 // 7:16:39     
Из своей коллекции по теме неопределенность и погрешность

1) Из монографии Александрова Ю.И. [Спорные вопросы современной метрологии в химическом анализе. – С-Пб.: Изд.им. Н.И.Новикова, 2003», стр 70]
После принятия Руководства, приобретшего статус неформального международного стандарта, основные концептуальные положения которого не совпадали с принятыми в России, ситуация существенно изменилась. Естественно, возникла проблема поиска разрешения данного противоречия.
Выполненный во Всесоюзном научно-исследовательском институте метрологии (ВНИИМ) анализ областей применения и степени общности традиционной концепции и предложенной рабочей группой при МБМВ показал следующее [68,69].
Эти две концепции относятся к разным этапам оценивания результата измерения. На каждом этапе может быть своя концепция:
Понятие систематической погрешности остается необходимым на начальных этапах, когда в результате выделения ряда составляющих систематической погрешности на них вводятся соответствующие поправки.
Неопределенность применима на последнем этапе оценивания, уточняя и продолжая традиционную концепцию.
В то время как традиционная концепция базируется на свойствах погрешности, новая основана на способах их оценки. Однако метод познания действительности не может рассматриваться как се свойство.
Более того, на основании анализа различных метрологических ситуаций (сличение национальных эталонов, калибровка средств измерений, методики выполнения измерений, поверка средств измерений) было предложено общее правило [63]:
Результаты измерений в большинстве метрологических ситуаций характеризовать неопределенностью, а нормативы точности средств измерений, измерительных и контрольных процедур характеризовать погрешностью.
Таким образом, новую концепцию не следует считать отменяющей традиционную. Как следует из приведенного выше правила, понятия погрешность и неопределенность могут быть гармонично использованы без их взаимного противопоставления.

2) Популярно
Купил охотник новое ружьё (дробовик) и решил его опробовать в тире. При выстреле дробинки распределились по мишени определенным образом. Так как истинное значение места попадания (аттестованное значение ГСО) известно - центр мишени, то охотник может определить точность выстрела через погрешность = разница между центром распределения дробинок и центром мишени.
Натренировался охотник (аттестовал методику измерений) и пошел с друзьями на охоту в лес за зайцами. Увидел бегущего зайца – стреляет и, не подходя к зайцу, говорит друзьям, что выстрел произведен неопределенностью 5 см и с вероятностью 95 %, он попал в зайца. На зайце нет мишени, он постоянно перемещается, поэтому истинное нахождение зайца в момент выстрела охотнику не известно, поэтому говорить о погрешности нельзя. Но охотнику известно направление его выстрела (результат измерения), есть натренированная рука (аттестованная методика) и он может говорить о гарантированной неопределенности выстрела (точности результата, выраженной через неопределенность).

3) Из анализа нормативных документов РМГ 76-2014 и РМГ 61-2010, относительно коэффициента, связывающего точечную и интервальную оценки показателей качества результатов анализа в РМГ 76-2014 (редакция 04.09.14).
Если коэффициент охвата k(p) неопределенности во всех случаях (РМГ 61 и РМГ 76) равен 2, то квантиль распределения Z погрешности по РМГ 76-2014 может принимать значения 2 или 1,96. Причем
Z = 1,96 рекомендован при разработке методики (РМГ 61-2010), при внедрении методики в лаборатории (Приложение В.3.2.6 РМГ 76-2014).
Z = 2 рекомендован (РМГ 76-2014 п.6.3.3.10 ) при расчете показателей качества на новый период, т.е. при эксплуатации методики.

4) Аналитический объект измерения может содержать компонент, концентрация которого определяется, причем мы не знаем его истинную концентрацию, но мы знаем, что объект содержит определенный компонент в определенной концентрации. Причем эта определенная концентрация не меняется в период анализа, и через сто лет она та же самая.
Неаналитический объект измерения может характеризоваться измеряемой величиной (температура в помещении лаборатории), истинную величину которой мы не знаем, но кроме того мы знаем, что эта величина (температура) меняется и во время измерения и меняется в течение рабочего дня. В этом случае реальной истинной величины нет и использование неопределенности измерения вполне объяснимо.
Доктор
VIP Member
Ранг: 2531


19.04.2017 // 12:30:43     
Редактировано 1 раз(а)

Похоже, ТС утратил интерес к теме. Возможно, он делал только метрологическую экспертизу данных проектов ГОСТ Р, и ответы на свои вопросы уже получил. Правда, если он делал экспертизу в целом…

Названия ГОСТов выкладываю ниже.
ГАЗОКОНДЕНСАТНАЯ СМЕСЬ. Часть 1. ГАЗ СЕПАРАЦИИ. Определение компонентного состава методом газовой хроматографии
ГАЗОКОНДЕНСАТНАЯ СМЕСЬ. Часть 2. КОНДЕНСАТ ГАЗОВЫЙ НЕСТАБИЛЬНЫЙ. Определение компонентно-фракционного состава методом газовой хроматографии
ГАЗОКОНДЕНСАТНАЯ СМЕСЬ. Часть 3. КОНДЕНСАТ ГАЗОВЫЙ НЕСТАБИЛЬНЫЙ. Определение компонентно-фракционного состава методом газовой хроматографии без предварительного разгазирования пробы

На всякий случай - ГАЗОКОНДЕНСАТНАЯ СМЕСЬ – это пластовый газ, сырье газоконденсатных месторождений. Что-то среднее между природным газом и нефтью с давлением до 100 атм.

Официальный разработчик – фирма Петон (г. Уфа). Основное направление деятельности – победа в тендерах по любым проектам, имеющим отношение к нефтегазу.
Реальный разработчик – ВНИИМ (основное направление деятельности – выпуск ГСО и впаривание их везде, где надо и не надо).

Название ISO 3924:2010 - «Petroleum products – Determination of boiling range distribution – Gas chromatography method» (Нефтепродукты. Определение распределения пределов кипения. Метод газовой хроматографии).

Говорить об инновациях, заложенных в эти ГОСТы, можно много. Но уже надоело (благо, что как от стенки горох). Только о главном.

1. Имитированной дистилляции согласно ISO 3924:2010 в них нет вообще. Фракционный состав УВ (С1-С44) определяют методом абсолютной градуировки по н-алканам. Правда, до недавнего времени соответствующих ГСО не было (в том числе импортных – за отсутствием реальной надобности). Но ВНИИМ грозится наладить выпуск.
2. Необходимость такого оригинального подхода обусловлена двумя основными причинами.
А. Оказывается, нормализация, которая применяется во всем мире для решения задач такого рода, дает погрешность до 70% (данные ВНИИМ). (Так и напрашивается «нормализация - продажная девка»). Они пока не опубликованы, и ни один аналитический журнал их, разумеется, не опубликует. Но в отраслевых – почему нет?
Б. Все МВИ РФ должны использовать утвержденные СО. А при использовании нормализации СО в принципе не нужны. Чтобы никого не могли посадить за разработку неправильных МВИ и их применение, ВНИИМ протянул аналитикам руку (ногу?) помощи.
3. Для определения сернистых соединений в этих ГОСТ используют пламенно-фотометрический детектор. В части 2 ГОСТ ПФД используют для определения сернистых соединений в газе дегазации (расчет по формуле 14.5) и в дегазированном конденсате (формулы 14.20, 14.22). Все три формулы одинаковые, но – в 14.5 и 14.20 логарифм сигнала пропорционален логарифму молярной доли, а в 14.22 – логарифму массовой доли.

Думаю, достаточно. Конечно, в этих условиях самое главное – это границы получаемых неопределенностей. Все остальные границы уже стерты
Zenman
Пользователь
Ранг: 20


23.04.2017 // 2:35:37     
Редактировано 1 раз(а)


Доктор пишет:
Похоже, ТС утратил интерес к теме. Возможно, он делал только метрологическую экспертизу данных проектов ГОСТ Р, и ответы на свои вопросы уже получил. Правда, если он делал экспертизу в целом…

овное направление деятельности – победа в тендерах по любым проектам, имеющим отношение к нефтегазу.
Реальный разработчик – ВНИИМ (основное направление деятельности – выпуск ГСО и впаривание их везде, где надо и не надо).

Название ISO 3924:2010 - «Petroleum products – Determination of boiling range distribution – Gas chromatography method» (Нефтепродукты. Определение распределения пределов кипения. Метод газовой хроматографии).

Говорить об инновациях, заложенных в эти ГОСТы, можно много. Но уже надоело (благо, что как от стенки горох). Только о главном.

1. Имитированной дистилляции согласно ISO 3924:2010 в них нет вообще. Фракционный состав УВ (С1-С44) определяют методом абсолютной градуировки по н-алканам. Правда, до недавнего времени соответствующих ГСО не было (в том числе импортных – за отсутствием реальной надобности). Но ВНИИМ грозится наладить выпуск.
2. Необходимость такого оригинального подхода обусловлена двумя основными причинами.
А. Оказывается, нормализация, которая применяется во всем мире для решения задач такого рода, дает погрешность до 70% (данные ВНИИМ). (Так и напрашивается «нормализация - продажная девка»). Они пока не опубликованы, и ни один аналитический журнал их, разумеется, не опубликует. Но в отраслевых – почему нет?
Б. Все МВИ РФ должны использовать утвержденные СО. А при использовании нормализации СО в принципе не нужны. Чтобы никого не могли посадить за разработку неправильных МВИ и их применение, ВНИИМ протянул аналитикам руку (ногу?) помощи.
3. Для определения сернистых соединений в этих ГОСТ используют пламенно-фотометрический детектор. В части 2 ГОСТ ПФД используют для определения сернистых соединений в газе дегазации (расчет по формуле 14.5) и в дегазированном конденсате (формулы 14.20, 14.22). Все три формулы одинаковые, но – в 14.5 и 14.20 логарифм сигнала пропорционален логарифму молярной доли, а в 14.22 – логарифму массовой доли.

Думаю, достаточно. Конечно, в этих условиях самое главное – это границы получаемых неопределенностей. Все остальные границы уже стерты

Вообще-то да, я полагал, что раз ответ на мой вопрос найден (а последний, как выяснилось, возник от моего недопонимания предмета), то и дискуссия далее не имеет цели. Но если продолжать обсуждение всего, что так или иначе связано с исходным вопросом, в традициях форума, то я эти традиции с удовольствием поддержу.

Я вижу, к слову "экспертиза" здесь пиетет, так что давайте всё-таки сойдёмся на том, что, коль скоро я не эксперт (по крайней мере, ни официально, ни по своему мнению), то и экспертизы я не делал. Ни метрологической (я в метрологии, повторюсь, не силён), ни в целом. Система такова: разработчик рассылает проекты на рассмотрение "дочкам" заказчика, там их рассматривают, оформляют замечания и высылают их обратно разработчику. Как этот процесс называть, чтобы не вызывать у Вас скепсиса, я не знаю.
Так уж получилось, что у меня неплохо получается находить разного рода ошибки в чужих текстах, поэтому в нашей немаленькой организации проектами НД на МВИ (да и не только) на протяжении последних 11-ти лет занимаюсь в основном я. Поэтому о качестве разрабатываемых НД я могу говорить долго и нецензурно. Поэтому не буду. Скажу лишь, что в среднем на один проект я обнаруживаю около 30-40 существенных ошибок, и очень греет, когда разработчик попадается вменяемый, и на выходе, в том числе - и моими стараниями, продукт получается гораздо приличней, чем мог бы быть.
А чаще разработчик попадается упёртый, потому что ему принципиально получить деньги, а если самые существенные замечания принять, то проект нужно полностью перерабатывать (либо вообще от него отказываться), а сроки сдачи поджимают. Тогда рождаются шедевры, в которых, например, формула расчёта конечного содержания неизменно даёт отрицательную величину, а ещё применяется щелочной раствор хлорида кадмия, вопреки всем таблицам растворимости..
Согласен я, в данном случае, с Вашей оценкой и разработчика, и им разработанного (во второй редакции в среднем по 50 замечаний на проект сделал, не считая грамматики). Про нормализацию я тоже им дважды замечание делал - но кто я такой, у них метрологическую экспертизу методик ВНИИМ делал, головной институт, как-никак. Образцы Петон нам, кстати, обещал прислать на анализ, но не прислал. А если бы прислал, то о погрешности в 70% они бы говорить не смогли: у нас она, по нормализации, максимум 8% составила в независимо приобретённом у ВНИИМа ГСО. При том, что по их проекту в том же диапазоне, где у нас 8, у них - 23%.
А вот про серосодержащие соединения я не заметил, спасибо, что написали, учту впредь.
Названия проектов я выложить не мог: разработчик является контрагентом моего работодателя, поэтому что-либо разглашать о нём, да ещё и с рабочего места, я не захотел. Так что извините, что не откликнулся на Вашу просьбу. Но Вы и сами всё нашли, и очень любопытно - как. Они проекты где-то на открытом ресурсе выложили?
Доктор
VIP Member
Ранг: 2531


24.04.2017 // 9:23:57     
Редактировано 2 раз(а)


Я вижу, к слову "экспертиза" здесь пиетет, так что давайте всё-таки сойдёмся на том, что, коль скоро я не эксперт (по крайней мере, ни официально, ни по своему мнению), то и экспертизы я не делал. Ни метрологической (я в метрологии, повторюсь, не силён), ни в целом. Система такова: разработчик рассылает проекты на рассмотрение "дочкам" заказчика, там их рассматривают, оформляют замечания и высылают их обратно разработчику. Как этот процесс называть, чтобы не вызывать у Вас скепсиса, я не знаю.


Процесс этот называется «экспертиза». А как еще? Рецензия? Отзыв? Сочинение на заданную тему? Сомневаюсь, что Вы официально называтетсь «рецезент».

Так уж получилось, что у меня неплохо получается находить разного рода ошибки в чужих текстах, поэтому в нашей немаленькой организации проектами НД на МВИ (да и не только) на протяжении последних 11-ти лет занимаюсь в основном я. Поэтому о качестве разрабатываемых НД я могу говорить долго и нецензурно. Поэтому не буду. Скажу лишь, что в среднем на один проект я обнаруживаю около 30-40 существенных ошибок, и очень греет, когда разработчик попадается вменяемый, и на выходе, в том числе - и моими стараниями, продукт получается гораздо приличней, чем мог бы быть.
А чаще разработчик попадается упёртый, потому что ему принципиально получить деньги, а если самые существенные замечания принять, то проект нужно полностью перерабатывать (либо вообще от него отказываться), а сроки сдачи поджимают. Тогда рождаются шедевры, в которых, например, формула расчёта конечного содержания неизменно даёт отрицательную величину, а ещё применяется щелочной раствор хлорида кадмия, вопреки всем таблицам растворимости..


А у меня получилось разрабатывать несколько ГОСТов (ГОСТ Р). Любопытно, что в качестве эксперта меня не привлекают – очевидно, не та квалификация.
Коменты ТС во многом справедливые. Но он с очевидностью не учитывает несколько серьезных обстоятельтств.
1. Любая МВИ – это компромисс. Условно говоря, есть МВИ, которые «супер», но которые реализуются на оборудовании стоимостью тоже «супер» суперспецами. Есть МВИ, которые любой дурак с профильным образованием может сделать «на коленке», но у них погрешность 30% в лучшем случае. Все остальные МВИ где-то посередине. Обычные требования экспертов (которые редко изучали аналитическую химию, но хорошо ее знают понаслышке) – «а вот здесь у Вас фиговенько – дорого, долго, небезопасно, слишком широкая граница интервала неопределенности и т.д.».
2. В ФЗ прописаны требования обязательно использовать в МВИ СО (обычно производства ВНИИМ).
3. Зарубежные стандарты (ИСО в первую голову) написаны, скажем мягко, без учета российской метрологической специфики. Написаны они зачастую довольно небрежно. Там явно никто не наезжает с проверкой, где какая запятая лежит. Причем институты Росстандарта штампуют переводы этих ИСО в качестве ГОСТ ИСО (eq).
4. «Один дурак может задать столько вопросов, что на них не ответят 100 профессоров». (с) народная мудрость
И во всем этом разработчик НТД пытается плавать стилем баттерфляй (с).

Про нормализацию я тоже им дважды замечание делал - но кто я такой, у них метрологическую экспертизу методик ВНИИМ делал, головной институт, как-никак.


Этого не понял. ВНИИМС и УНИИМ тоже головные институты. Просто ВНИИМ заморочил всем головы. Часто это не сложно, к сожалению

Они проекты где-то на открытом ресурсе выложили?

Еще любопытный нюанс. ВСЕ проекты ГОСТ Р и ГОСТ проходят официальную всенародную экспертизу. Соответствующее объявление выкладывается на сайте Росстандарта с координатами разработчиков. По ним любой может потребовать себе проект НТД, написать заключение, и разработчики будут обязаны на него отреагировать. Как они обычно реагируют – ТС написал. Но – мы на этом этапе получали запросы проектов только от Кодекса и одного из их конкурентов. Естественно, замечаний от них не было. Какой дурак будет ежедневно рыться на сайте Росстандарта в поисках допработы?

Забыл я процедуры выделения цитат, sorry. По крайней мере на рабочем месте изменения шрифтов не работают
smihаilоv
Пользователь
Ранг: 3174


24.04.2017 // 17:33:21     

Доктор пишет:

Забыл я процедуры выделения цитат, sorry.
Не сгодится? www.anchem.ru/forum/read.asp?id=17943

  Ответов в этой теме: 32
  Страница: 1 2 3 4
  «« назад || далее »»

Ответ на тему


ААС, ИСП-АЭС, ИСП-МС - прямые поставки в 2022 году

ПОСЛЕДНИЕ НОВОСТИ ANCHEM.RU:      [ Все новости ]


ЖУРНАЛ ЛАБОРАТОРИИ ЛИТЕРАТУРА ОБОРУДОВАНИЕ РАБОТА КАЛЕНДАРЬ ФОРУМ

Copyright © 2002-2022
«Аналитика-Мир профессионалов»

Размещение рекламы / Контакты