[Langchain] 네이버 뉴스 요약
·
IT/Langchain
[Langchain] 네이버 뉴스 요약이번 글에서는 Python과 LangChain, Ollama 모델을 활용해 웹에서 텍스트를 스크래핑하고, 이를 요약 및 구조화하는 방법을 다룹니다.  뉴스 기사를 처리한 사례를 통해 기술적 구현 방법과 활용 가능성을 살펴보겠습니다.1. 웹 스크래핑 도구: WebBaseLoaderWebBaseLoader는 BeautifulSoup(bs4)를 기반으로 동작하며, 특정 HTML 태그나 속성을 기반으로 데이터를 필터링합니다.loader = WebBaseLoader( web_paths=urls, bs_kwargs=dict( parse_only=bs4.SoupStrainer("article", attrs={"id": ["dic_area"]}), ),..